Ressources

Le dépôt de la formation

github.com/formations2026/formation-spark-ml · public · branche par défaut participants.

Il contient tout ce qu’il faut pour refaire les TP chez vous. Les corrigés sont ajoutés en fin de chaque journée dans jour{1,2,3}/corriges/ ; faites git pull pour les récupérer.

Chemin dans le dépôt	Contenu	Lien direct
data/	trips.csv, trips.parquet (120 000 courses), taxi_zone_lookup.csv (265 zones), README.md (description des colonnes)	15 Mo
jour1/	TP 1 à 4 : SparkSession, RDD, cluster + HDFS, Spark SQL	4 notebooks
jour1/TP3_cluster/	docker-compose.yml (Spark + HDFS), tp2_cluster.py, start_cluster_local.sh, conf/hadoop.env	TP 3
jour2/	TP 5 à 8 : exploration, régression, classification, clustering	4 notebooks
jour3/	TP 9 à 11 : streaming, logs temps réel, ML sur flux + Catalyst	3 notebooks
quiz/	Questions orales de fin de journée avec leurs réponses	3 fichiers
scripts/	check_env.py, generate_data.py, download_official.py, stream_simulator.py, build_notebooks.py	5 utilitaires
docs/prerequis.md	Installation détaillée (reprend cette section du site)	–
README.md	Vue d’ensemble, démarrage rapide, versions testées	–
jour{1,2,3}/corriges/	Publié en fin de journée — notebooks corrigés + scripts .py exécutables	–

Cloner et préparer l’environnement (reprend la page Prérequis en version courte) :

git clone https://github.com/formations2026/formation-spark-ml.git
cd formation-spark-ml
python -m venv .venv && source .venv/bin/activate     # Windows : .venv\Scripts\activate
pip install -r requirements.txt
python scripts/check_env.py

Pour refaire le TP 7 sur les vraies données NYC TLC : python scripts/download_official.py --year 2024 --month 1 --rows 300000, puis relancez le notebook.

Documentation officielle Apache Spark

Guide	Pour quoi
Spark SQL, DataFrames and Datasets Guide	Jour 1 : lecture, schéma, SQL, Parquet, ANSI
Performance Tuning	AQE, broadcast, partitions de shuffle
MLlib: Main Guide	Jour 2 : Pipelines, features, classification, régression, clustering, tuning
Structured Streaming Programming Guide	Jour 3 : sources, sinks, fenêtres, watermark, output modes, checkpoint
Spark Standalone Mode	Jour 1 : master, workers, spark-submit
Migration Guide	Ce qui change entre les versions (ANSI par défaut, retraits)
PySpark API Reference	Toutes les fonctions, par module

Vérifiez toujours la version : le menu déroulant en haut de la documentation permet de choisir la version exacte de votre installation (pyspark.__version__).

Packages et outils vus en formation

Outil	Rôle	Lien
GraphFrames	Graphes sur DataFrames (jour 2, TP 8 bonus)	graphframes.io
Connecteur Kafka	Source et sink Kafka pour Structured Streaming	Kafka Integration Guide
sparklyr	Spark depuis R avec dplyr	spark.posit.co
TorchDistributor	Entraînement PyTorch distribué	Guide PyTorch sur Spark
Apache Hadoop	HDFS (jour 1, TP 3)	hadoop.apache.org
Images Docker	apache/spark, apache/hadoop	Docker Hub – apache/spark
Delta Lake	Format de table transactionnel sur Parquet, souvent cité en sink	delta.io

Les données

• NYC Taxi & Limousine Commission – Trip Record Data : les fichiers officiels (Parquet), le dictionnaire des colonnes et le fichier des zones.
• Le jeu du fil rouge est synthétique, au format officiel, pour que les régularités soient nettes en TP. Les pourboires en espèces ne sont pas enregistrés dans les vraies données : c’est le biais vu au jour 2.

Pour aller plus loin

Sujet	Piste
Lire l’architecture de Spark	Spark: The Definitive Guide (Chambers, Zaharia), parties II et V
Apprendre le ML au-delà de MLlib	scikit-learn pour les petits volumes ; la documentation MLlib pour les volumes distribués
Les architectures de données	Nathan Marz, Big Data (Lambda) ; Jay Kreps, Questioning the Lambda Architecture (Kappa)
Spark 4 en détail	Notes de version 4.0 et 4.1 sur spark.apache.org : ANSI par défaut, VARIANT, Spark Connect, real-time mode
Pratiquer	Refaites le fil rouge sur un cas de votre métier : une table de faits, une question par jour (décrire, prédire, réagir)

Contact

Formation animée pour Ambient IT. Questions après la session : le formateur reste joignable par le canal indiqué en fin de formation. Ambient IT : 01 48 10 09 46.