Programme des 3 jours

Le rythme est le même les 3 jours : 9h00 – 17h00, pause à 10h30, déjeuner de 12h00 à 13h00, pause l’après-midi, 4 parties par jour, un TP par partie. Émargement à chaque demi-journée. Le troisième jour, la pause de l’après-midi est avancée à 14h45 pour libérer une heure pleine avant le QCM de 16h00.

Jour 1 – Comprendre et utiliser Spark 4

• 9h00 Accueil, présentation, tour de table, objectifs, règles du jeu
• 9h20 Partie 1 – Big Data, calcul distribué, pourquoi Spark, nouveautés 3 et 4, installation · TP 1 (30 min, vers 10h)
• 10h30 Pause
• 10h45 Partie 2 – Spark Core : RDD, PairRDD, transformations et actions, DAG, schedulers · TP 2 (30 min) · quiz express
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Hadoop et HDFS, Spark Standalone, YARN, Kubernetes · TP 3 (50 min)
• 15h00 Pause
• 15h15 Partie 4 – Structured API : Spark SQL, DataFrames, schéma, partitionnement · TP 4 (45 min)
• 16h30 Ce qu'il faut retenir, attentes couvertes, émargement

Jour 2 – Machine Learning avec Spark ML

• 9h00 Météo du groupe, 5 questions flash sur la veille, aide pour finir le TP 4
• 9h20 Partie 1 – Programmer ou apprendre, supervisé / non supervisé, cycle d'un projet ML, visualiser avant de modéliser · TP 5 (35 min)
• 10h30 Pause
• 10h45 Partie 2 – Transformer, Estimator, Model, Pipeline, arbre de régression, RMSE et R², persistance · TP 6 (30 min)
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Random Forest et SVM, matrice de confusion, ROC et AUC, fuite de données · TP 7 (50 min)
• 15h00 Pause
• 15h15 Partie 4 – K-means et silhouette, GraphFrames en démonstration · TP 8 (45 min)
• 16h30 Ce qu'il faut retenir, émargement

Jour 3 – Streaming et Spark à grande échelle

• 9h00 Météo du groupe, 5 questions flash sur le Machine Learning, aide pour finir le TP 8
• 9h20 Partie 1 – La table non bornée, readStream / writeStream, sources et sinks, héritage Flume et DStreams · TP 9 (35 min)
• 10h30 Pause
• 10h45 Partie 2 – Fenêtres, watermark, output modes, checkpoint, Encoders · TP 10 (35 min) · quiz flash
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Catalyst, Tungsten, AQE, modèle ML sur un flux · TP 11 (55 min)
• 14h45 Pause (avancée)
• 15h00 Partie 4 – Deep Learning et transfer learning, SparkR et sparklyr, atelier Lambda / Kappa, ce qu'il faut retenir des 3 jours
• 16h00 QCM de validation des acquis puis questionnaire de satisfaction (20 min)
• 16h25 Conclusion : tour de table, émargement, « Restons en contact »

Les 11 TP et l’atelier

TP	Durée	Question du fil rouge	Compétences
TP 1 – Premier contact	30 min	Charger les courses, lire la Spark UI	SparkSession, local[*], jobs / stages / tâches
TP 2 – Top 10 des zones (RDD)	30 min	Quelles zones rapportent le plus ?	PairRDD, reduceByKey, join, shuffle
TP 3 – Cluster + HDFS	50 min	Le même job sur un cluster, données dans HDFS	Standalone, spark-submit, HDFS, blocs
TP 4 – Spark SQL	45 min	Le même job en SQL, puis le montant moyen par heure	DataFrames, schéma, SQL, partitionBy, explain
TP 5 – Explorer	35 min	Que racontent les données ?	groupBy + toPandas(), Matplotlib, Seaborn
TP 6 – Régression	30 min	Combien va coûter cette course ?	Pipeline, régression linéaire vs arbre, RMSE, R²
TP 7 – Classification	50 min	Ce client laissera-t-il un pourboire ?	Random Forest, SVM, matrice de confusion, ROC, AUC
TP 8 – Clustering	45 min	Quelles familles de courses ?	K-means, silhouette, StandardScaler, GraphFrames
TP 9 – Premier stream	35 min	Le chiffre d’affaires par quartier, en direct	readStream, jointure flux-statique, output modes
TP 10 – Logs en temps réel	35 min	Détecter la panne du paiement avant les clients	Fenêtres, watermark, append, checkpoint
TP 11 – ML en temps réel	55 min	Le modèle de pourboire sur le flux ; lire un plan	PipelineModel sur un flux, foreachBatch, Catalyst, AQE
Atelier Lambda / Kappa	30 min	Quelle architecture pour notre application ?	Architecture de données, batch et streaming