Jour 1 – Comprendre et utiliser Spark 4

Et si vous deviez analyser 10 ans de courses de taxi… avec Excel ? Comment feriez-vous ?

La première journée installe les fondations : pourquoi le calcul distribué, comment Spark exécute votre code, où vivent les données sur un cluster, et pourquoi on écrit aujourd’hui des DataFrames plutôt que des RDD. Une seule question métier, résolue trois fois pour comparer : quelles zones de New York rapportent le plus, et à quelle heure ?

Objectifs du jour

À la fin de la journée, vous saurez :

1. Expliquer pourquoi une seule machine ne suffit plus et ce qu’apporte Spark par rapport à MapReduce.
2. Installer Spark 4 en local et lire la Spark UI (jobs, stages, tâches).
3. Manipuler des RDD et PairRDD, distinguer transformations et actions, repérer un shuffle.
4. Décrire HDFS (NameNode, DataNodes, blocs, réplication) et le rôle de core-site.xml / hdfs-site.xml.
5. Lancer le même job en local puis sur un cluster Standalone avec spark-submit.
6. Écrire une requête en Spark SQL et en API DataFrame, déclarer un schéma, partitionner une écriture.

Objectifs couverts : 1, 3, 4, 5, 7 et 8 (voir la page Programme).

Déroulé

• 9h00 Accueil, tour de table (prénom, attentes, contexte, outils), objectifs, règles du jeu
• 9h20 Partie 1 – Big Data, calcul distribué et premiers pas avec Spark 4
• 10h00 TP 1 – Premier contact (30 min)
• 10h30 Pause
• 10h45 Partie 2 – Spark Core : RDD, PairRDD et exécution
• 11h10 TP 2 – Top 10 des zones avec les RDD (30 min), partage, quiz express
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Hadoop, HDFS et Spark sur un cluster
• 13h50 TP 3 – Le fil rouge sur un cluster + HDFS (50 min)
• 15h00 Pause
• 15h15 Partie 4 – Structured API et Spark SQL
• 15h30 TP 4 – Le fil rouge en Spark SQL (45 min)
• 16h30 Ce qu'il faut retenir, attentes couvertes, émargement

Règles du jeu

• Mode solution : on cherche, on essaie, on se trompe, on recommence.
• Participer : « Qui a réussi ? » n’est pas une question piège.
• Droit à l’erreur : les pièges des TP sont là pour être rencontrés (le join vide du TP 2, par exemple).
• Écoute active, smartphone posé.
• 60 % de pratique, 40 % de théorie, un seul projet fil rouge.

Ce qu’il faut retenir de la journée

	Idée	En une phrase
1	Diviser pour régner	Des partitions, du calcul là où sont les données, en parallèle et en mémoire.
2	Paresseux jusqu’à l’action	Les transformations construisent un plan. 1 action = 1 job, 1 shuffle = 1 nouveau stage.
3	Un seul point d’entrée	SparkSession. SQLContext et HiveContext sont de l’héritage à savoir lire.
4	Qui fait quoi	Le Driver planifie, le Cluster Manager alloue, les Executors exécutent, HDFS stocke par blocs.
5	DataFrames d’abord	Schéma explicite, SQL ou API : Catalyst optimise. Les RDD pour les cas spéciaux.

Pour réviser : la fiche mémo du jour 1 et les quiz 1 à 4 de la section révision.

Demain matin : 10 minutes de questions-réponses sur ces 5 points, puis aide pour finir le TP 4. Les corrigés sont publiés sur le dépôt Git ce soir.