Jour 3 – Spark Streaming et Spark à grande échelle

Jour 1 : décrire. Jour 2 : prédire. Jour 3 : réagir pendant que ça se passe.

La troisième journée fait arriver les taxis en temps réel. scripts/stream_simulator.py dépose courses et logs fichier par fichier, comme une application en production : c’est notre « production ». En entreprise, la source serait Kafka ; le dossier de fichiers permet de travailler sans infrastructure, avec exactement la même API. La journée se termine par le QCM de validation des acquis et le questionnaire de satisfaction, à 16h.

Objectifs du jour

À la fin de la journée, vous saurez :

1. Raisonner en flux : la table non bornée, readStream / writeStream.
2. Lire des sources et écrire des sinks en continu ; situer Flume et les DStreams dans l’histoire.
3. Agréger par fenêtre et gérer les retards avec le watermark ; choisir un output mode ; comprendre le checkpoint.
4. Analyser un fichier de log en temps réel et détecter une panne.
5. Lire un plan Catalyst, comprendre Tungsten et AQE.
6. Appliquer un modèle ML sur un flux avec foreachBatch.
7. Situer Deep Learning, transfer learning, SparkR et sparklyr.
8. Choisir entre architectures Lambda et Kappa.

Objectifs couverts : 3 (grands volumes), 4 (écosystème) et 6 (temps réel), voir la page Programme.

Déroulé

• 9h00 Accueil, météo du groupe, hier en 10 minutes, objectifs, annonce du QCM de 16h
• 9h20 Partie 1 – Structured Streaming : traiter les données qui arrivent
• 9h55 TP 9 – Votre premier stream (35 min)
• 10h30 Pause (arrêter requêtes et simulateur)
• 10h45 Partie 2 – Agrégations continues, fenêtres et analyse de logs
• 11h10 TP 10 – Les logs en temps réel (35 min), partage, quiz flash
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Sous le capot (Catalyst, Tungsten, AQE) et ML en temps réel
• 13h25 TP 11 – ML en temps réel et plans (55 min), partage
• 14h45 Pause (avancée : la partie 4 a besoin d'une heure pleine avant 16h)
• 15h00 Partie 4 – Écosystème, architectures et conclusion
• 15h15 Atelier – Lambda ou Kappa ? (30 min)
• 15h45 Ce qu'il faut retenir des 3 jours
• 16h00 QCM de validation des acquis, puis questionnaire de satisfaction (20 min)
• 16h25 Conclusion : tour de table, émargement

Le créneau de 16h ne bouge pas

Les deux questionnaires sont envoyés automatiquement à 16h. Si le TP 11 déborde, c’est l’atelier qui est raccourci (restitution par un seul groupe) ; le récapitulatif des 3 jours est maintenu.

Le fil rouge du jour

Séquence	Question métier	Partie	Technique
TP 9 · Premier stream	Le chiffre d’affaires par quartier, en direct	1	readStream, jointure flux-statique, complete
TP 10 · Logs en temps réel	Détecter une panne avant les clients	2	regexp_extract, fenêtres, watermark, append
TP 11 · ML + sous le capot	Le modèle de pourboire sur le flux ; lire un plan	3	PipelineModel.load, foreachBatch, explain, AQE
Atelier · Architecture	Lambda ou Kappa pour notre application ?	4	Conception en groupes

Ce qu’il faut retenir des 3 jours

	Idée	En une phrase
1	Diviser pour régner	Partitions, DAG, évaluation paresseuse : 1 shuffle = 1 stage.
2	DataFrames + Catalyst	Écrire en SQL ou DataFrame ; Parquet ; lire le plan.
3	Pipeline ML	fit / transform, train / test, la bonne métrique, pas de fuite.
4	Flux = table sans fin	Fenêtres, watermark, checkpoint : temps réel fiable.
5	Une seule API	Batch, ML et streaming : choisir l’architecture selon le besoin.

Pour réviser : la fiche mémo du jour 3 et les quiz 9 et 10 de la section révision. Pour aller plus loin : la page Ressources.

La semaine prochaine : choisissez un cas de votre métier et refaites le fil rouge dessus.