Formation Spark 4 & Machine Learning

• 3 jours · 21 heures
• 60 % pratique · 40 % théorie
• TP en PySpark 4 (corrigés Scala fournis)
• Fiche programme mise à jour le 07/05/2026

Pourquoi cette formation

Une seule machine ne suffit plus : les données dépassent la mémoire d’un serveur, arrivent en continu et sous toutes les formes. Apache Spark répond à ce problème par le calcul distribué en mémoire, avec une API unifiée (SQL, DataFrames, Machine Learning, streaming) en Python, Scala, Java et R. Né en 2009 à Berkeley, il a remplacé Hadoop MapReduce comme moteur de référence du Big Data, tout en continuant à s’appuyer sur HDFS et les gestionnaires de cluster de l’écosystème Hadoop.

Cette formation présente Spark 4, la version majeure actuelle : mode ANSI SQL par défaut, type VARIANT pour le JSON, Spark Connect, pipelines déclaratifs et mode temps réel du streaming (4.1). Elle couvre les composants essentiels – Spark Core, Spark SQL, Spark ML, Structured Streaming – et situe les packages périphériques (GraphFrames, SparkR, Deep Learning) dans l’état de l’art de 2026.

Ce qui la distingue : un seul projet fil rouge sur les 3 jours (les courses de taxis jaunes de New York), résolu d’abord en RDD, puis sur un cluster avec HDFS, puis en Spark SQL, puis prédit par des modèles de Machine Learning, puis traité en temps réel. Chaque TP construit sur le précédent.

Objectifs pédagogiques

À l’issue des 3 jours, vous saurez :

#	Objectif	Travaillé le
1	Utiliser Spark 4 et ses nouveautés de manière autonome	J1, J2, J3
2	Comprendre les concepts du Machine Learning et de Spark ML, et les mettre en œuvre	J2
3	Manipuler des volumes importants de données avec les bonnes pratiques de Spark 4	J1, J3
4	Lire la documentation, l’API et se repérer dans l’écosystème Big Data	J1, J2, J3
5	Intégrer Spark dans un écosystème Hadoop (HDFS, YARN)	J1
6	Créer des applications d’analyse en temps réel avec Structured Streaming	J3
7	Programmer en parallèle sur un cluster	J1
8	Maîtriser Spark SQL et les DataFrames	J1

Public visé

Développeurs, data engineers, architectes, administrateurs systèmes et DevOps qui veulent traiter de gros volumes de données ou industrialiser des modèles de Machine Learning.

Prérequis

• Bases d’un système Unix : naviguer dans un terminal, lancer un script, variables d’environnement.
• Python (fonctions, lambdas, listes, dictionnaires) et Git (cloner, mettre à jour). Les TP de cette session sont en PySpark ; des corrigés Scala sont fournis pour les TP 2, 4, 6, 7 et 10 pour les équipes qui travaillent en Scala.
• Culture statistique de base : moyenne, médiane, distribution.
• Un poste préparé 7 jours avant : voir Prérequis et installation. Sous Windows, WSL2 est fortement recommandé.

Un questionnaire d’auto-positionnement est envoyé dès l’inscription (critères Qualiopi) : il nous permet d’ajuster le rythme et de détecter les difficultés techniques (proxy, sécurité) avant la session.

Programme en bref

Jour	Thème	Questions du fil rouge	TP
1	Comprendre et utiliser Spark 4	Quelles zones de New York rapportent le plus, et à quelle heure ?	TP 1 à 4 : explorer, RDD, cluster + HDFS, Spark SQL
2	Machine Learning avec Spark ML	Combien va coûter cette course ? Ce client laissera-t-il un pourboire ? Quelles familles de courses ?	TP 5 à 8 : explorer, régression, classification, clustering
3	Streaming et Spark à grande échelle	Voir le chiffre d’affaires en direct, détecter une panne, prédire en temps réel	TP 9 à 11 + atelier Lambda / Kappa

Le détail horaire est sur la page Programme des 3 jours.

Méthode pédagogique

• Alternance : 20 à 30 minutes d’apports avec démonstration, puis 30 à 50 minutes de TP tutoré. Le formateur passe dans les rangs, demande « Qui a réussi ? », puis corrige en direct.
• Fil rouge : un jeu de données réaliste (format officiel NYC TLC, 120 000 courses synthétiques, version réelle de 3 millions de courses téléchargeable) et des questions métier qui montent en puissance.
• Niveaux : chaque TP a un critère « réussi si » et un ou plusieurs bonus pour les plus rapides. Binômes avancé / débutant quand le groupe est hétérogène.
• Révision quotidienne : 10 minutes de questions-réponses chaque matin sur la veille, aide pour finir le TP précédent, « ce qu’il faut retenir » en 5 points chaque soir.
• Support : ce site, le dépôt Git (notebooks, données, corrigés publiés en fin de journée) et les slides remis en début de session.

Validation et sanction

Le dernier jour à 16 h, un QCM de validation des acquis vérifie la maîtrise des objectifs, suivi du questionnaire de satisfaction. Les quiz de révision de ce site préparent ce QCM. Une attestation est remise à chaque stagiaire ayant suivi la totalité de la formation.

Technologies couvertes : standards actuels et héritage

L’écosystème Spark compte quinze ans d’évolution. Vous rencontrerez en entreprise à la fois les API actuelles et des briques héritées encore présentes dans du code existant. Chaque composant est positionné sur l’axe à écrire aujourd’hui / à savoir lire :

Composant	Statut en Spark 4	Traitement dans la formation
SQLContext, HiveContext	Héritage, remplacés par SparkSession depuis Spark 2.0	Présentés comme ancêtres de SparkSession (J1, partie 4)
Mesos, Marathon	Support supprimé en Spark 4.0	Cités pour la migration vers Standalone, YARN ou Kubernetes (J1, partie 3)
StreamingContext (DStreams)	Projet legacy, plus de mises à jour	Comparé à Structured Streaming (J3, partie 1)
Flume (agents, sources, channels, sinks, Avro RPC)	Connecteur retiré en Spark 3.0	Situé dans l’histoire ; équivalents Kafka et Avro aujourd’hui (J3, partie 1)
KNN présenté comme clustering	KNN est supervisé et absent de MLlib	Distingué de K-means (J2, partie 4)
SparkR	Déprécié depuis Spark 4.0	Présenté avec l’alternative maintenue sparklyr (J2 et J3)
Deep Learning Pipelines (sparkdl)	Bibliothèque retirée	Remplacé par predict_batch_udf, pandas UDF et TorchDistributor (J3, partie 4)