Jour 2 – Le Machine Learning avec Spark ML

Hier, nous avons décrit le passé. Aujourd'hui, nous allons prédire l'avenir.

La deuxième journée passe de l’analyse à la prédiction. Mêmes données qu’hier, data/trips.parquet et taxi_zone_lookup.csv, mais de nouvelles questions : combien va coûter cette course, ce client laissera-t-il un pourboire, quelles familles de courses existent ? Chaque partie répond à une question métier, chaque TP construit sur le précédent, et le modèle de pourboire du TP 7 sera rechargé demain dans un flux temps réel.

Objectifs du jour

À la fin de la journée, vous saurez :

1. Distinguer apprentissage supervisé et non supervisé, régression, classification et clustering.
2. Explorer et visualiser les données avant de modéliser, sans faire tomber le Driver.
3. Construire un Pipeline Spark ML (Estimators, Transformers, VectorAssembler).
4. Entraîner et évaluer une régression (RMSE, R²) et une classification (matrice de confusion, ROC, AUC).
5. Reconnaître une fuite de données et un sur-apprentissage.
6. Segmenter des données avec K-means et juger k avec la silhouette.
7. Sauvegarder et recharger un modèle ; situer MLlib en PySpark, Scala et R.
8. Analyser un graphe avec GraphFrames (démonstration et bonus).

Objectifs couverts : 2 (Machine Learning) et 4 (documentation et écosystème), voir la page Programme.

Déroulé

• 9h00 Accueil, météo du groupe, hier en 10 minutes, objectifs
• 9h20 Partie 1 – Introduction au Machine Learning et exploration des données
• 9h55 TP 5 – Explorer avant de prédire (35 min)
• 10h30 Pause
• 10h45 Partie 2 – Spark ML : pipelines, régression et persistance
• 11h10 TP 6 – Prédire le montant (30 min), partage, persistance
• 12h00 Émargement, déjeuner
• 13h00 Partie 3 – Classification : Random Forest, SVM, ROC et AUC, quiz flash
• 13h40 TP 7 – Prédire le pourboire (50 min), partage
• 15h00 Pause
• 15h15 Partie 4 – Clustering avec K-means et graphes avec GraphFrames
• 15h35 TP 8 – Les familles de courses (45 min), partage
• 16h30 Ce qu'il faut retenir, attentes couvertes, émargement

Le fil rouge du jour

TP	Question métier	Partie	Technique
TP 5 · Explorer	Que racontent les données ?	1	Matplotlib, Seaborn, toPandas() sur un petit résultat
TP 6 · Régression	Combien va coûter cette course ?	2	Pipeline, régression linéaire, arbre de régression
TP 7 · Classification	Ce client laissera-t-il un pourboire ?	3	Random Forest, LinearSVC, ROC, AUC
TP 8 · Clustering + graphe	Quelles familles de courses ? Quelles zones centrales ?	4	K-means, silhouette, GraphFrames

Le jeu est synthétique mais au format officiel NYC TLC : les régularités sont nettes. Bonus de fin de journée : refaire le TP 7 sur les vraies données (scripts/download_official.py).

Ce qu’il faut retenir de la journée

	Idée	En une phrase
1	Supervisé ou non	Avec label : régression (un nombre) ou classification (une catégorie). Sans label : clustering.
2	Le Pipeline	Les Estimators apprennent (fit), les Transformers transforment. Un seul objet, sauvegardable.
3	Train / test	On juge un modèle sur des données jamais vues : RMSE, R², AUC selon le problème.
4	La fuite de données	Chaque feature doit être connue au moment de prédire.
5	Visualiser d’abord	Agréger dans Spark, tracer en pandas : les données parlent avant le modèle.

Pour réviser : la fiche mémo du jour 2 et les quiz 5 à 8 de la section révision.

Demain matin : 10 minutes de questions-réponses sur ces 5 points, puis aide pour finir le TP 8. Les corrigés des TP 5 à 8 sont publiés sur le dépôt Git ce soir. Et demain, les courses arrivent une par une, en direct : notre modèle de pourboire saura-t-il répondre à la volée ?