Quiz du jour 2

• Hier en 10 minutes · 9h05
• Activité « quel type de problème ? » · partie 1
• Quiz flash · partie 3
• Tour de table · 16h30

Cliquez sur une question pour voir la réponse.

Hier en 10 minutes

reduceByKey : transformation ou action ? Et count ?

reduceByKey est une transformation (wide, avec shuffle). count est une action.

Qu'est-ce qui crée un nouveau stage ?

Un shuffle, donc une transformation wide (reduceByKey, join, groupBy).

Driver, Executor, Cluster Manager : qui fait quoi ?

Le Driver planifie, le Cluster Manager alloue les ressources, les Executors exécutent les tâches.

Pourquoi Parquet se lit-il plus vite que CSV ?

Format colonne, compressé, schéma embarqué : pas d'inférence, lecture des seules colonnes demandées.

RDD ou DataFrame pour le top 10 des zones : lequel, et pourquoi ?

DataFrame : Catalyst optimise (broadcast join, projection poussée vers Parquet).

Activité : quel type de problème ?

R = régression, C = classification, G = groupement (clustering).

Situation	Réponse
Estimer la durée d’une course	Voir R : un nombre de minutes
Repérer les courses au montant anormal	Voir Ça dépend : C avec des exemples étiquetés, sinon non supervisé (anomalies). Débat utile
Prédire si un client paiera par carte	Voir C
Regrouper les zones selon leur activité horaire	Voir G
Prévoir le nombre de courses demain à 18h	Voir R : série temporelle, revue au jour 3
Dire à un chauffeur où attendre ses clients	Voir Plusieurs briques : régression de la demande + règle métier

Quiz flash : 4 situations

1. Un détecteur de fraude répond toujours « pas de fraude ». Exactitude : 99 %. Bon modèle ?

Non. L’exactitude est trompeuse sur des classes déséquilibrées : le rappel de la classe « fraude » est de 0 %. Métriques adaptées : rappel, AUC, courbe précision-rappel.

2. Mon modèle fait 99 % en train et 60 % en test. Que se passe-t-il ?

Sur-apprentissage : le modèle a appris le train par cœur. Remèdes : réduire la profondeur (maxDepth), plus d’arbres, plus de données, validation croisée.

3. Pour prédire la durée d'une course, puis-je utiliser l'heure d'arrivée ?

Non. L’heure d’arrivée n’est connue qu’à la fin de la course : c’est une fuite de données. Pour chaque feature : la connaîtrai-je au moment de prédire ?

4. Mon classifieur a une AUC de 0,5. Que fait-il ?

Il répond au hasard. Vérifier le label, les features, et qu’il n’y a pas d’erreur de jointure.

Tour de table de fin de journée

Pourquoi l'arbre bat-il la régression linéaire sur le montant ?

Il capte le palier du forfait JFK (70 $), une rupture qu'une droite ne peut pas modéliser.

R² = 0,976 avec total_amount : bonne nouvelle ?

Non, c'est une fuite : total_amount contient déjà le tarif et n'est connu qu'après la course.

AUC 0,70 pour le pourboire : bon modèle ?

Honnête pour un comportement humain avec 5 features. On gagnerait avec la zone précise, le jour, la météo.

Sans StandardScaler, l'heure n'a joué aucun rôle dans K-means : pourquoi ?

Le montant (dizaines de dollars) domine la distance euclidienne ; l'heure (0 à 23) ne pèse rien.

Pourquoi sauvegarder le Random Forest plutôt que la SVM, à AUC presque égale ?

Le TP 11 de demain a besoin de la colonne probability, que LinearSVC ne fournit pas.

Pour aller plus loin : les quiz de révision 5 à 8 (20 questions chacun, corrigé détaillé).