Quiz 07 – Classification : Random Forest, SVM, matrice de confusion et AUC

• Jour 2
• 20 questions
• Seuil de réussite : 70 %
• 21 flashcards

Contenus évalués : construction du label binaire du pourboire et taux de pourboire sur les courses payées par carte ; features `nuit` et rôle du `StandardScaler` ; hyperparamètres `numTrees` et `maxDepth` du Random Forest et grille du `CrossValidator` ; choix entre Random Forest et LinearSVC ; lecture du pipeline ajusté et de `featureImportances` ; lecture de la matrice de confusion, précision, rappel, `weightedRecall` et exactitude trompeuse ; effet du seuil de décision ; courbe ROC, colonne `probability`, seuils par quantiles, AUC = 0,5 et interprétation d'une AUC de 0,70 ; sur-apprentissage et fuite de données avec `payment_type`.

Une seule bonne réponse par question. Toutes les valeurs citées sont celles des TP de la formation. Le corrigé détaillé s’affiche après la correction. Ce quiz prépare le QCM de validation des acquis du dernier jour.

QCM

Question 1

Dans le TP 7, tu as construit la colonne cible avec cette ligne. Que contient label ?

.withColumn("label", (F.col("tip_amount") > 0).cast("double"))

• a) Le montant du pourboire en dollars, converti en nombre décimal.
• b) 1.0 si la course a reçu un pourboire, 0.0 sinon.
• c) 1.0 si la course a été payée par carte, 0.0 sinon.
• d) La probabilité que le client laisse un pourboire.

Question 2

Juste après la préparation des données, le TP te fait exécuter cette ligne. Que mesure-t-elle ?

print(df.agg(F.avg("label")).first()[0])

• a) Le montant moyen du pourboire par course.
• b) L'AUC du modèle calculée sur le jeu complet.
• c) Le nombre de courses qui ont reçu un pourboire.
• d) La part des courses par carte avec pourboire, qui indique si les classes sont équilibrées.

Question 3

Le pipeline du TP 7 se termine par RandomForestClassifier(numTrees=50, maxDepth=6). Que fixent ces deux hyperparamètres ?

• a) La forêt contient 50 arbres, et chacun est limité à 6 niveaux de profondeur.
• b) L'entraînement fait 50 itérations d'optimisation, avec 6 features par arbre.
• c) La forêt contient 50 arbres, et chacun a au plus 6 feuilles.
• d) La forêt contient 50 arbres, entraînés sur 6 plis de validation croisée.

Question 4

Les AUC du Random Forest et de LinearSVC sont presque égales. Pourquoi le TP te fait-il sauvegarder le Random Forest dans out/modele_pourboire ?

• a) Le Random Forest a une AUC nettement supérieure à celle de LinearSVC.
• b) Un pipeline contenant LinearSVC ne peut pas être sauvegardé avec write().overwrite().save.
• c) Le TP 11 a besoin d'une colonne probability, que LinearSVC ne fournit pas.
• d) LinearSVC a affiché ERROR OWLQN: Failure! Resetting history, ce qui rend son modèle inutilisable.

Question 5

Tu affiches la matrice de confusion avec rf_pred.groupBy("label").pivot("prediction").count(). Pour obtenir le rappel de la classe 1 (pourboire), tu prends le nombre de courses avec label = 1.0 et prediction = 1.0, et tu le divises par :

• a) le nombre de courses prédites à 1, soit le total de la colonne 1.0.
• b) le nombre de courses réellement à 1, soit le total de la ligne label = 1.0.
• c) le nombre total de courses du jeu de test.
• d) le nombre de courses réellement à 0, soit le total de la ligne label = 0.0.

Question 6

Quiz flash d'avant le TP 7 : un détecteur de fraude répond toujours « pas de fraude » et affiche une exactitude de 99 %. Quel est le bon diagnostic ?

• a) C'est un mauvais modèle : les classes sont déséquilibrées et le rappel de la classe fraude vaut 0.
• b) C'est un excellent modèle : 99 % d'exactitude dépasse tout objectif raisonnable.
• c) C'est du sur-apprentissage : il faut réduire maxDepth.
• d) C'est une fuite de données : une feature contient la réponse.

Question 7

Après l'entraînement, BinaryClassificationEvaluator(metricName="areaUnderROC") renvoie une AUC de 0,5. Que conclus-tu ?

• a) Le modèle classe correctement une course sur deux, puisque le seuil de décision est 0,5.
• b) Le modèle est moyen mais acceptable, proche du critère de réussite du TP.
• c) Le modèle se trompe systématiquement : il suffit d'inverser ses prédictions.
• d) Le modèle répond au hasard : il faut vérifier le label, les features et les jointures.

Question 8

Pour tracer la courbe ROC, le TP signale que les probabilités du Random Forest sont concentrées entre 0,3 et 0,7. Il te fait donc prendre comme seuils numpy.quantile(p, numpy.linspace(0, 1, 50)) plutôt que 20 seuils réguliers. Pourquoi ?

• a) Les seuils par quantiles améliorent l'AUC du modèle.
• b) Les seuils réguliers ne fonctionnent qu'avec les scores de LinearSVC.
• c) Avec des seuils réguliers, beaucoup tombent hors de 0,3 à 0,7 et donnent le même point. Les quantiles répartissent les points le long de la courbe.
• d) Les seuils par quantiles évitent d'appeler toPandas() sur le jeu de test.

Question 9

Un modèle obtient 99 % en entraînement et 60 % en test. Quel diagnostic et quelle action retiens-tu ?

• a) Sous-apprentissage : augmenter maxDepth pour que les arbres captent plus de détails.
• b) Sur-apprentissage : réduire maxDepth, ajouter des arbres ou des données, valider par validation croisée.
• c) Fuite de données : retirer la feature qui a la plus forte importance.
• d) Classes déséquilibrées : regarder la précision plutôt que l'exactitude.

Question 10

Un collègue propose de retirer le filtre payment_type = 1, de garder toutes les courses et d'ajouter payment_type comme feature. L'AUC monte fortement. Qu'en penses-tu ?

• a) C'est une fuite : les pourboires en espèces ne sont pas enregistrés, donc payment_type prédit un défaut d'enregistrement et non le comportement du client.
• b) C'est une bonne idée : plus de données et une feature de plus améliorent toujours le modèle.
• c) C'est sans risque, à condition que le StandardScaler normalise aussi payment_type.
• d) C'est du sur-apprentissage : il suffit de réduire maxDepth pour corriger le problème.

Question 11

Dans le corrigé, l'importance des features est lue avec ces deux lignes. Que contient rf ?

rf = rf_model.stages[-1]
rf.featureImportances

• a) Le pipeline entier, avec l'assembleur, la normalisation et la forêt.
• b) Le StandardScaler entraîné, dernière étape de préparation des features.
• c) Le modèle Random Forest entraîné, dernière étape du pipeline ajusté.
• d) Le dernier des 50 arbres de la forêt.

Question 12

La feature nuit est construite ainsi. Quelle valeur prend-elle pour une course prise en charge à 4 h 50, puis pour une course prise en charge à 20 h 00 ?

.withColumn("heure", F.hour("tpep_pickup_datetime"))
.withColumn("nuit", ((F.col("heure") >= 20) | (F.col("heure") < 5)).cast("double"))

• a) 0.0 pour la course de 4 h 50, 1.0 pour celle de 20 h 00.
• b) 1.0 pour la course de 4 h 50, 0.0 pour celle de 20 h 00.
• c) 0.0 pour les deux courses.
• d) 1.0 pour les deux courses.

Question 13

Pour la courbe ROC, tu récupères le score de chaque course avec vector_to_array("probability")[1]. Pourquoi l'indice 1 ?

• a) Le vecteur probability contient une probabilité par classe. L'indice 1 donne celle de la classe 1, le pourboire.
• b) L'indice 1 désigne la prédiction finale, l'indice 0 contenant le label.
• c) L'indice 1 sélectionne la probabilité de la classe majoritaire, quelle qu'elle soit.
• d) Les indices commencent à 1 en Spark ML : [1] est la seule composante du vecteur.

Question 14

Dans le corrigé, la liste des seuils de la courbe ROC se termine par une valeur ajoutée à la main. À quoi sert ce dernier seuil 1.01 ?

seuils = list(np.quantile(p, np.linspace(0, 1, 50))) + [1.01]

• a) À éviter une division par zéro dans le calcul de tpr.
• b) À relever légèrement l'AUC affichée dans la légende du graphique.
• c) À obtenir le point (0, 0) de la courbe : aucune probabilité n'atteint 1.01, donc aucune course n'est classée positive.
• d) À tracer la diagonale en pointillés qui représente le hasard.

Question 15

Le corrigé place un StandardScaler avant les deux classifieurs, avec le commentaire « indispensable pour la SVM ». Pourquoi ?

• a) Le Random Forest ne sait pas lire une colonne features_brutes non normalisée.
• b) LinearSVC cherche une frontière linéaire à partir des valeurs brutes des features. Sans mise à l'échelle, les features aux grandes valeurs pèsent plus que les autres. Le Random Forest, qui coupe par seuils, s'en passerait.
• c) La normalisation rééquilibre les classes 0 et 1 avant l'entraînement.
• d) Sans normalisation, BinaryClassificationEvaluator ne peut pas calculer l'AUC.

Question 16

Le corrigé affiche weightedRecall avec MulticlassClassificationEvaluator. Le rappel de la classe 1 que tu as calculé à la main à partir de la matrice de confusion ne donne pas la même valeur. Pourquoi ?

• a) Tu t'es trompé dans ton calcul : weightedRecall est exactement le rappel de la classe 1.
• b) weightedRecall est calculé sur le jeu d'entraînement, et ton calcul sur le jeu de test.
• c) weightedRecall utilise les probabilités, donc il ne dépend pas du seuil 0,5.
• d) weightedRecall fait la moyenne des rappels des deux classes, pondérée par leur effectif : ce n'est pas le rappel de la seule classe 1.

Question 17

Tu modifies la grille du bonus en ajoutant une valeur à maxDepth. Combien de modèles la validation croisée entraîne-t-elle pour comparer les combinaisons, sans compter le réentraînement final du meilleur modèle ?

grille = (ParamGridBuilder()
          .addGrid(rf.numTrees, [20, 50])
          .addGrid(rf.maxDepth, [4, 6, 8])
          .build())
cv = CrossValidator(..., estimatorParamMaps=grille, evaluator=auc, numFolds=3, seed=1)

• a) 6, un par combinaison d'hyperparamètres.
• b) 9, soit 3 plis × 3 valeurs de maxDepth.
• c) 18, soit 3 plis × 6 combinaisons.
• d) 12, comme dans le corrigé.

Question 18

La matrice de confusion du TP utilise le seuil 0,5. Tu abaisses ce seuil à 0,4 sans réentraîner le Random Forest. Qu'est-ce qui change ?

• a) Plus de courses sont classées « pourboire » : le rappel de la classe 1 monte ou reste égal, le taux de faux positifs aussi. L'AUC ne change pas.
• b) L'AUC augmente, puisque le modèle détecte davantage de vrais positifs.
• c) La précision et le rappel de la classe 1 augmentent tous les deux.
• d) Rien ne change : le modèle n'a pas été réentraîné, donc la matrice de confusion reste identique.

Question 19

Le service marketing veut une liste de courses annoncées « pourboire » dans laquelle presque toutes en reçoivent vraiment, quitte à en oublier beaucoup. Quelle métrique surveilles-tu, et comment règles-tu le seuil du Random Forest ?

• a) Le rappel de la classe 1, en abaissant le seuil sous 0,5.
• b) L'exactitude, en gardant le seuil à 0,5.
• c) L'AUC, en choisissant le modèle qui a la meilleure AUC : le seuil n'a pas d'importance.
• d) La précision de la classe 1, en montant le seuil au-dessus de 0,5.

Question 20

Ton Random Forest atteint une AUC de 0,70 : le critère de réussite du TP (AUC > 0,65) est atteint. Ton responsable te demande comment faire mieux. Que proposes-tu en priorité ?

• a) Passer maxDepth à une valeur bien plus grande pour que les arbres captent plus de détails.
• b) Enrichir les features avec la zone précise, le jour ou la météo. Avec 5 features, 0,70 est un résultat honnête pour un comportement humain.
• c) Chercher une fuite de données : 0,70 est trop élevé pour prédire un comportement humain.
• d) Remplacer le Random Forest par LinearSVC, puisque les deux AUC sont presque égales.

Corriger Recommencer

Flashcards

Cliquez sur une carte pour la retourner. Mélangez-les pour une révision active.

Question Comment le TP 7 construit-il la colonne label ?

◀ Précédente Retourner Suivante ▶ Mélanger 1 / 21