Quiz 05 – Machine Learning : types de problèmes et exploration des données

• Jour 2
• 20 questions
• Seuil de réussite : 70 %
• 21 flashcards

Contenus évalués : programmer ou apprendre ; apprentissage supervisé et non supervisé ; reconnaître une régression, une classification, un clustering ; cycle d’un projet ML (données, préparation, modèle, évaluation, déploiement) ; agréger ou échantillonner dans Spark puis `toPandas()` ; histogramme, nuage de points et heatmap avec Matplotlib et Seaborn ; piège du `toPandas()` sur tout le DataFrame et mémoire du Driver.

Une seule bonne réponse par question. Toutes les valeurs citées sont celles des TP de la formation. Le corrigé détaillé s’affiche après la correction. Ce quiz prépare le QCM de validation des acquis du dernier jour.

QCM

Question 1

Tu veux regrouper les 265 zones de taxi selon leur activité horaire. Personne ne t’a fourni de groupes de référence. De quel type d’apprentissage s’agit-il ?

• a) Supervisé, car les heures de prise en charge sont connues pour chaque course.
• b) Non supervisé : il n’y a pas d’étiquette à prédire, on cherche des groupes dans les données.
• c) Supervisé, de type régression, car l’heure est une valeur numérique.
• d) Supervisé, de type classification, car chaque groupe obtenu est une classe.

Question 2

Quelle phrase décrit le mieux la différence entre programmer et apprendre ?

• a) Programmer, c’est fournir des exemples à la machine. Apprendre, c’est écrire les règles à la main.
• b) Apprendre, c’est appliquer plus vite des règles écrites par un expert, grâce au cluster Spark.
• c) Apprendre signifie que le modèle se met à jour tout seul en production, sans avoir besoin de données.
• d) En programmation classique, tu écris les règles. En apprentissage, l’algorithme déduit les règles à partir d’exemples dont la réponse est connue.

Question 3

Lors de l’activité « quel type de problème ? », on te demande d’estimer la durée d’une course. Quel type de problème est-ce ?

• a) Une régression.
• b) Une classification.
• c) Un clustering.
• d) Un problème non supervisé de détection d’anomalies.

Question 4

Autre situation de l’activité : prédire si un client paiera par carte. Quel type de problème est-ce ?

• a) Une régression, car le modèle renvoie une probabilité comprise entre 0 et 1.
• b) Un clustering, car on sépare les clients en deux groupes.
• c) Une classification, car la cible est une catégorie : carte ou pas carte.
• d) Un problème non supervisé, car le mode de paiement n’est connu qu’après la course.

Question 5

Dans quel ordre se déroulent les étapes d’un projet de Machine Learning ?

• a) Données, modèle, préparation, évaluation, déploiement.
• b) Données, préparation, modèle, évaluation, déploiement.
• c) Préparation, données, modèle, déploiement, évaluation.
• d) Données, préparation, modèle, déploiement, évaluation.

Question 6

Voici le code du corrigé du TP 5 pour l’histogramme des montants :

tranches = (trips.withColumn("tranche", (F.floor(F.col("total_amount") / 5) * 5).cast("int"))
                 .groupBy("tranche").count().orderBy("tranche")
                 .filter("tranche < 150").toPandas())

Que contient le DataFrame pandas tranches ?

• a) Les 120 000 courses avec une colonne tranche en plus. Le comptage est fait ensuite par sns.barplot.
• b) Une ligne par tranche de 5 $, avec le montant moyen de chaque tranche.
• c) Toutes les courses dont le montant est inférieur à 150 $, triées par montant.
• d) Une ligne par tranche de 5 $ sous 150 $, avec le nombre de courses : quelques dizaines de lignes seulement.

Question 7

Parmi ces lignes, laquelle risque de saturer la mémoire du Driver sur un gros volume de données ?

• a) pdf = trips.toPandas()
• b) ech = trips.sample(fraction=0.03, seed=1).select("trip_distance", "fare_amount").toPandas()
• c) par_borough = trips.groupBy("Borough").agg(F.avg("total_amount").alias("montant_moyen")).toPandas()
• d) jh = trips.groupBy("jour_semaine", "heure").count().toPandas()

Question 8

Un participant passe aux données réelles, environ 3 millions de courses pour un mois. Il écrit plt.scatter(trips.toPandas().trip_distance, trips.toPandas().fare_amount) et le Driver tombe en erreur mémoire. Quelle correction applique la règle d’or du TP 5 ?

• a) Ajouter trips.cache() avant le toPandas() pour garder les données en mémoire.
• b) Remplacer plt.scatter par un graphique Seaborn, qui gère mieux les gros volumes.
• c) Écrire trips.sample(fraction=0.03, seed=1).select("trip_distance", "fare_amount").toPandas(), puis dessiner ce petit résultat.
• d) Lancer la session avec master("local[*]") pour utiliser tous les cœurs de la machine.

Question 9

Sur la heatmap jours × heures du TP 5, un participant écrit : « Il y a nettement plus de courses le lundi que le samedi. » Pourquoi cette conclusion est-elle fragile ?

• a) Parce que dayofweek renvoie 1 pour le lundi : les lignes de la heatmap sont décalées d’un jour.
• b) Parce que janvier 2024 compte 5 lundis et seulement 4 samedis : il faut comparer les heures entre elles, pas les jours.
• c) Parce que fillna(0) a remplacé des cases vides par des zéros, ce qui fausse les totaux.
• d) Parce que la heatmap est construite sur l’échantillon de 3 %, trop petit pour comparer les jours.

Question 10

Sur le nuage de points tarif / distance, tu observes une ligne horizontale à 70 $. Quelle conclusion en tires-tu pour la suite du projet ?

• a) C’est le forfait JFK. Un modèle linéaire ratera ce palier, un arbre de décision le capturera : il faut comparer les deux au TP 6.
• b) Ce sont des valeurs aberrantes. Il faut supprimer ces courses avant d’entraîner le modèle.
• c) C’est un artefact de l’échantillon de 3 %. Il disparaîtra en traçant toutes les courses.
• d) Il faut ajouter total_amount aux features pour que le modèle explique ce palier.

Question 11

Dans l’activité « quel type de problème ? », on te demande de repérer les courses au montant anormal. Quelle réponse est la plus juste ?

• a) Une régression, car le montant d’une course est une valeur numérique continue.
• b) Un clustering dans tous les cas, car les courses anormales forment toujours un groupe à part.
• c) Cela dépend des données : une classification si tu disposes d’exemples étiquetés « anormal » ou « normal », sinon une approche non supervisée de détection d’anomalies.
• d) Une classification dans tous les cas, car la réponse attendue est oui ou non.

Question 12

Dernière situation de l’activité : dire à un chauffeur où attendre ses clients. Comment la formation traite-t-elle ce cas ?

• a) Comme une classification : chaque zone est une classe, et le modèle choisit la meilleure.
• b) Comme un clustering des zones, qui suffit à indiquer au chauffeur où attendre.
• c) Comme une seule régression, qui prédit directement le numéro de la zone idéale.
• d) Comme un assemblage de plusieurs briques : une régression qui prévoit la demande, puis une règle métier qui transforme cette prévision en conseil.

Question 13

Au début du TP 5, le corrigé prépare trips puis exécute :

trips.cache().count()

Pourquoi cette ligne ?

• a) trips sert aux quatre graphiques. cache() demande de garder en mémoire le résultat de la lecture et de la jointure, et count(), une action, déclenche ce calcul une seule fois.
• b) cache() rapatrie toutes les courses sur le Driver, ce qui rend ensuite les toPandas() instantanés.
• c) count() est obligatoire pour que toPandas() connaisse à l’avance la taille du résultat.
• d) cache() lit immédiatement le fichier Parquet. count() sert seulement à afficher le nombre de courses.

Question 14

Voici le code de la heatmap du corrigé du TP 5 :

jh = (trips.groupBy("jour_semaine", "heure").count().toPandas()
           .pivot(index="jour_semaine", columns="heure", values="count").fillna(0))

Quelle est la forme de jh, et qui fait le pivot ?

• a) 120 000 lignes, une par course. Spark fait le pivot avant toPandas().
• b) 7 lignes (les jours) × 24 colonnes (les heures). Pandas fait le pivot sur le résultat du groupBy, qui compte au plus 168 lignes.
• c) 24 lignes × 7 colonnes, car index="jour_semaine" place les jours en colonnes.
• d) 7 lignes × 24 colonnes. Spark fait le pivot, et c’est pour cela que fillna(0) est indispensable.

Question 15

Le corrigé du TP 5 calcule par arrondissement le montant moyen et le nombre de courses, puis trace montant_moyen. Un participant voit la barre de Manhattan plus basse que celles du Queens et d’EWR. Il conclut : « Manhattan rapporte moins aux taxis que le Queens. » Qu’est-ce qui cloche ?

• a) Rien : le montant moyen par arrondissement est le chiffre d’affaires de l’arrondissement.
• b) La jointure avec taxi_zone_lookup.csv a fait disparaître une partie des courses de Manhattan.
• c) Le graphique montre un montant moyen par course, pas un total. Manhattan a le plus de courses, comme l’indique la colonne courses affichée par le print.
• d) F.avg écarte les courses au forfait de 70 $, ce qui fait baisser la moyenne de Manhattan.

Question 16

L’après-midi, tu dois choisir des features pour prédire le montant d’une course. Quel choix s’appuie correctement sur les observations du TP 5 ?

• a) jour_semaine, car la heatmap montre plus de courses en début de semaine.
• b) total_amount, car l’histogramme montre qu’il suit de près le tarif.
• c) tranche, puisque l’histogramme a déjà calculé les tranches de 5 $.
• d) heure, à cause des pics de 8 h et 18 h, et l’arrondissement de départ, car les aéroports ont les montants moyens les plus élevés.

Question 17

Pourquoi le TP 5 échantillonne-t-il pour le nuage de points, alors qu’il agrège pour l’histogramme ?

• a) Parce que Seaborn refuse les DataFrames issus de sample, alors que Matplotlib les accepte.
• b) Parce qu’un nuage dessine un point par course : un groupBy ferait perdre ce qu’on veut voir, alors qu’un échantillon de 3 % en garde la forme. L’histogramme n’a besoin que d’un comptage par tranche, que Spark fait exactement.
• c) Parce que sample est plus précis que groupBy, et le nuage demande plus de précision.
• d) Parce que les deux méthodes sont interchangeables : le choix du corrigé est arbitraire.

Question 18

Tu colles le contenu du corrigé tp5_explorer.py dans une cellule de notebook. Tout s’exécute sans erreur, mais aucun graphique ne s’affiche sous la cellule. Quelle est la cause ?

• a) Seaborn est mal installé : il faut relancer pip install seaborn.
• b) toPandas() renvoie un DataFrame vide lorsqu’il est appelé depuis un notebook.
• c) La ligne matplotlib.use("Agg") choisit un mode sans écran : les graphiques sont écrits en PNG dans out/tp5/. Le corrigé indique de retirer cette ligne dans un notebook.
• d) master("local[*]") empêche Matplotlib d’afficher quoi que ce soit.

Question 19

Dans le nuage de points, le corrigé écrit plt.xlim(0, 30); plt.ylim(0, 120). Que font ces deux appels ?

• a) Ils filtrent ech dans Spark avant le toPandas(), ce qui allège le Driver.
• b) Ils suppriment de trips les courses de plus de 30 miles pour la suite du TP.
• c) Ils remplacent l’échantillonnage : avec eux, sample devient inutile.
• d) Ils ne changent que le cadre du dessin. Les points hors cadre restent dans ech, ils ne sont simplement pas visibles.

Question 20

Tu relances le TP 5 sur les données réelles, environ 3 millions de courses pour un mois. Que fais-tu pour la heatmap jours × heures ?

• a) Rien : groupBy("jour_semaine", "heure").count() renvoie au plus 7 × 24 = 168 lignes, quel que soit le volume. Le toPandas() reste sûr, et Spark répartit le comptage.
• b) Tu ajoutes sample(fraction=0.03, seed=1) avant le groupBy pour protéger le Driver.
• c) Tu fais toPandas() sur trips, puis un pivot pandas, plus rapide qu’un groupBy Spark.
• d) Tu augmentes la mémoire du Driver, car c’est lui qui effectue l’agrégation.

Corriger Recommencer

Flashcards

Cliquez sur une carte pour la retourner. Mélangez-les pour une révision active.

Question Programmer ou apprendre : quelle différence ?

◀ Précédente Retourner Suivante ▶ Mélanger 1 / 21