Quiz 01 – Spark 4 : contexte, installation et première session

• Jour 1
• 20 questions
• Seuil de réussite : 70 %
• 20 flashcards

Contenus évalués : Spark face à Hadoop MapReduce et intérêt du calcul en mémoire ; API unifiées en Java, Scala, Python et R ; calcul distribué en partitions et tâches ; nouveauté de Spark 4 : ANSI SQL par défaut ; SparkSession, SparkContext, `getOrCreate` et master `local[*]` ; Spark UI sur le port 4040 et durée de vie de la session ; chargement de `trips.csv` et `trips.parquet` avec `header`, `inferSchema`, `show` et `printSchema` ; prérequis Java 17+, PySpark 4, WSL2 sous Windows et lecture de la sortie de `check_env.py`

Une seule bonne réponse par question. Toutes les valeurs citées sont celles des TP de la formation. Le corrigé détaillé s’affiche après la correction. Ce quiz prépare le QCM de validation des acquis du dernier jour.

QCM

Question 1

Dans le TP 1, tu crées ta session avec .master("local[*]"). Que signifie l'étoile ?

• a) Spark se connecte à tous les workers disponibles sur le réseau local.
• b) Spark lance autant de threads que la machine a de cœurs.
• c) Spark utilise un seul thread : l'étoile désigne simplement le mode par défaut.
• d) Spark réserve toute la mémoire disponible sur la machine.

Question 2

Tu lances python scripts/check_env.py. La ligne Java affiche ✘ avec openjdk version "11.0.20". Que fais-tu ?

• a) Rien : Java 11 suffit, seul PySpark doit être en version 4.x.
• b) Tu installes PySpark 3.x, compatible avec Java 11, pour faire passer le script.
• c) Tu ignores la ligne : le script vérifie seulement que la commande java existe.
• d) Tu installes un JDK 17 ou 21, puis tu vérifies JAVA_HOME.

Question 3

Un traitement enchaîne plusieurs étapes sur les mêmes données. Pourquoi Spark est-il nettement plus rapide que Hadoop MapReduce dans ce cas ?

• a) Spark garde les résultats intermédiaires en mémoire, au lieu de les écrire sur disque entre chaque étape.
• b) Spark n'a pas besoin de cluster : tout s'exécute toujours sur une seule machine.
• c) Spark remplace HDFS par son propre système de stockage, plus rapide.
• d) Spark exécute chaque opération immédiatement, sans attendre une action.

Question 4

Dans la Spark UI, tu ouvres le job du count() sur trips.csv. Le premier de ses 2 stages contient N tâches. À quoi correspond N ?

• a) Au nombre de colonnes du fichier, soit 19.
• b) Au nombre d'executors démarrés par local[*].
• c) Au nombre de partitions du DataFrame, donné par df.rdd.getNumPartitions().
• d) Au nombre de stages du job, soit 2.

Question 5

Un autre notebook est déjà ouvert. Tu cliques sur http://localhost:4040 et tu ne retrouves pas tes jobs du TP 1. Que fais-tu ?

• a) Tu fermes l'autre notebook : la Spark UI ne fonctionne que sur le port 4040.
• b) Tu affiches spark.sparkContext.uiWebUrl : ta session a pris le port suivant, 4041.
• c) Tu relances la session avec .master("local[2]") pour changer de port.
• d) Tu exécutes spark.stop() : la Spark UI n'affiche les jobs qu'après l'arrêt de la session.

Question 6

Avec la configuration par défaut de Spark 4, que produit cette requête ?

SELECT CAST('abc' AS INT) AS valeur

• a) Une erreur à l'exécution, car le mode ANSI SQL est activé par défaut.
• b) La valeur NULL, sans erreur ni avertissement.
• c) La valeur 0, valeur par défaut d'un entier.
• d) La chaîne 'abc', et la colonne devient de type string.

Question 7

À l'étape 1 du TP 1, juste après getOrCreate(), tu écris sc = spark.sparkContext. Qu'est-ce que sc ?

• a) Une seconde session, indépendante de spark, avec sa propre Spark UI.
• b) Un simple alias de spark : sc.read.csv(...) fonctionne exactement comme spark.read.csv(...).
• c) La connexion à la Spark UI, qui ne sert qu'à obtenir uiWebUrl.
• d) Le SparkContext porté par la session, le point d'entrée bas niveau qui sert notamment à créer des RDD.

Question 8

Sous Windows natif, check_env.py affiche ✔ jusqu'à SparkSession OK — Spark 4…, puis ✘ sur Écriture / lecture Parquet. Quel est le bon diagnostic ?

• a) PySpark est mal installé : il faut le réinstaller avec pip install pyspark.
• b) Le fichier data/trips.parquet est corrompu : il faut le régénérer.
• c) Windows natif exige winutils et HADOOP_HOME pour écrire des fichiers : le plus fiable est de passer à WSL2.
• d) Java est trop récent pour écrire du Parquet : il faut revenir à une version plus ancienne.

Question 9

Tu oublies inferSchema et tu exécutes ce code. Que montre printSchema() ?

df = spark.read.csv("data/trips.csv", header=True)
df.printSchema()

• a) Des types déduits (entiers, décimaux, horodatages), comme avec inferSchema=True.
• b) Les 19 colonnes, nommées d'après l'en-tête, toutes de type string.
• c) Des colonnes _c0 à _c18, toutes de type string.
• d) Une erreur : printSchema() exige inferSchema=True.

Question 10

Tu fais deux constats. D'abord, l'onglet Jobs montre des jobs créés avant ton count(). Ensuite, dans le bonus, le count() sur trips.csv (lu avec inferSchema=True) est plus lent que sur trips.parquet. Quelle explication relie les deux ?

• a) inferSchema=True relit le CSV pour deviner les types, ce qui crée des jobs dès la lecture et coûte du temps. Parquet embarque son schéma et il est en colonnes et compressé.
• b) Spark lit le CSV avec un seul cœur, alors qu'il lit le Parquet avec tous les cœurs de local[*].
• c) Parquet garde en cache le résultat du dernier count(), d'où un temps presque nul.
• d) La lecture est paresseuse pour Parquet, mais read.csv charge tout le fichier en mémoire dès son appel.

Question 11

Ton DataFrame df est chargé depuis trips.csv avec header=True, inferSchema=True, et les jobs de lecture sont terminés. Laquelle de ces instructions ajoute un nouveau job dans l'onglet Jobs de la Spark UI ?

• a) df.printSchema()
• b) df.select("PULocationID", "total_amount")
• c) df.select("tpep_pickup_datetime", "PULocationID", "trip_distance", "total_amount").show(5)
• d) df.columns

Question 12

Tes TP sont en PySpark. Un collègue de ton équipe ne travaille qu'en Scala. Peut-il écrire les mêmes traitements Spark que toi ?

• a) Non : depuis Spark 4, PySpark est la seule API maintenue.
• b) Non : PySpark et Scala reposent sur deux moteurs différents, les résultats ne seraient pas comparables.
• c) Oui, mais seulement en SQL : les DataFrames n'existent qu'en Python.
• d) Oui : Spark propose des API unifiées en Java, Scala, Python et R, et le dépôt fournit d'ailleurs des corrigés Scala de plusieurs TP.

Question 13

Tu exécutes ce code et tu obtiens 120001 au lieu des 120 000 courses attendues. Quelle est la cause ?

spark.read.csv("data/trips.csv", inferSchema=True).count()

• a) Sans header=True, la ligne d'en-tête est lue comme une donnée et comptée comme une course.
• b) inferSchema=True relit le fichier, et une ligne est comptée deux fois.
• c) Une ligne vide en fin de fichier est comptée comme une course.
• d) Le jeu contient en réalité 120 001 courses, le chiffre de 120 000 est un arrondi.

Question 14

Tu ouvres TP1_premier_contact.ipynb depuis le dossier jour1/. Tu sautes la première cellule et tu exécutes les étapes 1 et 2. Spark répond :

AnalysisException: [PATH_NOT_FOUND] Path does not exist: file:/home/alice/formation-spark-ml/jour1/data/trips.csv

Quel est le bon diagnostic ?

• a) Les données ne sont pas présentes : il faut lancer scripts/download_official.py.
• b) En mode local, Spark exige un chemin hdfs:// pour lire un fichier.
• c) Le chemin data/trips.csv est résolu depuis le répertoire de travail, ici jour1/ : il faut exécuter la première cellule ou ouvrir le notebook depuis la racine du dépôt.
• d) Il faut écrire file://data/trips.csv pour que Spark trouve le fichier.

Question 15

Ta session tourne déjà. Tu modifies la cellule de l'étape 1 pour écrire .master("local[2]"), puis tu la réexécutes sans redémarrer le noyau. sc.master affiche toujours local[*]. Pourquoi ?

• a) local[2] n'est pas une valeur valide : Spark revient automatiquement à local[*].
• b) getOrCreate() renvoie la session déjà active : il faut d'abord spark.stop() ou redémarrer le noyau.
• c) Le master ne peut se changer qu'avec l'option --master de spark-submit.
• d) Le nouveau master ne s'applique qu'à partir du prochain job, après le prochain count().

Question 16

Tu arrêtes ta session, tu la recrées avec .master("local[1]") et tu recharges trips.csv. Après local[1], tu relances le count() et tu compares avec df.rdd.getNumPartitions(). Que constates-tu ?

• a) Rien ne change : le nombre de tâches ne dépend que de la taille du fichier.
• b) Le job n'a plus qu'un stage, car l'addition des comptes devient inutile.
• c) Les tâches tournent toujours en parallèle, chacune sur son propre thread.
• d) Le premier stage a moins de tâches qu'avec local[*] (souvent une seule), car Spark découpe le fichier selon le nombre de cœurs disponibles, et au plus une tâche s'exécute à la fois.

Question 17

Tu lances le corrigé avec python jour1/corriges/tp1_premier_contact.py. Le script affiche le lien de la Spark UI, les comptes et les temps, puis il se termine. Tu cliques ensuite sur le lien et la page est inaccessible. Pourquoi ?

• a) Le port 4040 est bloqué par le pare-feu : il faut essayer 4041.
• b) La Spark UI ne fonctionne que depuis un notebook Jupyter.
• c) Le script se termine par spark.stop() : la Spark UI disparaît avec la session.
• d) Le lien affiché est faux, car l'appName du corrigé diffère de celui du notebook.

Question 18

Un participant obtient cette sortie de check_env.py :

  ✔ Python 3.12
  ✔ Java : openjdk version "21.0.2" 2024-01-16
  ✘ PySpark 3.5.1   → pip install pyspark (version 4.x)
  ✔ Jupyter
  ✔ Git : /usr/bin/git

Il reste des points à corriger (voir les lignes ✘).

Il conclut : « Aucune ligne SparkSession, donc Spark ne démarre pas sur mon poste. » Que lui réponds-tu ?

• a) Ce n'est pas prouvé : le script ne lance la SparkSession que si toutes les lignes précédentes sont ✔. Il installe PySpark 4.x et relance le script.
• b) La SparkSession a bien démarré, mais le script n'affiche que les lignes en échec.
• c) La ligne PySpark n'est qu'un avertissement : les TP fonctionnent aussi en version 3.5.
• d) Le script s'est interrompu avant la fin : il faut le relancer avec les droits administrateur.

Question 19

Toute la journée, tes analyses n'utilisent que 4 des 19 colonnes : tpep_pickup_datetime, PULocationID, trip_distance et total_amount. Quel fichier choisis-tu comme source, et pourquoi ?

• a) trips.csv avec inferSchema=True : l'inférence ne coûte qu'une fois, ensuite le CSV est aussi rapide.
• b) trips.parquet : le format est en colonnes, Spark lit seulement les colonnes demandées, et le schéma est embarqué.
• c) L'un ou l'autre : select est paresseux, donc Spark ne lit que les 4 colonnes dans les deux formats.
• d) trips.csv : Parquet est compressé et doit être décompressé en entier avant toute lecture.

Question 20

Sous Windows, tu as suivi les prérequis dans WSL2 : dans le terminal Ubuntu, check_env.py affiche « Tout est prêt pour la formation ! ». Tu lances ensuite VS Code normalement depuis Windows et tu ouvres le notebook. L'étape 1 échoue avec ModuleNotFoundError: No module named 'pyspark'. Que fais-tu ?

• a) Tu exécutes pip install pyspark dans PowerShell, pour que le Python de Windows trouve le module.
• b) Tu reclones le dépôt dans C:\ pour que VS Code le voie mieux.
• c) Tu exécutes Set-ExecutionPolicy RemoteSigned -Scope CurrentUser, puis tu réactives le venv.
• d) Tu utilises l'extension WSL de VS Code : « Connect to WSL », tu ouvres le dossier du dépôt côté Ubuntu, puis tu choisis le noyau du .venv.

Corriger Recommencer

Flashcards

Cliquez sur une carte pour la retourner. Mélangez-les pour une révision active.

Question Que signifie l'étoile dans .master("local[*]") ?

◀ Précédente Retourner Suivante ▶ Mélanger 1 / 20