Quiz express du jour 1

• 10 min · 11h50 – 12h00
• Slido, Kahoot ou mains levées
• Prépare le QCM de validation du jour 3

Chaque mauvaise réponse fréquente vaut une minute de rappel. Cliquez sur une question pour voir la réponse.

1. Transformation (paresseuse) ou action (déclenche le calcul) ?

Opération	Réponse
map	Voir transformation (narrow)
collect	Voir action
filter	Voir transformation (narrow)
count	Voir action
reduceByKey	Voir transformation (wide : shuffle)
take(5)	Voir action
join	Voir transformation (wide)
saveAsTextFile	Voir action

2. Combien de stages pour ce job ?

rdd.map(f).filter(g).reduceByKey(h).map(k).count()

Réponse

2 stages. Un seul shuffle (reduceByKey) ; map et filter sont narrow et restent dans le même stage. On compte les shuffles, pas les opérations.

3. Vrai ou faux ?

Un RDD peut être modifié après sa création

Faux. Un RDD est immuable : une transformation crée un nouveau RDD qui garde l’ancien dans sa lignée.

Si un Executor tombe, Spark recalcule ses partitions grâce à la lignée

Vrai. Seules les partitions perdues sont recalculées, en rejouant les transformations depuis la source.

groupByKey envoie moins de données sur le réseau que reduceByKey

Faux. reduceByKey pré-agrège sur chaque partition avant le shuffle : environ 70 fois moins de données au TP 2 (≈ 7 Ko contre ≈ 480 Ko).

Questions de réserve (si le groupe est rapide)

Que contient spark.sparkContext ?

Le SparkContext de la session ; il sert à créer des RDD (textFile, parallelize). Il n'y en a qu'un.

local[*] : que signifie l'étoile ?

Autant de threads que de cœurs sur la machine. Un seul processus, pas de worker réseau.

1 action = combien de jobs ?

1 job. 1 job = N stages (1 par shuffle + 1). 1 stage = 1 tâche par partition.

Pourquoi Parquet est-il plus rapide que CSV à lire ?

Format colonne, compressé, schéma embarqué (pas d'inférence), lecture des seules colonnes demandées.

Questions pour la fin de journée (tour de table, 16h30)

RDD ou DataFrame : lequel est le plus rapide sur le top 10 ? Pourquoi ?

DataFrame : Catalyst optimise (broadcast join, projection poussée vers Parquet).

Que change --master dans spark-submit ?

Où s'exécutent les Executors ; le code métier ne change pas.

Que se passe-t-il si un DataNode tombe ?

Les copies des blocs sur les autres DataNodes prennent le relais ; HDFS re-réplique pour revenir au facteur demandé.

Pour aller plus loin : les quiz de révision 1 à 4 (20 questions chacun, corrigé détaillé).