Glossaire

Les termes sont groupés par thème, dans l’ordre de la formation. Chaque définition tient en une phrase ; le lien renvoie à la page qui l’explique.

Spark Core et exécution

Terme	Définition	Voir
SparkSession	Point d’entrée unique d’une application Spark ; contient le SparkContext.	J1 · Partie 1
SparkContext	Objet historique de création des RDD ; accessible via spark.sparkContext.	J1 · Partie 2
SQLContext / HiveContext	Anciens points d’entrée (Spark 1.x), remplacés par SparkSession. Héritage.	Présentation
RDD	Resilient Distributed Dataset : collection distribuée, immuable, découpée en partitions.	J1 · Partie 2
PairRDD	RDD de paires (clé, valeur), qui ouvre reduceByKey, join, groupByKey.	J1 · TP 2
Partition	Morceau d’un RDD ou DataFrame traité par une tâche.	J1 · Partie 2
Lignée (lineage)	Historique des transformations d’un RDD, qui permet de recalculer une partition perdue.	J1 · Partie 2
Transformation	Opération paresseuse qui décrit un nouveau RDD ou DataFrame (map, filter, join).	J1 · Partie 2
Action	Opération qui déclenche le calcul (count, collect, take, save).	J1 · Partie 2
Narrow / wide	Transformation sans / avec échange réseau (shuffle).	J1 · Partie 2
Shuffle	Redistribution des données entre partitions par clé ; crée un nouveau stage.	J1 · Partie 2
DAG	Graphe orienté acyclique des transformations, construit avant l’exécution.	J1 · Partie 2
Job / stage / tâche	1 action = 1 job ; 1 stage par shuffle plus un ; 1 tâche par partition.	J1 · TP 1
Spark UI	Interface web de l’application (port 4040), onglets Jobs, Stages, SQL, Structured Streaming.	J1 · TP 1
Driver	Processus qui exécute votre programme et planifie le DAG.	J1 · Partie 3
Executor	Processus sur un Worker qui exécute les tâches et garde les données en mémoire.	J1 · Partie 3
Cluster Manager	Alloue les ressources : Standalone, YARN, Kubernetes. Mesos retiré en 4.0.	J1 · Partie 3
spark-submit	Commande de lancement d’une application ; --master choisit où tournent les Executors.	J1 · TP 3

Hadoop et stockage

Terme	Définition	Voir
HDFS	Système de fichiers distribué de Hadoop : NameNode (métadonnées) et DataNodes (blocs).	J1 · Partie 3
NameNode	Garde l’arborescence et l’emplacement des blocs ; RPC sur le port 8020, interface web 9870.	J1 · Partie 3
DataNode	Stocke les blocs et les réplique.	J1 · Partie 3
Bloc / réplication	Unité de stockage (128 Mo) copiée 3 fois par défaut.	J1 · TP 3
core-site.xml / hdfs-site.xml	Où est le système de fichiers (fs.defaultFS) / comment stocker (réplication, blocs).	J1 · Partie 3
MapReduce	Modèle de calcul historique de Hadoop, écrit sur disque entre chaque étape.	J1 · Partie 1
Parquet	Format colonne, compressé, avec schéma embarqué et statistiques min/max.	J1 · Partie 4

Spark SQL et moteur

Terme	Définition	Voir
DataFrame	Table distribuée de colonnes typées ; Dataset[Row] en Scala.	J1 · Partie 4
Dataset / Encoder	Collection typée (Scala, Java) ; l’Encoder traduit l’objet en binaire Tungsten.	J3 · Partie 2
Schéma explicite	StructType déclaré à la lecture, sans inférence.	J1 · TP 4
Vue temporaire	createOrReplaceTempView : un nom SQL pour un DataFrame.	J1 · TP 4
ANSI SQL	Mode par défaut de Spark 4 : les erreurs (division par zéro, dépassement) sont levées.	J1 · Partie 4
Catalyst	Optimiseur de requêtes : plan logique → optimisé → physique.	J3 · Partie 3
Predicate pushdown / column pruning	Filtre appliqué à la lecture / colonnes inutiles jamais lues.	J3 · Partie 3
Broadcast join	Jointure où la petite table est envoyée à tous les Executors, sans shuffle.	J1 · Partie 4
Tungsten	Moteur d’exécution : binaire compact, whole-stage codegen, lecture vectorisée.	J3 · Partie 3
AQE	Adaptive Query Execution : réoptimise le plan pendant l’exécution.	J3 · Partie 3
UDF / pandas UDF	Fonction utilisateur ; la version pandas est vectorisée et bien plus rapide.	J3 · Partie 3
Spark Connect	Architecture client-serveur de Spark 3.4+ : le client construit le plan, le serveur l’exécute.	Présentation

Machine Learning

Terme	Définition	Voir
Supervisé / non supervisé	Avec / sans étiquette à prédire.	J2 · Partie 1
Régression / classification / clustering	Prédire un nombre / une catégorie / former des groupes.	J2 · Partie 1
Feature / label	Variable d’entrée connue au moment de prédire / variable à prédire.	J2 · Partie 1
Train / test	Données pour apprendre / pour juger, jamais mélangées.	J2 · Partie 1
Sur-apprentissage	Le modèle apprend le train par cœur et généralise mal.	J2 · Partie 3
Fuite de données	Feature inconnue au moment de prédire, qui contient la réponse.	J2 · Partie 3
Estimator / Transformer / Model	fit apprend / transform applique / résultat de fit, lui-même un Transformer.	J2 · Partie 2
Pipeline	Enchaînement d’étapes, lui-même un Estimator ; fit renvoie un PipelineModel.	J2 · Partie 2
VectorAssembler	Assemble les colonnes de features en un seul vecteur.	J2 · Partie 2
StringIndexer / OneHotEncoder	Texte → index / index → vecteur 0/1.	J2 · Partie 2
StandardScaler	Met les features à la même échelle (moyenne 0, écart-type 1).	J2 · Partie 4
RMSE / R²	Erreur typique en unité du label / part de variance expliquée.	J2 · Partie 2
Arbre de décision / Random Forest / GBT	Questions en cascade / forêt d’arbres qui votent / arbres en série qui corrigent.	J2 · Partie 3
SVM (LinearSVC)	Frontière linéaire à plus grande marge ; sans probabilité dans Spark.	J2 · Partie 3
Matrice de confusion	VP, FP, FN, VN ; donne exactitude, précision, rappel.	J2 · Partie 3
ROC / AUC	Courbe vrais positifs / faux positifs pour tous les seuils ; aire sous la courbe.	J2 · Partie 3
CrossValidator	Validation croisée sur une grille d’hyperparamètres.	J2 · TP 7
K-means / silhouette	Clustering autour de k centres / mesure de qualité des groupes.	J2 · Partie 4
KNN	k plus proches voisins : supervisé, absent de MLlib.	J2 · Partie 4
GraphFrames	Graphes sur DataFrames : degrés, PageRank, motifs. Package externe, successeur de GraphX.	J2 · Partie 4
ML persistence	save / load d’un PipelineModel, portable entre langages.	J2 · Partie 2
Transfer learning	Réutiliser un modèle pré-entraîné en n’entraînant qu’une nouvelle « tête ».	J3 · Partie 4
predict_batch_udf / TorchDistributor	Inférence distribuée par lots / entraînement PyTorch distribué.	J3 · Partie 4
SparkR / sparklyr	API R de Spark, dépréciée en 4.0 / alternative maintenue (Posit, dplyr).	J3 · Partie 4

Streaming et architectures

Terme	Définition	Voir
Structured Streaming	Moteur de streaming sur DataFrames : un flux est une table non bornée.	J3 · Partie 1
DStreams / StreamingContext	Première génération (un RDD par micro-batch). Legacy.	J3 · Partie 1
Micro-batch / trigger	Paquet de nouvelles données / cadence de traitement (processingTime, availableNow, et realTime pour le mode temps réel de Spark 4.1, mot-clé PySpark depuis 4.2).	J3 · Partie 1
Source / sink	D’où vient le flux (fichiers, Kafka) / où vont les résultats (fichiers, Kafka, foreachBatch).	J3 · Partie 1
Flume / Avro RPC	Collecteur de logs (agent = source + channel + sink) / sérialisation entre agents. Héritage.	J3 · Partie 1
Kafka	Journal distribué, partitionné, rejouable : la source de référence en production.	J3 · Partie 1
Output mode	append, update, complete : quoi écrire à chaque micro-batch.	J3 · Partie 2
Checkpoint	Mémoire de la requête (offsets, état) ; reprise après panne.	J3 · Partie 2
Exactly-once	Chaque événement compté une fois : source rejouable + sink idempotent + checkpoint.	J3 · Partie 2
Fenêtre (tumbling, sliding, session)	Groupement selon le temps d’événement : fixe, glissante, de session.	J3 · Partie 2
Temps d’événement / de traitement	Quand c’est arrivé / quand Spark le reçoit.	J3 · Partie 2
Watermark	Jusqu’où attendre les retardataires ; permet de clore les fenêtres et de libérer l’état.	J3 · Partie 2
État (state)	Données que la requête garde entre micro-batches (totaux, fenêtres ouvertes).	J3 · Partie 2
foreachBatch	Fonction appelée sur chaque micro-batch avec un DataFrame ordinaire.	J3 · Partie 3
Training-serving skew	Décalage entre la préparation des features à l’entraînement et en production.	J3 · Partie 3
Lambda / Kappa	Deux chemins (batch + speed) / un seul flux avec journal rejouable.	J3 · Partie 4