Prérequis et installation

À faire au moins 7 jours avant la session. Comptez 20 minutes. En cas de blocage (droits administrateur, proxy, antivirus), signalez-le tout de suite sur le fil de mail « Organisation & Prérequis d’installation » : nous préparerons un environnement de secours.

1. Logiciels

Outil	Version	Vérifier	Installer
Java (JDK)	17 ou 21	java -version	adoptium.net (Temurin). Définir JAVA_HOME.
Python	3.10 ou plus	python --version	python.org – cocher « Add to PATH » sous Windows
Git	récente	git --version	git-scm.com
VS Code	récente	–	code.visualstudio.com + extensions Python et Jupyter
Docker Desktop (TP 3 partie B, optionnel)	récente	docker compose version	docker.com – 4 Go de RAM alloués

Vous êtes sous Windows ? Utilisez WSL2

Spark est conçu pour Linux. Sous Windows natif, l’écriture de fichiers (Parquet, checkpoints de streaming) échoue souvent sans les binaires Hadoop winutils.exe / hadoop.dll et la variable HADOOP_HOME, et plusieurs TP (3, 4, 6, 7, 10, 11) écrivent des fichiers. La solution la plus fiable :

1. Installer WSL2 avec Ubuntu : wsl --install dans PowerShell administrateur, puis redémarrer.
2. Dans Ubuntu : sudo apt install openjdk-17-jdk python3-venv git, puis suivre l’étape 2 ci-dessous.
3. Dans VS Code : extension WSL, puis « Connect to WSL » et ouvrir le dossier du dépôt.

Si vous restez en Windows natif : PowerShell peut refuser d’activer le venv → Set-ExecutionPolicy RemoteSigned -Scope CurrentUser. Si java n’est pas trouvé, définissez JAVA_HOME. check_env.py teste une vraie écriture Parquet : s’il échoue sur ce point, passez à WSL2 ou signalez-le-nous.

2. Le dépôt et PySpark

Le dépôt des TP est public sur GitHub : github.com/formations2026/formation-spark-ml. Branche par défaut : participants (énoncés + données + scripts). Les corrigés sont ajoutés en fin de chaque journée dans jour{1,2,3}/corriges/ : récupérez-les avec git pull.

git clone https://github.com/formations2026/formation-spark-ml.git
cd formation-spark-ml
python -m venv .venv
source .venv/bin/activate          # Windows PowerShell : .venv\Scripts\Activate.ps1
pip install -r requirements.txt    # pyspark 4.x, jupyter, pandas, pyarrow, matplotlib, seaborn

Pour les mises à jour pendant la formation (nouveaux corrigés, correctifs d’énoncé) :

cd formation-spark-ml
git pull

3. Vérification (1 minute)

python scripts/check_env.py

Le script vérifie, dans l’ordre : Java 17+, Python 3.10+, PySpark 4.x, Jupyter, Git, puis crée une SparkSession et écrit réellement un fichier Parquet. Toutes les lignes doivent être ✔ et se terminer par « Tout est prêt pour la formation ! ». Envoyez-nous la sortie de cette commande si une ligne est ✘.

4. Configuration matérielle et réseau

• 8 Go de RAM minimum (16 Go recommandés pour le TP 3 avec Docker)
• 5 Go d’espace disque libre
• Droits d’installation sur le poste, ou environnement déjà préparé par votre service informatique
• Accès réseau à pypi.org, github.com et hub.docker.com (ou leurs miroirs internes)

Plus de 30 % des problèmes du premier jour viennent de la sécurité du poste (droits, proxy, antivirus) : testez ces points le plus tôt possible.

5. Connaissances attendues

Domaine	Ce qu’il faut savoir faire	Pour vous situer (1 = jamais fait, 5 = à l’aise)
Unix	Naviguer, lancer un script, variables d’environnement	Le tour de table du J1 commence par ce point
Python	Fonctions, lambdas, listes, dictionnaires, compréhensions	Les RDD du TP 2 reposent sur map(lambda …)
Git	Cloner un dépôt, récupérer les mises à jour (git pull)	Les corrigés sont publiés chaque soir sur le dépôt
Statistiques	Moyenne, médiane, distribution, notion de corrélation	Le J2 introduit RMSE, R², précision, rappel, AUC

Si vous vous situez à 1 ou 2 sur Python, prévenez-nous : nous vous proposerons un rappel de 30 minutes avant la session ou un binôme pendant les TP.

Solution de secours

Si votre poste ne peut pas être configuré (politique de sécurité, proxy), signalez-le : un environnement Linux prêt à l’emploi dans le navigateur (Desktop-as-a-Service) ou une machine virtuelle vous sera fourni. Le formateur dispose aussi d’une clé USB avec PySpark, le JDK, les données et les corrigés pour les cas de coupure réseau.

Versions testées

Testé avec PySpark 4.2.0, Java 21, Python 3.13. Fonctionne avec toute version 4.x de PySpark et Java 17+. Pour le TP 3 en conteneurs, alignez la version de l’image apache/spark sur celle de pip show pyspark.