Partie 1 – Introduction au Machine Learning et exploration des données

• 9h20 – 10h30
• Théorie 35 min · TP 5 35 min
• Slides 6 à 13

Et si on pouvait annoncer le prix d'une course avant même de monter dans le taxi ? Comment Uber fait-il ?

Programmer ou apprendre ?

Programmation classique            Machine Learning

  Règles  ──┐                        Données  ──┐
            ├──► Programme ──► Réponses         ├──► Apprentissage ──► Modèle (= les règles)
  Données ──┘                        Réponses ──┘

Essayez d’écrire à la main la règle du tarif d’un taxi new-yorkais : 3 $ de prise en charge, 3,50 $ par mile… sauf JFK (forfait 70 $), sauf la nuit, sauf les péages, sauf les embouteillages, sauf… La règle explose. Avec le ML, on montre 120 000 courses avec leur prix et l’algorithme trouve les règles tout seul, exceptions comprises.

Trois idées à garder :

• Un modèle est une fonction apprise à partir d’exemples.
• Il ne « comprend » pas : il repère des régularités statistiques.
• Il n’est jamais meilleur que ses données (garbage in, garbage out).

Supervisé ou non supervisé ?

	Supervisé : on connaît la réponse	Non supervisé : on cherche une structure
Données	Des exemples avec une étiquette (le label)	Des données sans étiquette
Questions	Régression : prédire un nombre (le montant d’une course). Classification : prédire une catégorie (pourboire oui / non)	Clustering : regrouper ce qui se ressemble (des familles de courses)
Algorithmes	Régression linéaire, arbres, Random Forest, SVM	K-means
Usages	Prix, risque, churn, diagnostic	Segmentation de clients, détection d’anomalies
Analogie	Apprendre avec un professeur qui corrige	Trier une boîte de photos sans légende

Sur le fil rouge : régression au TP 6, classification au TP 7, clustering au TP 8.

Le cycle d’un projet de Machine Learning

 1. Question métier → 2. Explorer → 3. Préparer les features → 4. Entraîner → 5. Évaluer → 6. Déployer
                          ▲                                                       │
                          └───────────────────── on itère ────────────────────────┘

Un data scientist passe l’essentiel de son temps sur les étapes 2 et 3, souvent 80 %, pas à entraîner.

Mot	Définition	Sur le fil rouge
Features	Les variables d’entrée, connues au moment de prédire	distance, heure, zone, passagers
Label	Ce que l’on veut prédire	fare_amount, pourboire oui / non
Train / test	80 % pour apprendre, 20 % pour juger. Jamais mélangés	randomSplit([0.8, 0.2], seed=42)
Sur-apprentissage	Le modèle apprend par cœur : excellent en train, mauvais en test	L’élève qui apprend les corrigés par cœur et échoue dès que l’énoncé change

Pourquoi seed=42 ?

Pour que tout le monde obtienne le même découpage et des résultats comparables. La valeur n’a aucune importance, sa fixité en a. La note d’un modèle se calcule uniquement sur le test : des courses qu’il n’a jamais vues.

Activité : quel type de problème ?

En binômes, puis vote à main levée : R = régression, C = classification, G = groupement (clustering).

1. Estimer la durée d'une course

Régression : un nombre de minutes.

2. Repérer les courses au montant anormal

Ça dépend. Avec des exemples de fraudes étiquetées : classification. Sans : non supervisé (détection d'anomalies, clustering). La nature des données décide, pas la question.

3. Prédire si un client paiera par carte

Classification : carte ou espèces.

4. Regrouper les zones selon leur activité horaire

Clustering : pas d'étiquette, on cherche des groupes.

5. Prévoir le nombre de courses demain à 18h

Régression : une série temporelle, que l'on retrouvera demain avec le streaming.

6. Dire à un chauffeur où attendre ses clients

Pas un seul modèle : une régression de la demande par zone et par heure, puis une règle métier. La réalité combine souvent plusieurs briques.

Visualiser avant de modéliser

Deux graphiques réels du fil rouge guident toute la journée :

• Le nuage tarif selon la distance montre une ligne horizontale à 70 $ : le forfait JFK. Une droite ne le verra pas ; un arbre, si.
• La heatmap courses par jour et par heure montre deux pics, 8h et 18h : l’heure sera une bonne feature.

 Spark agrège ou échantillonne          toPandas()            Bibliothèque Python
 groupBy, sample                 ──►   quelques milliers  ──►  le graphique
 des millions de lignes                de lignes

Spark ne dessine pas

Règle d’or : agréger (groupBy) ou échantillonner (sample) dans Spark, puis toPandas() sur un petit résultat. Un toPandas() sur 3 milliards de lignes rapatrie tout dans la mémoire du Driver et le fait tomber.

Bibliothèque	Usage
Matplotlib	La base, statique
Seaborn	Statistique, beau par défaut
Plotly	Interactif, web
Bokeh	Interactif, tableaux de bord

Matplotlib et Seaborn pour l’analyse ; Plotly et Bokeh quand on veut zoomer, survoler ou publier un tableau de bord.

À vous de jouer

TP 5 – Explorer avant de prédire (35 min) : quatre graphiques, trois observations qui guideront nos modèles.

Ensuite, pause de 15 minutes, puis la partie 2 : notre premier modèle.