Nettoyer les données : notre premier défi

80 % du travail d’un analyste, c’est du nettoyage. Je ne le croyais pas avant ce projet.

Dans l’épisode 1, on a téléchargé 86 449 lignes brutes dans 4 fichiers officiels. Données de 1979, carburants hors sujet, colonnes à renommer. On veut 5 568 lignes utiles, toutes documentées.

📝 Consignes

Pour chaque source, même enchaînement : vérifier, filtrer, documenter.

1. Inspecter les données brutes (.info(), .isna(), .unique()).
2. Filtrer pour ne garder que les lignes pertinentes au projet.
3. Transformer (dates, renommage des colonnes).
4. Vérifier le résultat (doublons, valeurs manquantes, cohérence).
5. Documenter chaque fichier nettoyé avec un dictionnaire de données.

🔍 Analyse

Je prends la Source 1 (Prix de l’essence) comme exemple. Les autres sources suivent la même logique.

Étape 1 · Inspecter les données brutes

On commence par regarder ce qu’on a : combien de lignes, combien de valeurs manquantes, quelles valeurs uniques dans les colonnes sensibles.

df_gaz_brut.info()
print()
print("Valeurs manquantes :")
print(df_gaz_brut.isna().sum())

Observation : la colonne Type de carburant contient plusieurs catégories (essence ordinaire, super, diesel…). Nous ne voulons que l’essence ordinaire libre-service.

Étape 2 · Appliquer les filtres

On enchaîne trois filtres : un sur le carburant, un sur la date, un sur la période 2017-2024.

df_gaz = df_gaz_brut.copy()

# 1. Filtrer : essence ordinaire libre-service seulement
filtre_carburant = df_gaz["Type de carburant"].str.contains("ordinaire", case=False) & \
                   df_gaz["Type de carburant"].str.contains("libre-service", case=False)
df_gaz = df_gaz[filtre_carburant].copy()
print(f"Après filtre carburant : {df_gaz.shape[0]} lignes")

# 2. Convertir la période en datetime
df_gaz["date"] = pd.to_datetime(df_gaz[col_periode], format="%Y-%m")

# 3. Filtrer la période 2017-2024
df_gaz = df_gaz[(df_gaz["date"] >= "2017-01-01") &
                (df_gaz["date"] <= "2024-12-31")].copy()
print(f"Après filtre période : {df_gaz.shape[0]} lignes")

Étape 3 · Vérifier le résultat

Après le nettoyage, on vérifie systématiquement la période, le nombre de géographies, les doublons et les valeurs manquantes :

print("~~~~~ Vérification ~~~~~")
print(f"Période : {df_gaz['date'].min()} à {df_gaz['date'].max()}")
print(f"Nb géographies : {df_gaz['geo'].nunique()}")
print(f"Doublons : {df_gaz.duplicated().sum()}")
print(f"\nValeurs manquantes :\n{df_gaz.isna().sum()}")

Résultat :

~~~~~ Vérification ~~~~~
Période : 2017-01-01 à 2024-12-01
Nb géographies : 19
Doublons : 0
Valeurs manquantes : 0

📖 Documenter : le dictionnaire de données

Dernière étape : construire un dictionnaire de données. Pour chaque fichier nettoyé, on documente ce que signifie chaque colonne, son type, son unité et sa source.

Exemple pour le fichier immatriculations_ve_canada_2017_2024.csv :