Nettoyer les données : notre premier défi

|

Saison 1 : Les véhicules électriques, de 2017 à 2030

6 épisodes · Vous êtes à l’épisode 2

01

Les sources

Point de départ

02

Nettoyage

1er défi

03

Le monde

Qui roule ?

04

Le Canada

Provinces et territoires

05

L’énergie

Prix de l’énergie

06

Scénarios

2030

Progression : 33 %

Épisode 2 sur 6 · Nettoyage

Notre premier défi

Les quatre fichiers bruts totalisent 86 449 lignes. Ils comprennent des périodes et des catégories qui dépassent le périmètre du projet. J’ai filtré les observations utiles, harmonisé les colonnes et documenté les jeux de données obtenus.

Cet article prend le prix de l’essence comme exemple et présente les contrôles publiés dans le projet. Au total, la préparation des quatre sources aboutit à 5 568 lignes retenues.

La question

Comment sélectionner les données utiles tout en conservant des transformations et des contrôles compréhensibles pour un autre analyste ?

La démarche

Pour chaque source, même enchaînement : vérifier, filtrer, documenter.

  1. Inspecter les données brutes (.info(), .isna(), .unique()).
  2. Filtrer pour ne garder que les lignes pertinentes au projet.
  3. Transformer (dates, renommage des colonnes).
  4. Vérifier le résultat (doublons, valeurs manquantes, cohérence).
  5. Documenter chaque fichier nettoyé avec un dictionnaire de données.

Les étapes

Je prends la Source 1 (Prix de l’essence) comme exemple. Les autres sources suivent la même logique.

Étape 1 · Inspecter les données brutes

Cet extrait inspecte les types de colonnes et les valeurs manquantes. Il sert à repérer les points à traiter avant le filtrage. La sélection des catégories de carburant est décrite dans l’étape suivante.

df_gaz_brut.info()
print()
print("Valeurs manquantes :")
print(df_gaz_brut.isna().sum())

Observation : la colonne Type de carburant contient plusieurs catégories (essence ordinaire, super, diesel…). Nous ne voulons que l’essence ordinaire libre-service.

Étape 2 · Appliquer les filtres

Le code conserve l’essence ordinaire en libre-service, convertit la période en date et sélectionne 2017–2024. Il dépend des variables préparées dans le notebook, notamment col_periode ; il est présenté comme un extrait du traitement.

df_gaz = df_gaz_brut.copy()

# 1. Filtrer : essence ordinaire libre-service seulement
filtre_carburant = df_gaz["Type de carburant"].str.contains("ordinaire", case=False) & \
                   df_gaz["Type de carburant"].str.contains("libre-service", case=False)
df_gaz = df_gaz[filtre_carburant].copy()
print(f"Après filtre carburant : {df_gaz.shape[0]} lignes")

# 2. Convertir la période en datetime
df_gaz["date"] = pd.to_datetime(df_gaz[col_periode], format="%Y-%m")

# 3. Filtrer la période 2017-2024
df_gaz = df_gaz[(df_gaz["date"] >= "2017-01-01") &
                (df_gaz["date"] <= "2024-12-31")].copy()
print(f"Après filtre période : {df_gaz.shape[0]} lignes")

Étape 3 · Vérifier le résultat

Ces contrôles portent sur la période obtenue, les géographies, les doublons et les valeurs manquantes. La sortie publiée ci-dessous est celle du projet ; elle n’a pas été régénérée lors de cette révision éditoriale.

print("~~~~~ Vérification ~~~~~")
print(f"Période : {df_gaz['date'].min()} à {df_gaz['date'].max()}")
print(f"Nb géographies : {df_gaz['geo'].nunique()}")
print(f"Doublons : {df_gaz.duplicated().sum()}")
print(f"\nValeurs manquantes :\n{df_gaz.isna().sum()}")

Résultat :

~~~~~ Vérification ~~~~~
Période : 2017-01-01 à 2024-12-01
Nb géographies : 19
Doublons : 0
Valeurs manquantes : 0

Avant / Après le nettoyage

Avant / après nettoyage : 86 449 lignes brutes vers 5 568 lignes utiles
Avant / après : 86 449 → 5 568 lignes utiles (−94 %)

La préparation ramène les quatre sources de 86 449 à 5 568 lignes, soit une diminution d’environ 94 %. Elle s’explique principalement par les filtres et, pour le WTI, par l’agrégation de prix quotidiens en moyennes mensuelles. Ce changement de volume n’est pas une mesure de qualité à lui seul : il doit être accompagné de contrôles adaptés à chaque source.

Source Brut Nettoyé Réduction
Essence Canada 45 772 1 824 −96 %
VE Canada 14 112 672 −95 %
WTI (quotidien → mensuel) 10 129 96 −99,1 %
VE Monde 16 436 2 976 −82 %
Total 86 449 5 568 −94 %

Documenter : le dictionnaire de données

Le dictionnaire précise le sens, le type, l’unité et la source de chaque colonne. Il permet de comprendre les fichiers nettoyés et de distinguer, par exemple, le parc immatriculé des ventes neuves. Voici les champs décrits pour immatriculations_ve_canada_2017_2024.csv.

annee

Année d’observation (2017 à 2024)

Type : int · Source : Stat. Canada, 23-10-0308

province

Province, territoire ou total Canada

Type : str · Source : Stat. Canada, 23-10-0308

type_carburant

BEV, PHEV, Essence, Diesel, Hybride ou Total

Type : str · Source : Stat. Canada, 23-10-0308

nb_vehicules

Nombre de véhicules immatriculés pendant l’année (tout le parc, pas seulement les véhicules neufs)

Type : int · Source : Stat. Canada, 23-10-0308

À retenir

Les quatre sources ont été filtrées, transformées et documentées. Les contrôles présentés rendent la préparation plus facile à examiner et à reprendre. La documentation ne remplace toutefois pas l’accès aux fichiers, aux dépendances et à l’ensemble du notebook pour reproduire le traitement.

Prochain épisode

Épisode 3 · Le monde en 8 ans : qui roule à l’électrique ?

Quels pays mènent la transition, et où se place le Canada ?

Auteur et contributions

Article rédigé par Ahmed-Nour Mahamoud Dirieh, référent Python d’un projet d’équipe de trois au CCNB. « Je » désigne l’auteur, « nous » l’équipe. La répartition du travail est détaillée dans le dossier du projet.

Laisser un commentaire