Trier, nettoyer, normaliser

Un tableau « sale » n’est presque jamais le résultat d’une négligence. C’est le résultat de la vie : plusieurs personnes qui saisissent, des logiciels réglés différemment, des copier-coller pressés, des formulaires qui changent. Le tableur de Cap Sportif en est un bon exemple : Nadia, Jérôme puis Sophie l’ont tenu chacun pendant une saison, chacun avec ses habitudes.

1. Les doublons : ce qui est en trop

Une même personne apparaît deux fois, souvent avec de petites différences : DUPONT Marie d’un côté, Dupont Marie de l’autre ; un âge qui a pris un an parce que la fiche a été ressaisie à la saison suivante.

Comment corriger ? Le dédoublonnageDédoublonnage : Repérer les doublons selon des critères choisis (même e-mail, mêmes nom et date de naissance…) puis les fusionner en une seule ligne.Image : Retrouver les deux chaussettes identiques rangées à deux endroits du tiroir, et n’en garder qu’une seule paire. Voir dans le glossaire repose sur des critères qu’on choisit : ici, « même adresse e-mail » ou « mêmes nom, prénom et âge » (après avoir ignoré majuscules, accents et espaces). On fusionne les deux lignes : on garde la plus ancienne et on complète ses cases vides avec celles du doublon.

La question difficile n’est pas technique, elle est humaine : à partir de quand deux lignes désignent-elles la même personne ? Deux « Thomas Martin » figurent dans le fichier, l’un a 34 ans, l’autre 12 : ce sont un père et un fils… ou deux inconnus. Mêmes nom et prénom ne veut pas dire même personne.

2. Les valeurs manquantes : ce qui manque

Une case vide peut vouloir dire « on ne sait pas », « ça ne s’applique pas » ou « on a oublié ». Face à une valeur manquanteValeur manquante : Une case vide là où une information était attendue. On peut supprimer la ligne, compléter (imputer) la valeur ou la signaler.Image : Une case vide dans une grille de mots croisés : on ne sait pas encore si c’est un oubli, une question qui ne s’applique pas, ou une réponse à aller chercher. Voir dans le glossaire, il y a trois stratégies, à choisir au cas par cas :

• Supprimer la ligne, quand elle ne contient rien d’utile (les trois lignes entièrement vides laissées par des copier-coller).
• Compléter (on dit imputerImputation : Remplacer une valeur manquante par une valeur déduite (d’un référentiel, d’une autre colonne) ou estimée (moyenne, valeur la plus fréquente). Pratique, mais jamais neutre.Image : Deviner la quantité de sel d’une recette d’après les habitudes du cuisinier : ça dépanne, mais ce n’est jamais certain. Voir dans le glossaire) quand on peut déduire la valeur de façon sûre : un code postal manquant se retrouve à partir de la ville, grâce à la liste officielle des communes.
• Signaler quand la valeur ne se devine pas : un e-mail manquant ne s’invente pas, on le demandera à l’adhérent.

3. Les incohérences de format : ce qui ne parle pas le même langage

C’est l’anomalie la plus sournoise, parce que chaque valeur semble correcte prise isolément. Dans le tableur de Cap Sportif, la date d’inscription est écrite de trois façons :

Pour le tableur, le 09/04/2024 de Jérôme se lit « 9 avril ». Et un 09/14/2024 (le 14 septembre) est carrément illisible : il n’y a pas de 14^e mois. Résultat : des inscriptions de septembre se retrouvent en avril ou disparaissent du décompte.

Même chose, en plus discret, pour les codes postaux : quand une colonne est au format « nombre », le tableur supprime le zéro initial et 07990 devient 7990. Ou pour les sections : natation, Natation , Natation et NATATION sont quatre valeurs différentes pour un ordinateur.

Comment corriger ? On choisit un format de référence et on y ramène tout : c’est la normalisationNormalisation : Ramener des données écrites de façons différentes à un format commun (un seul format de date, une seule orthographe, une seule unité).Image : Trier le linge par couleur avant de le laver. Voir dans le glossaire. Pour les dates, le format international ISO 8601ISO 8601 : Norme internationale d’écriture des dates : AAAA-MM-JJ (ex. 2026-09-22). Sans ambiguïté et triable dans l’ordre chronologique.Image : L’heure affichée en 24 heures sur un billet de train plutôt que « trois heures » : un seul format, compris partout, sans confusion possible. Voir dans le glossaire (AAAA-MM-JJ) a deux qualités : il est sans ambiguïté et il se trie naturellement dans l’ordre chronologique.

4. Les valeurs aberrantes : ce qui est impossible (ou presque)

Une valeur aberranteValeur aberrante : Une valeur très éloignée des autres ou impossible (un âge de 150 ans). Elle peut être une erreur… ou un vrai cas exceptionnel : on vérifie avant de supprimer.Image : Un article à 1 € au milieu d’un rayon où tout coûte 50 € : erreur d’étiquette, vraie promotion ou erreur de caisse. On vérifie avant d’écarter. Voir dans le glossaire est très éloignée des autres, ou carrément impossible. Le tableur contient deux personnes de 150 ans :

• Test Test, 150 ans, test@test.example : une ligne d’essai laissée lors de la mise en place du formulaire. Ce n’est pas un adhérent, on la supprime.
• Lucas Moreau, 150 ans : un vrai adhérent, avec une faute de frappe. On le garde et on signale l’âge pour vérification (15 ans ? 50 ans ?).

La règle d’or : une valeur étrange n’est pas forcément fausse, et une valeur fausse ne se remplace pas par une valeur inventée. On vérifie d’abord.

La normalisation, un investissement

Choisir un référentielRéférentiel : Une liste de référence partagée (communes et codes postaux, liste des sections, codes pays) qui sert à valider et harmoniser les données.Image : Le nuancier du peintre : tout le monde parle du même « bleu ». Voir dans le glossaire commun (un seul format de date, la liste officielle des communes, la liste des sections du club) demande un effort une fois. Mais ensuite, chaque nouvel import se nettoie presque tout seul, et deux fichiers qui suivent le même référentiel peuvent être rapprochés sans douleur. C’est pour cela que des référentiels publics existent, comme les schémas de données publiés par l’administration.

Les limites du dédoublonnage automatique

Tout critère de dédoublonnage fait deux types d’erreurs possibles :

• Faux positif : fusionner deux personnes différentes. Si l’on dédoublonnait sur « même nom et même prénom », les deux Thomas Martin seraient fusionnés, et un enfant de 12 ans disparaîtrait des listes de la section natation. C’est un faux positifFaux positif : Un cas signalé à tort : deux homonymes fusionnés par erreur, un mail légitime classé en spam, une alerte déclenchée pour rien.Image : Le détecteur de fumée qui se déclenche à cause d’un toast grillé : une alerte bien réelle, mais pour rien. Voir dans le glossaire.
• Faux négatif : laisser passer un vrai doublonDoublon : Une même entité (personne, commande…) enregistrée plusieurs fois, souvent avec de petites variations d’écriture.Image : La même chaussette rangée deux fois dans l’inventaire. Voir dans le glossaire. Si l’on exigeait « même nom, même prénom, même âge et même e-mail », la ligne de Marie Dupont ressaisie avec 42 ans au lieu de 41 ne serait pas détectée.

Il n’y a pas de critère parfait : il y a des critères plus ou moins adaptés à l’usage. Les outils spécialisés proposent des correspondances « floues » (distance entre deux chaînes de caractères, phonétique) et, surtout, laissent un humain valider les cas douteux. C’est aussi un argument pour stocker la date de naissance plutôt que l’âge : l’âge change chaque année, la date de naissance jamais.

Imputer ou supprimer ?

Supprimer les lignes incomplètes semble prudent, mais cela peut biaiser le résultat : si ce sont surtout les adhérents les plus âgés qui n’ont pas d’e-mail, les supprimer rajeunit artificiellement le club. À l’inverse, remplacer les âges manquants par la moyenne fabrique des « adhérents moyens » qui n’existent pas et écrase la diversité réelle.

Quelques repères pratiques :

• quand il manque très peu de valeurs et qu’elles manquent « au hasard », les retirer d’un calcul change peu de chose ;
• quand il en manque beaucoup, ou qu’elles manquent toujours pour le même type de personne, il faut le dire, et documenter le choix fait ;
• une imputation se trace : on garde une colonne qui indique que la valeur a été complétée, et comment.

En statistique, des méthodes d’imputation plus fines existent (imputation multiple, modèles). Elles restent des estimations : elles ne remplacent jamais une donnée vérifiée.

La qualité, un processus et pas une opération

Nettoyer une fois ne suffit pas : dès la saison suivante, de nouvelles erreurs arriveront. La qualité des donnéesQualité des données : Aptitude des données à servir leur usage : exactitude, complétude, cohérence, fraîcheur, unicité. Elle s’entretient en continu.Image : L’entretien d’un jardin : on ne le nettoie pas une fois pour toutes, il faut désherber régulièrement pour qu’il reste utilisable. Voir dans le glossaire se traite surtout à la source (lien avec le module 1) :

• un formulaire qui impose un format de date et propose une liste déroulante de sections ;
• une vérification automatique à chaque import (les mêmes règles que ci-dessus, rejouées) ;
• un journal des corrections, pour pouvoir expliquer d’où vient chaque chiffre ;
• une personne référente qui tranche les cas douteux.

Les professionnels mesurent souvent la qualité selon quelques dimensions : exactitude (la valeur est-elle vraie ?), complétude (est-elle renseignée ?), cohérence (respecte-t-elle le format et les règles ?), unicité (pas de doublon ?) et fraîcheur (est-elle à jour ?).