Public cible
La collecte de données est terminée, et votre exportation brute attend dans votre dossier de téléchargements. Avant de l'ouvrir pour commencer à générer des graphiques, un nettoyage s'impose. Des données "sales" mènent à des résultats erronés, qui à leur tour conduisent à de mauvaises décisions.
Cette page propose un protocole détaillé, étape par étape, pour le nettoyage des jeux de données de S&E post-collecte. Il s'applique aux enquêtes ménages, aux évaluations d'installations, aux formulaires de suivi et à toute autre donnée structurée recueillie sur le terrain. Suivez les étapes dans l'ordre, sans en omettre aucune.
Prérequis
Avant de manipuler la moindre cellule, assurez-vous de disposer des trois éléments suivants :
- Votre exportation de données brutes. Téléchargez-la depuis KoboToolbox, SurveyCTO, ODK ou toute autre plateforme utilisée, au format XLSX ou CSV. N'ouvrez pas ce fichier dans l'éditeur en ligne de la plateforme.
- Votre livre de codes. Ce document essentiel définit chaque variable, ses valeurs attendues, les règles de logique de saut et les plages de valeurs valides. Si vous n'en avez pas, cela signifie que votre processus de conception de l'enquête a omis une étape cruciale. Créez-en un sans tarder, avant de commencer le nettoyage.
- Un modèle de journal de nettoyage. Il s'agit d'une feuille de calcul comportant des colonnes pour : l'identifiant de l'enregistrement, le nom de la variable, la valeur originale, la nouvelle valeur, la raison de la modification, la date et la personne ayant effectué le changement. Chaque modification que vous apportez doit y être consignée, sans exception.
Un outil de collecte de données bien conçu simplifiera grandement le nettoyage. En revanche, si les règles de validation ont été négligées lors de la conception de l'enquête, préparez-vous à y consacrer beaucoup plus de temps.
Étape 1 : sauvegarder et organiser votre espace de travail
Ne nettoyez jamais les données directement dans le fichier original. C'est une règle d'or.
- Enregistrez l'exportation brute dans un dossier nommé
raw/ou01_raw/. Ce fichier doit être considéré comme en lecture seule à partir de maintenant. Ne le modifiez sous aucun prétexte. - Créez une copie de ce fichier dans un dossier nommé
clean/ou02_clean/. Toutes les modifications seront effectuées dans cette copie. - Ouvrez votre journal de nettoyage. Vous le mettrez à jour de manière continue à chaque étape.
- Consignez la date, le nom du fichier brut, le nombre d'enregistrements et le nombre de variables. Cela marque votre point de départ.
Nommez vos fichiers de manière explicite avec des dates, par exemple : enquête_ménages_brute_20260401.xlsx et enquête_ménages_nettoyée_20260401.xlsx. Ainsi, si l'on vous demande "quelle version avez-vous analysée ?", vous pourrez répondre avec précision.
Étape 2 : détecter et gérer les doublons
Les doublons sont plus fréquents qu'on ne l'imagine. Ils peuvent résulter de soumissions répétées par les enquêteurs, de problèmes de connectivité entraînant des téléchargements en double, ou d'erreurs de copier-coller créant des enregistrements fantômes.
Comment procéder :
- Triez les données par identifiant unique (ID du répondant, ID du ménage ou UUID de soumission) et recherchez les correspondances exactes.
- En l'absence d'identifiant unique, triez par une combinaison de lieu, de date et de nom du répondant. Signalez les enregistrements présentant des correspondances sur ces trois critères.
- Examinez les horodatages de soumission. Deux enregistrements du même enquêteur soumis à moins de 60 secondes d'intervalle sont presque certainement des doublons.
Règle de décision : Si deux enregistrements partagent le même identifiant unique et présentent des réponses identiques pour 90 % ou plus des variables, supprimez la soumission la plus récente et consignez cette suppression. Si les réponses diffèrent de manière significative, signalez les deux enregistrements pour un examen manuel.
Étape 3 : vérifier l'exhaustivité des données
Chaque enregistrement doit contenir des valeurs pour les champs obligatoires. Si des données manquantes sont inévitables, un nombre excessif de lacunes rend un enregistrement inutilisable.
- Calculez le taux d'achèvement pour chaque enregistrement : divisez le nombre de champs obligatoires non vides par le total des champs obligatoires.
- Signalez tout enregistrement dont le taux d'achèvement est inférieur à 80 %. Un enregistrement manquant un quart de ses champs obligatoires est suspect.
- Pour chaque enregistrement signalé, examinez les métadonnées de soumission. S'agissait-il d'une soumission de test ? L'enquêteur a-t-il abandonné l'entretien ? Le répondant n'était-il pas disponible après avoir donné son consentement ?
Règle de décision : Les enregistrements avec un taux d'achèvement inférieur à 50 % sont presque toujours inutilisables. Excluez-les de l'analyse et documentez la raison. Ceux dont le taux se situe entre 50 et 80 % peuvent être exploitables pour certains indicateurs, mais pas pour d'autres. Ne les écartez pas automatiquement. Marquez-les plutôt comme partiels et décidez, au cas par cas, lesquels sont admissibles pour chaque analyse.
Vérifiez également la présence de colonnes entièrement vides. Si une variable ne contient aucune réponse, cela indique un problème avec la logique du formulaire ou que la question n'a jamais été posée. Menez une enquête avant de poursuivre.
Étape 4 : valider la logique de saut
Les erreurs de logique de saut constituent la source la plus fréquente de données de mauvaise qualité dans les enquêtes électroniques. Elles sont faciles à manquer si vous ne les vérifiez pas systématiquement.
Référez-vous à votre livre de codes. Pour chaque question conditionnelle, vérifiez les points suivants :
- Les enregistrements qui auraient dû être ignorés l'ont bien été. Par exemple, si la question 12 ne s'applique qu'aux répondants ayant répondu "Oui" à la question 10, assurez-vous que tous ceux qui ont répondu "Non" à la question 10 ont des valeurs vides ou "N/A" pour la question 12.
- Les enregistrements qui auraient dû répondre ont effectivement répondu. Si un répondant a répondu "Oui" à la question 10 mais que la question 12 est vide, il s'agit d'une lacune de données, et non d'un saut valide.
Méthode efficace : Créez des règles de filtre simples. Dans Excel, filtrez la colonne Q10 sur "Non", puis vérifiez que la colonne Q12 est vide pour toutes les lignes filtrées. Avec R ou Stata, cela se traduit par une vérification logique ligne par ligne pour chaque schéma de saut.
Règle de décision : Si un répondant a fourni des réponses à des questions qu'il aurait dû ignorer, ces réponses sont invalides. Videz-les et consignez la modification. Si un répondant a ignoré des questions auxquelles il aurait dû répondre, signalez l'enregistrement pour examen, mais ne fabriquez pas de données.
Étape 5 : vérifier les plages et identifier les valeurs aberrantes
Toute variable numérique possède une plage de valeurs plausibles. Un ménage de 47 membres, un âge de 250 ans ou un revenu mensuel de 1 $ sont autant d'exemples d'erreurs de saisie ou de collecte de données.
- Pour chaque variable numérique, définissez la plage de valeurs valides en vous basant sur votre livre de codes. Par exemple, l'âge du chef de ménage doit être compris entre 18 et 99 ans, et le nombre d'enfants de moins de 5 ans entre 0 et 10.
- Calculez les statistiques descriptives de base : minimum, maximum, moyenne, médiane, écart-type.
- Signalez comme une erreur toute valeur en dehors de la plage valide.
- Signalez comme une valeur aberrante potentielle à examiner toute valeur située à plus de 3 écarts-types de la moyenne.
Règles de décision courantes (à adapter) :
| Vérification | Règle de signalement |
|---|---|
| Durée de l'enquête | Moins de 5 minutes pour une enquête de 30 minutes : à examiner |
| Coordonnées GPS | Plus de 50 km de la zone d'enquête prévue : à signaler |
| Âge | En dehors de 0-120 ans : erreur. Moins de 15 ans pour le chef de ménage : à signaler |
| Taille du ménage | Plus de 20 personnes : à examiner |
| Revenu/dépenses | Zéro pour toutes les catégories : à signaler. Top 1 % : à vérifier |
Ne supprimez pas automatiquement les valeurs aberrantes. Certaines peuvent être légitimes. Un ménage de 15 membres peut exister, et un revenu de 0 $ peut être exact pour un ménage extrêmement vulnérable. Signalez, enquêtez, puis prenez une décision éclairée.
Étape 6 : effectuer des contrôles de cohérence
Les contrôles de cohérence permettent de détecter les contradictions logiques que les vérifications de plage ne peuvent pas identifier. Ils impliquent de croiser deux variables ou plus.
Exemples de contrôles de cohérence :
- Un répondant déclare n'avoir aucun enfant, mais mentionne plus tard la scolarisation de trois enfants.
- L'âge déclaré d'un répondant est de 12 ans, mais sa profession est "enseignant".
- Un ménage déclare ne pas posséder de terres agricoles, mais indique ensuite des quantités de récolte.
- La date de naissance et l'âge déclaré diffèrent de plus d'un an.
- Une installation déclare zéro personnel, mais fournit des chiffres de prestation de services.
Établissez une liste de 10 à 15 contrôles de cohérence spécifiques à votre enquête. Exécutez chacun d'eux comme un test logique. Signalez les contradictions pour un examen manuel.
Règle de décision : Ne tentez pas de deviner quelle réponse est correcte. Si deux variables se contredisent, il est impossible de déterminer laquelle est erronée en se basant uniquement sur les données. Signalez l'enregistrement et, si possible, contactez l'enquêteur ou le répondant. Si ce n'est pas possible, documentez la contradiction et excluez les variables conflictuelles (et non l'enregistrement entier) des analyses pertinentes.
Étape 7 : documenter chaque modification dans votre journal de nettoyage
Votre journal de nettoyage n'est pas une option, mais une exigence essentielle pour l'assurance qualité des données et une piste d'audit indispensable.
Une fois les étapes 2 à 6 terminées, votre journal doit contenir toutes les modifications apportées. Vérifiez-le attentivement pour vous assurer de son exhaustivité :
- Chaque doublon supprimé doit y être enregistré.
- Chaque valeur corrigée doit mentionner la valeur originale et la nouvelle valeur.
- Chaque enregistrement exclu doit être accompagné d'une raison.
- Chaque valeur aberrante signalée doit avoir une disposition (corrigée, confirmée comme exacte ou exclue).
Enregistrez le journal de nettoyage à côté de votre jeu de données nettoyé. Toute personne utilisant vos données doit pouvoir consulter ce journal pour comprendre précisément ce qui a été modifié et pourquoi. C'est un pilier fondamental d'une bonne gestion des données.
Étape 8 : vérification finale et clôture
Avant de déclarer votre jeu de données comme propre, effectuez une dernière série de vérifications.
- Recomptez les enregistrements. Comparez le nombre d'enregistrements de votre jeu de données nettoyé au nombre brut. La différence doit correspondre précisément au nombre d'enregistrements que vous avez exclus ou supprimés, tel que documenté dans votre journal de nettoyage.
- Réexécutez les vérifications de plage. Assurez-vous qu'aucune valeur hors plage ne subsiste.
- Réexécutez les vérifications de logique de saut. Confirmez que tous les schémas de saut sont désormais cohérents.
- Vérifiez manuellement 10 à 20 enregistrements par échantillonnage. Ouvrez le fichier brut et le fichier nettoyé côte à côte. Sélectionnez des enregistrements au hasard et vérifiez que les modifications correspondent à votre journal.
- Utilisez la Fiche d'évaluation de l'AQD pour obtenir une évaluation structurée de la qualité de votre jeu de données nettoyé.
Si tout est en ordre, renommez votre fichier pour indiquer son statut final : enquête_ménages_nettoyée_FINAL_20260401.xlsx. Verrouillez le fichier ou définissez-le en lecture seule.
Pièges courants à éviter
Piège 1 : nettoyer directement dans le fichier original. Une fois les données brutes écrasées, elles sont irrécupérables. Chaque décision de nettoyage devient irréversible et invérifiable. Travaillez toujours sur une copie et conservez l'exportation brute intacte.
Piège 2 : supprimer des enregistrements au lieu de les signaler. Supprimer un enregistrement le retire de toutes les analyses potentielles, y compris celles que vous n'avez pas encore envisagées. Il est préférable de le signaler et de l'exclure. Laissez l'analyste décider quels enregistrements sont admissibles pour chaque analyse spécifique.
Piège 3 : l'absence de journal de nettoyage. Si vous ne pouvez pas expliquer ce que vous avez modifié et pourquoi, votre jeu de données nettoyé manque de fiabilité. Face à un audit de bailleur de fonds ou à la remise en question d'une conclusion par un collègue, "Je l'ai nettoyé, mais je n'ai pas documenté les changements" n'est pas une réponse acceptable.
Piège 4 : nettoyer en solitaire. Le nettoyage des données implique des jugements. Une deuxième personne devrait idéalement examiner vos enregistrements signalés et vos décisions concernant les valeurs aberrantes. Si votre équipe ne compte qu'un seul spécialiste des données, demandez au minimum au responsable S&E de valider le journal de nettoyage avant le début de l'analyse.
Piège 5 : considérer le nettoyage comme facultatif. Les équipes ont tendance à négliger le nettoyage lorsque les délais sont serrés, pour ensuite découvrir des problèmes pendant l'analyse, quand il est trop tard pour y remédier. Intégrez le temps de nettoyage dans votre plan de travail dès le départ. Pour une enquête de situation de référence ou d'évaluation finale, prévoyez 1 à 3 jours de nettoyage par tranche de 500 réponses.
Checklist de nettoyage des données
Imprimez cette liste ou copiez-la dans le dossier de votre projet. Cochez chaque élément une fois complété.
- Données brutes exportées et enregistrées en lecture seule dans le dossier
raw/ - Copie nettoyée créée dans un dossier
clean/distinct - Modèle de journal de nettoyage ouvert et nombre d'enregistrements de départ documenté
- Doublons identifiés et gérés (soumission ultérieure supprimée, action consignée)
- Taux d'achèvement calculés ; enregistrements inférieurs à 50 % exclus et consignés
- Logique de saut validée pour toutes les questions conditionnelles
- Plages de valeurs valides définies pour toutes les variables numériques
- Valeurs hors plage corrigées ou signalées
- Valeurs aberrantes examinées (plus de 3 écarts-types de la moyenne) et traitées
- Contrôles de cohérence effectués (10-15 tests logiques inter-variables)
- Contradictions signalées, résolues ou documentées
- Journal de nettoyage examiné pour son exhaustivité
- Nombre final d'enregistrements rapproché du nombre brut et du journal de nettoyage
- Vérifications de plage et de logique de saut réexécutées sur le jeu de données nettoyé
- 10 à 20 enregistrements vérifiés par échantillonnage par rapport aux données brutes
- Fichier nettoyé renommé avec l'étiquette FINAL et verrouillé
- Journal de nettoyage enregistré à côté du jeu de données nettoyé