Nettoyage des données S&E : Guide pratique avant l'analyse

Optimisez la qualité de vos données S&E.

Public cible

La collecte de données est terminée, et votre exportation brute attend dans votre dossier de téléchargements. Avant de l'ouvrir pour commencer à générer des graphiques, un nettoyage s'impose. Des données "sales" mènent à des résultats erronés, qui à leur tour conduisent à de mauvaises décisions.

Cette page propose un protocole détaillé, étape par étape, pour le nettoyage des jeux de données de S&E post-collecte. Il s'applique aux enquêtes ménages, aux évaluations d'installations, aux formulaires de suivi et à toute autre donnée structurée recueillie sur le terrain. Suivez les étapes dans l'ordre, sans en omettre aucune.

Prérequis

Avant de manipuler la moindre cellule, assurez-vous de disposer des trois éléments suivants :

Votre exportation de données brutes. Téléchargez-la depuis KoboToolbox, SurveyCTO, ODK ou toute autre plateforme utilisée, au format XLSX ou CSV. N'ouvrez pas ce fichier dans l'éditeur en ligne de la plateforme.
Votre livre de codes. Ce document essentiel définit chaque variable, ses valeurs attendues, les règles de logique de saut et les plages de valeurs valides. Si vous n'en avez pas, cela signifie que votre processus de conception de l'enquête a omis une étape cruciale. Créez-en un sans tarder, avant de commencer le nettoyage.
Un modèle de journal de nettoyage. Il s'agit d'une feuille de calcul comportant des colonnes pour : l'identifiant de l'enregistrement, le nom de la variable, la valeur originale, la nouvelle valeur, la raison de la modification, la date et la personne ayant effectué le changement. Chaque modification que vous apportez doit y être consignée, sans exception.

Un outil de collecte de données bien conçu simplifiera grandement le nettoyage. En revanche, si les règles de validation ont été négligées lors de la conception de l'enquête, préparez-vous à y consacrer beaucoup plus de temps.

Étape 1 : sauvegarder et organiser votre espace de travail

Ne nettoyez jamais les données directement dans le fichier original. C'est une règle d'or.

Enregistrez l'exportation brute dans un dossier nommé raw/ ou 01_raw/. Ce fichier doit être considéré comme en lecture seule à partir de maintenant. Ne le modifiez sous aucun prétexte.
Créez une copie de ce fichier dans un dossier nommé clean/ ou 02_clean/. Toutes les modifications seront effectuées dans cette copie.
Ouvrez votre journal de nettoyage. Vous le mettrez à jour de manière continue à chaque étape.
Consignez la date, le nom du fichier brut, le nombre d'enregistrements et le nombre de variables. Cela marque votre point de départ.

Nommez vos fichiers de manière explicite avec des dates, par exemple : enquête_ménages_brute_20260401.xlsx et enquête_ménages_nettoyée_20260401.xlsx. Ainsi, si l'on vous demande "quelle version avez-vous analysée ?", vous pourrez répondre avec précision.

Étape 2 : détecter et gérer les doublons

Les doublons sont plus fréquents qu'on ne l'imagine. Ils peuvent résulter de soumissions répétées par les enquêteurs, de problèmes de connectivité entraînant des téléchargements en double, ou d'erreurs de copier-coller créant des enregistrements fantômes.

Comment procéder :

Triez les données par identifiant unique (ID du répondant, ID du ménage ou UUID de soumission) et recherchez les correspondances exactes.
En l'absence d'identifiant unique, triez par une combinaison de lieu, de date et de nom du répondant. Signalez les enregistrements présentant des correspondances sur ces trois critères.
Examinez les horodatages de soumission. Deux enregistrements du même enquêteur soumis à moins de 60 secondes d'intervalle sont presque certainement des doublons.

Règle de décision : Si deux enregistrements partagent le même identifiant unique et présentent des réponses identiques pour 90 % ou plus des variables, supprimez la soumission la plus récente et consignez cette suppression. Si les réponses diffèrent de manière significative, signalez les deux enregistrements pour un examen manuel.

Étape 3 : vérifier l'exhaustivité des données

Chaque enregistrement doit contenir des valeurs pour les champs obligatoires. Si des données manquantes sont inévitables, un nombre excessif de lacunes rend un enregistrement inutilisable.

Calculez le taux d'achèvement pour chaque enregistrement : divisez le nombre de champs obligatoires non vides par le total des champs obligatoires.
Signalez tout enregistrement dont le taux d'achèvement est inférieur à 80 %. Un enregistrement manquant un quart de ses champs obligatoires est suspect.
Pour chaque enregistrement signalé, examinez les métadonnées de soumission. S'agissait-il d'une soumission de test ? L'enquêteur a-t-il abandonné l'entretien ? Le répondant n'était-il pas disponible après avoir donné son consentement ?

Règle de décision : Les enregistrements avec un taux d'achèvement inférieur à 50 % sont presque toujours inutilisables. Excluez-les de l'analyse et documentez la raison. Ceux dont le taux se situe entre 50 et 80 % peuvent être exploitables pour certains indicateurs, mais pas pour d'autres. Ne les écartez pas automatiquement. Marquez-les plutôt comme partiels et décidez, au cas par cas, lesquels sont admissibles pour chaque analyse.

Vérifiez également la présence de colonnes entièrement vides. Si une variable ne contient aucune réponse, cela indique un problème avec la logique du formulaire ou que la question n'a jamais été posée. Menez une enquête avant de poursuivre.

Étape 4 : valider la logique de saut

Les erreurs de logique de saut constituent la source la plus fréquente de données de mauvaise qualité dans les enquêtes électroniques. Elles sont faciles à manquer si vous ne les vérifiez pas systématiquement.

Référez-vous à votre livre de codes. Pour chaque question conditionnelle, vérifiez les points suivants :

Les enregistrements qui auraient dû être ignorés l'ont bien été. Par exemple, si la question 12 ne s'applique qu'aux répondants ayant répondu "Oui" à la question 10, assurez-vous que tous ceux qui ont répondu "Non" à la question 10 ont des valeurs vides ou "N/A" pour la question 12.
Les enregistrements qui auraient dû répondre ont effectivement répondu. Si un répondant a répondu "Oui" à la question 10 mais que la question 12 est vide, il s'agit d'une lacune de données, et non d'un saut valide.

Méthode efficace : Créez des règles de filtre simples. Dans Excel, filtrez la colonne Q10 sur "Non", puis vérifiez que la colonne Q12 est vide pour toutes les lignes filtrées. Avec R ou Stata, cela se traduit par une vérification logique ligne par ligne pour chaque schéma de saut.

Règle de décision : Si un répondant a fourni des réponses à des questions qu'il aurait dû ignorer, ces réponses sont invalides. Videz-les et consignez la modification. Si un répondant a ignoré des questions auxquelles il aurait dû répondre, signalez l'enregistrement pour examen, mais ne fabriquez pas de données.

Étape 5 : vérifier les plages et identifier les valeurs aberrantes

Toute variable numérique possède une plage de valeurs plausibles. Un ménage de 47 membres, un âge de 250 ans ou un revenu mensuel de 1 $ sont autant d'exemples d'erreurs de saisie ou de collecte de données.

Pour chaque variable numérique, définissez la plage de valeurs valides en vous basant sur votre livre de codes. Par exemple, l'âge du chef de ménage doit être compris entre 18 et 99 ans, et le nombre d'enfants de moins de 5 ans entre 0 et 10.
Calculez les statistiques descriptives de base : minimum, maximum, moyenne, médiane, écart-type.
Signalez comme une erreur toute valeur en dehors de la plage valide.
Signalez comme une valeur aberrante potentielle à examiner toute valeur située à plus de 3 écarts-types de la moyenne.

Règles de décision courantes (à adapter) :

Vérification	Règle de signalement
Durée de l'enquête	Moins de 5 minutes pour une enquête de 30 minutes : à examiner
Coordonnées GPS	Plus de 50 km de la zone d'enquête prévue : à signaler
Âge	En dehors de 0-120 ans : erreur. Moins de 15 ans pour le chef de ménage : à signaler
Taille du ménage	Plus de 20 personnes : à examiner
Revenu/dépenses	Zéro pour toutes les catégories : à signaler. Top 1 % : à vérifier

Ne supprimez pas automatiquement les valeurs aberrantes. Certaines peuvent être légitimes. Un ménage de 15 membres peut exister, et un revenu de 0 $ peut être exact pour un ménage extrêmement vulnérable. Signalez, enquêtez, puis prenez une décision éclairée.

Étape 6 : effectuer des contrôles de cohérence

Les contrôles de cohérence permettent de détecter les contradictions logiques que les vérifications de plage ne peuvent pas identifier. Ils impliquent de croiser deux variables ou plus.

Exemples de contrôles de cohérence :

Un répondant déclare n'avoir aucun enfant, mais mentionne plus tard la scolarisation de trois enfants.
L'âge déclaré d'un répondant est de 12 ans, mais sa profession est "enseignant".
Un ménage déclare ne pas posséder de terres agricoles, mais indique ensuite des quantités de récolte.
La date de naissance et l'âge déclaré diffèrent de plus d'un an.
Une installation déclare zéro personnel, mais fournit des chiffres de prestation de services.

Établissez une liste de 10 à 15 contrôles de cohérence spécifiques à votre enquête. Exécutez chacun d'eux comme un test logique. Signalez les contradictions pour un examen manuel.

Règle de décision : Ne tentez pas de deviner quelle réponse est correcte. Si deux variables se contredisent, il est impossible de déterminer laquelle est erronée en se basant uniquement sur les données. Signalez l'enregistrement et, si possible, contactez l'enquêteur ou le répondant. Si ce n'est pas possible, documentez la contradiction et excluez les variables conflictuelles (et non l'enregistrement entier) des analyses pertinentes.

Étape 7 : documenter chaque modification dans votre journal de nettoyage

Votre journal de nettoyage n'est pas une option, mais une exigence essentielle pour l'assurance qualité des données et une piste d'audit indispensable.

Une fois les étapes 2 à 6 terminées, votre journal doit contenir toutes les modifications apportées. Vérifiez-le attentivement pour vous assurer de son exhaustivité :

Chaque doublon supprimé doit y être enregistré.
Chaque valeur corrigée doit mentionner la valeur originale et la nouvelle valeur.
Chaque enregistrement exclu doit être accompagné d'une raison.
Chaque valeur aberrante signalée doit avoir une disposition (corrigée, confirmée comme exacte ou exclue).

Enregistrez le journal de nettoyage à côté de votre jeu de données nettoyé. Toute personne utilisant vos données doit pouvoir consulter ce journal pour comprendre précisément ce qui a été modifié et pourquoi. C'est un pilier fondamental d'une bonne gestion des données.

Étape 8 : vérification finale et clôture

Avant de déclarer votre jeu de données comme propre, effectuez une dernière série de vérifications.

Recomptez les enregistrements. Comparez le nombre d'enregistrements de votre jeu de données nettoyé au nombre brut. La différence doit correspondre précisément au nombre d'enregistrements que vous avez exclus ou supprimés, tel que documenté dans votre journal de nettoyage.
Réexécutez les vérifications de plage. Assurez-vous qu'aucune valeur hors plage ne subsiste.
Réexécutez les vérifications de logique de saut. Confirmez que tous les schémas de saut sont désormais cohérents.
Vérifiez manuellement 10 à 20 enregistrements par échantillonnage. Ouvrez le fichier brut et le fichier nettoyé côte à côte. Sélectionnez des enregistrements au hasard et vérifiez que les modifications correspondent à votre journal.
Utilisez la pour obtenir une évaluation structurée de la qualité de votre jeu de données nettoyé.

Si tout est en ordre, renommez votre fichier pour indiquer son statut final : enquête_ménages_nettoyée_FINAL_20260401.xlsx. Verrouillez le fichier ou définissez-le en lecture seule.

Questions fréquentes

Combien de temps faut-il prévoir pour le nettoyage des données ?

Pour une enquête ménage standard, comptez 1 à 3 jours par tranche de 500 réponses. Les enquêtes complexes, avec de nombreux schémas de saut, exigeront plus de temps. Il est crucial d'intégrer le temps de nettoyage dans votre calendrier de collecte de données dès le départ, et non de le considérer comme une tâche de dernière minute.

Faut-il supprimer ou corriger les enregistrements problématiques ?

Ne supprimez jamais les données brutes. Travaillez toujours sur une copie nettoyée et documentez chaque modification dans un journal de nettoyage. Si un enregistrement est inutilisable, signalez-le et excluez-le de l'analyse, mais conservez toujours l'original. Votre journal de nettoyage doit consigner ce qui a été modifié, la raison, l'auteur et la date de la modification.

Quels outils sont recommandés pour le nettoyage des données ?

Pour la plupart des équipes de S&E : Excel ou Google Sheets conviennent aux petits jeux de données (moins de 1 000 enregistrements). R ou Stata sont préférables pour les jeux de données plus volumineux ou les règles de nettoyage complexes. OpenRefine est excellent pour la déduplication et la standardisation. Bien que KoboToolbox et SurveyCTO intègrent des validations qui détectent certains problèmes durant la collecte, un nettoyage post-collecte reste indispensable.

Essayez-le dans M&E Studio

Guides de décision associés

Comment déterminer la taille d'échantillon idéale pour le S&E Enquêtes, entretiens, groupes de discussion : quelle méthode choisir en S&E ?Enquêtes de référence, à mi-parcours et finales : quand et comment les réaliser en S&E Guide pratique : réaliser une évaluation de la qualité des données (EQD)

Concepts clés expliqués

Assurance qualité des données (AQD)Gestion des données Conception d'Enquêtes pour le S&E : Guide Complet Le biais en S&E : comprendre et atténuer les distorsions Fiabilité des mesures en S&E Validité interne et externe : fondement des évaluations crédibles en S&E