Les 5 dimensions de la qualité des données pour le S&E

Inadéquation entre le construit et la mesure. L'indicateur est censé mesurer le concept X, mais en pratique, il mesure le concept Y. Par exemple, si le « pourcentage de femmes autonomisées » est le construit visé, une mesure opérationnelle comme le « nombre de femmes participant à une session sur les moyens de subsistance » ne mesure que la participation, et non l'autonomisation. Les données peuvent être collectées avec exactitude, mais elles ne représentent pas valablement le construit attendu.

Échec de la mesure par procuration. L'indicateur recourt à une mesure par procuration (un substitut plus simple à mesurer qu'un concept plus complexe). Les mesures par procuration sont pertinentes lorsqu'elles sont fortement corrélées au construit cible. Elles deviennent invalides si cette corrélation est faible ou si le proxy évolue pour des raisons indépendantes du construit visé. Par exemple, le revenu des ménages est un indicateur moins fiable de la sécurité alimentaire que les mesures directes de consommation alimentaire. Utiliser le revenu des ménages produira des données valides sur le revenu, mais pas sur la sécurité alimentaire.

Erreur de traduction culturelle ou linguistique. Les définitions d'indicateurs élaborées en anglais et traduites pour une utilisation sur le terrain peuvent perdre leur sens initial. Ainsi, le terme « ménage » peut désigner une unité nucléaire dans une langue, et un complexe familial élargi dans une autre. Un indicateur valide en anglais perdra sa validité en swahili ou en bengali si sa traduction n'est pas rigoureusement testée dans le contexte local.

Dérive des enquêteurs. Au début de la formation, tous les enquêteurs appliquent les mêmes définitions. Cependant, trois mois plus tard, chacun peut avoir développé de petites interprétations personnelles. Par exemple, si l'« allaitement maternel exclusif » tel que défini en formation n'inclut pas l'eau, un enquêteur pourrait l'autoriser en supposant que le répondant a mal compris ou s'est mal souvenu. Le même indicateur produira alors des données différentes selon les enquêteurs. Cette dérive est prévisible ; elle est détectée par des formations régulières et des vérifications ponctuelles à l'aveugle, et ne peut être prévenue de manière définitive.

Incohérence des protocoles. Deux superviseurs peuvent interpréter la même logique de saut de manière divergente. L'un pourrait considérer une non-réponse à la question de filtrage 1 comme éligible à l'enquête avec des questions de suivi, tandis que l'autre la jugerait inéligible et mettrait fin à l'entretien. Les deux équipes produiraient alors des jeux de données structurellement différents. L'incohérence des protocoles est détectée lors de la supervision, notamment par des tests de scénarios délibérés lors des réunions d'équipe hebdomadaires.

Confusion définitionnelle au niveau du répondant. L'indicateur peut être fiable entre les enquêteurs, mais la fiabilité peut faire défaut dans l'interaction entre l'enquêteur et le répondant. Par exemple, la question « Avez-vous utilisé cette méthode au cours des 30 derniers jours ? » peut générer des réponses variées selon que le répondant interprète « utilisé » comme « commencé », « terminé », « pratiqué une fois » ou « pratiqué de manière cohérente ». La définition doit être opérationnalisée dans la formulation de la question sur le terrain, et non laissée à la libre interprétation du répondant.

Délai de rapport. Les données collectées en mars ne sont disponibles pour analyse qu'en mai et parviennent au comité de pilotage en juillet. Le cycle de décision trimestriel que ces données devaient éclairer est alors déjà terminé. Les données sont exactes, mais inutiles pour l'objectif visé. Le délai de rapport est identifié en associant chaque indicateur à son cycle de décision spécifique et en remontant le temps pour déterminer les dates de collecte et d'analyse nécessaires.

Retard de collecte. L'enquête est prévue pour le mois 6, mais le travail de terrain ne débute qu'au mois 8 en raison d'un retard dans le recrutement des enquêteurs. Les données de la situation de référence, censées éclairer la programmation de l'année 1, n'arrivent qu'au milieu de cette même année. Ces données sont exploitables pour la comparaison finale, mais ne peuvent plus éclairer les décisions de programmation pour lesquelles elles avaient été commandées.

Désalignement des cycles. Une enquête annuelle est planifiée pour septembre dans un programme qui organise des réunions de décision trimestrielles. Les données de septembre sont pertinentes pour la réunion d'octobre, mais obsolètes pour la réunion de juillet de l'année suivante. Dans ce cas, soit la fréquence de l'enquête est inadéquate, soit la structure de décision est inadaptée, mais les deux ne sont pas alignées.

Taille d'échantillon insuffisante pour les comparaisons de sous-groupes. Un échantillon global de 400 individus est précis à plus ou moins 5 points. Désagrégé par sexe, chaque sous-groupe (n=200) est précis à plus ou moins 7 points. Désagrégé par sexe et groupe d'âge, chaque cellule (n=50) est précise à plus ou moins 14 points. Les comparaisons de sous-groupes, qui ont pourtant motivé la conception analytique, ne peuvent alors pas être réalisées avec une confiance statistique suffisante. Voir les erreurs d'échantillonnage courantes pour la planification de la taille de l'échantillon.

Inadéquation du niveau d'agrégation. Les données sont rapportées au niveau national ou régional, alors que la décision requiert des informations au niveau du district ou de l'établissement. Une estimation de couverture de 72 % au niveau national n'indique pas au programme où concentrer ses efforts de sensibilisation ; une ventilation par district, montrant une fourchette de 40 % à 91 %, le permet. Les lacunes de précision à ce niveau exigent soit un échantillon plus vaste, soit un plan d'échantillonnage stratifié adapté au niveau de la décision.

Imprécision au niveau de l'instrument. L'outil de mesure ne permet pas de distinguer les valeurs pertinentes. Par exemple, une question de filtrage qui ne distingue que « oui/non » sur la sécurité alimentaire, alors que la Théorie du Changement du programme exige de différencier « gravement en insécurité alimentaire », « modérément », « légèrement » et « en sécurité alimentaire », ne peut pas éclairer les décisions de conception. La précision au niveau de l'instrument requiert une révision du questionnaire ou de la spécification de l'indicateur.

Distorsion des rapports due aux objectifs. L'équipe de terrain est souvent sous pression pour rapporter des chiffres qui attestent du succès du programme. Les enquêteurs qui enregistrent un « non » peuvent être incités à revérifier auprès du répondant. Les agents de saisie peuvent être invités à « clarifier » certaines valeurs signalées. Cette pression est rarement explicite ; elle est souvent intrinsèque à la structure des incitations et des évaluations. Les contrôles d'intégrité incluent la saisie de données à l'aveugle (les agents de saisie ignorant quelles valeurs seront examinées), l'audit automatisé des modifications d'enregistrements, et un protocole strict interdisant à toute personne en dessous du responsable S&E de modifier une valeur soumise.

Absence de piste d'audit. Les données sont nettoyées, fusionnées et analysées, mais la séquence des modifications n'est pas toujours enregistrée. Lorsqu'un auditeur demande pourquoi une valeur a été modifiée, personne ne peut l'expliquer. Les plateformes numériques dotées d'un historique des modifications (voir collecte de données sur papier ou numérique) préviennent la plupart des lacunes en matière de piste d'audit ; les systèmes papier, quant à eux, requièrent des journaux de modifications parallèles.

Rapport sélectif. Les données sont collectées de manière honnête, mais seuls les résultats favorables sont publiés. Le jeu de données complet contient une image exhaustive ; le résumé, lui, ne présente que le sous-ensemble qui appuie le récit du programme. L'intégrité est ici un enjeu de gouvernance : le programme s'engage-t-il à publier le rapport complet d'EQD, y compris les résultats négatifs, ou procède-t-il à un filtrage via un examen interne ?

Piège 1 : traiter l'EQD comme un audit ponctuel. La qualité des données s'érode continuellement : dérive des enquêteurs, relâchement des protocoles, allongement des délais de rapport, et pressions sur l'intégrité. Une EQD réalisée à la situation de référence certifie le système à un instant T, mais pas de manière permanente. Des cycles d'EQD trimestriels ou semestriels permettent d'identifier la dérive avant qu'elle ne s'aggrave.

Piège 2 : confondre fiabilité et validité. Une collecte de données fiable pour un indicateur invalide produira des données constamment erronées. La validité est définie lors de la spécification de l'indicateur ; la fiabilité est assurée sur le terrain. Les deux sont indispensables.

Piège 3 : ignorer la précision jusqu'à l'analyse. La taille de l'échantillon et les niveaux de désagrégation sont déterminés dès la phase de conception. Découvrir lors de l'analyse que l'échantillon ne permet pas les comparaisons de sous-groupes prévues est trop tard pour corriger sans une seconde étude.

Piège 4 : accepter l'actualité comme "les données seront bientôt prêtes". Sans délais spécifiques pour la collecte, la saisie, l'analyse et le rapport, l'actualité est compromise par défaut. Chaque étape doit avoir un responsable désigné et une date butoir.

Piège 5 : ne pas protéger les points de pression de l'intégrité. L'intégrité est compromise là où la structure génère une pression : le personnel dont la performance est évaluée sur les données qu'il rapporte, ou les équipes dont le financement dépend de l'atteinte des objectifs. Ces points de pression exigent des contrôles explicites (saisie à l'aveugle, audit, vérification par un tiers), plutôt qu'une simple confiance dans l'éthique individuelle.

Piège 6 : mener une EQD sans situation de référence à comparer. Une EQD qui conclut à une « qualité acceptable » sans norme de qualité préalable ou évaluation antérieure manque de point de référence. Il est essentiel d'établir une norme de qualité dès l'année 1 et d'y comparer les EQD ultérieures.

Validité :

• La correspondance entre le construit et la mesure de l'indicateur a été vérifiée (entretiens cognitifs, examen par des experts ou réplication d'études antérieures).
• Les traductions ont été testées sur le terrain dans chaque langue et contexte d'utilisation.
• Les mesures par procuration (le cas échéant) ont une corrélation documentée avec le construit cible.

Fiabilité :

• La formation des enquêteurs couvre les cas limites d'interprétation, au-delà du simple instrument.
• Le taux d'accord inter-évaluateurs a été mesuré dans au moins une série (objectif : 85 % ou plus).
• Une nouvelle formation est prévue après chaque 2-3 séries de travail de terrain ou en cas de roulement important du personnel.

Actualité :

• Le cycle de décision que l'indicateur doit alimenter est clairement défini, avec des délais.
• Le processus de données est cartographié de la collecte à la diffusion, avec des dates précises pour chaque étape.
• La fréquence de collecte correspond à la fréquence des décisions.

Précision :

• La plus petite différence significative que le programme doit détecter est définie.
• La taille de l'échantillon est calculée pour cette différence (en tenant compte de l'effet de plan et d'une marge pour les non-réponses).
• La désagrégation est pré-planifiée avec des tailles d'échantillon suffisantes pour appuyer les comparaisons.

Intégrité :

• Les points de pression (rapports liés à la performance, incitations basées sur les objectifs) sont identifiés.
• Des pistes d'audit existent pour toutes les modifications d'enregistrements (plateformes numériques ou journaux papier parallèles).
• Un cycle de vérification par un tiers ou par échantillonnage aléatoire est intégré au calendrier de l'EQD.