Les 5 dimensions de la qualité des données pour le S&E

Validité : mesurer la bonne chose

La validité s'interroge sur la capacité de votre indicateur à saisir réellement le concept qu'il est censé mesurer. Il s'agit avant tout d'un enjeu de conception d'indicateur, généralement résolu lors de l'élaboration du plan de S&E. Cependant, des lacunes peuvent émerger sur le terrain si les enquêteurs interprètent les indicateurs différemment de leur concepteur.

Voici trois types de défaillances de validité :

Inadéquation entre le construit et la mesure. L'indicateur est censé mesurer le concept X, mais en pratique, il mesure le concept Y. Par exemple, si le « pourcentage de femmes autonomisées » est le construit visé, une mesure opérationnelle comme le « nombre de femmes participant à une session sur les moyens de subsistance » ne mesure que la participation, et non l'autonomisation. Les données peuvent être collectées avec exactitude, mais elles ne représentent pas valablement le construit attendu.

Échec de la mesure par procuration. L'indicateur recourt à une mesure par procuration (un substitut plus simple à mesurer qu'un concept plus complexe). Les mesures par procuration sont pertinentes lorsqu'elles sont fortement corrélées au construit cible. Elles deviennent invalides si cette corrélation est faible ou si le proxy évolue pour des raisons indépendantes du construit visé. Par exemple, le revenu des ménages est un indicateur moins fiable de la sécurité alimentaire que les mesures directes de consommation alimentaire. Utiliser le revenu des ménages produira des données valides sur le revenu, mais pas sur la sécurité alimentaire.

Erreur de traduction culturelle ou linguistique. Les définitions d'indicateurs élaborées en anglais et traduites pour une utilisation sur le terrain peuvent perdre leur sens initial. Ainsi, le terme « ménage » peut désigner une unité nucléaire dans une langue, et un complexe familial élargi dans une autre. Un indicateur valide en anglais perdra sa validité en swahili ou en bengali si sa traduction n'est pas rigoureusement testée dans le contexte local.

La validité est évaluée lors de l'examen des indicateurs, dès la phase de conception. Utilisez la liste de contrôle approfondie des indicateurs SMART pour tester l'alignement entre le construit et la mesure. Sur le terrain, il est recommandé d'effectuer un pré-test cognitif auprès de 5 à 10 répondants dans la langue locale : demandez-leur d'expliquer ce qu'ils comprennent de la question. Si leur interprétation s'écarte de la spécification de l'indicateur, la validité est compromise.

Fiabilité : La mesurer de manière cohérente

La fiabilité évalue si la collecte des mêmes données, dans des conditions identiques, produirait des résultats similaires. Il s'agit principalement d'un enjeu d'exécution, géré lors de la formation et de la supervision des enquêteurs, mais qui tend à s'éroder continuellement au fil du programme.

Voici trois types de défaillances de fiabilité :

Dérive des enquêteurs. Au début de la formation, tous les enquêteurs appliquent les mêmes définitions. Cependant, trois mois plus tard, chacun peut avoir développé de petites interprétations personnelles. Par exemple, si l'« allaitement maternel exclusif » tel que défini en formation n'inclut pas l'eau, un enquêteur pourrait l'autoriser en supposant que le répondant a mal compris ou s'est mal souvenu. Le même indicateur produira alors des données différentes selon les enquêteurs. Cette dérive est prévisible ; elle est détectée par des formations régulières et des vérifications ponctuelles à l'aveugle, et ne peut être prévenue de manière définitive.

Incohérence des protocoles. Deux superviseurs peuvent interpréter la même logique de saut de manière divergente. L'un pourrait considérer une non-réponse à la question de filtrage 1 comme éligible à l'enquête avec des questions de suivi, tandis que l'autre la jugerait inéligible et mettrait fin à l'entretien. Les deux équipes produiraient alors des jeux de données structurellement différents. L'incohérence des protocoles est détectée lors de la supervision, notamment par des tests de scénarios délibérés lors des réunions d'équipe hebdomadaires.

Confusion définitionnelle au niveau du répondant. L'indicateur peut être fiable entre les enquêteurs, mais la fiabilité peut faire défaut dans l'interaction entre l'enquêteur et le répondant. Par exemple, la question « Avez-vous utilisé cette méthode au cours des 30 derniers jours ? » peut générer des réponses variées selon que le répondant interprète « utilisé » comme « commencé », « terminé », « pratiqué une fois » ou « pratiqué de manière cohérente ». La définition doit être opérationnalisée dans la formulation de la question sur le terrain, et non laissée à la libre interprétation du répondant.

Les problèmes de fiabilité sont indétectables dans le jeu de données final, à moins que des contrôles spécifiques ne soient mis en place. Le principal contrôle est l'accord inter-évaluateurs : demandez périodiquement à deux enquêteurs d'interviewer le même ménage de manière indépendante, puis comparez leurs réponses pour mesurer le taux d'accord. Un taux d'accord inférieur à 85 % pour les questions fermées indique un problème de fiabilité. Voir l'entrée de référence sur la fiabilité pour les méthodes de calcul de l'accord.

Actualité : Les données quand les décisions en ont besoin

L'actualité évalue si les données sont disponibles au moment opportun pour éclairer les décisions qu'elles sont censées appuyer. Il s'agit principalement d'un enjeu de planification et de système de rapport, et c'est la dimension qui fait le plus souvent défaut dans la pratique du S&E.

Voici trois types de défaillances d'actualité :

Délai de rapport. Les données collectées en mars ne sont disponibles pour analyse qu'en mai et parviennent au comité de pilotage en juillet. Le cycle de décision trimestriel que ces données devaient éclairer est alors déjà terminé. Les données sont exactes, mais inutiles pour l'objectif visé. Le délai de rapport est identifié en associant chaque indicateur à son cycle de décision spécifique et en remontant le temps pour déterminer les dates de collecte et d'analyse nécessaires.

Retard de collecte. L'enquête est prévue pour le mois 6, mais le travail de terrain ne débute qu'au mois 8 en raison d'un retard dans le recrutement des enquêteurs. Les données de la situation de référence, censées éclairer la programmation de l'année 1, n'arrivent qu'au milieu de cette même année. Ces données sont exploitables pour la comparaison finale, mais ne peuvent plus éclairer les décisions de programmation pour lesquelles elles avaient été commandées.

Désalignement des cycles. Une enquête annuelle est planifiée pour septembre dans un programme qui organise des réunions de décision trimestrielles. Les données de septembre sont pertinentes pour la réunion d'octobre, mais obsolètes pour la réunion de juillet de l'année suivante. Dans ce cas, soit la fréquence de l'enquête est inadéquate, soit la structure de décision est inadaptée, mais les deux ne sont pas alignées.

L'actualité est plus souvent compromise que les équipes ne l'imaginent, car le délai de rapport est cumulatif : un retard de 2 semaines dans le travail de terrain se transforme en 4 semaines pour la saisie, puis en 6 semaines pour l'analyse, et enfin en 8 semaines pour la diffusion. Chaque étape peut justifier son propre glissement, mais le retard cumulé rend les données inutilisables. Il est donc essentiel de suivre l'intégralité du processus de données, et pas seulement la collecte, pour identifier les problèmes d'actualité.

Précision : assez de détails pour agir

La précision évalue si les données sont suffisamment détaillées et exactes pour permettre de distinguer les différences significatives. Elle concerne à la fois la taille de l'échantillon (précision de l'estimation), la désagrégation (précision de la ventilation) et l'exactitude de la mesure (précision de l'instrument).

Voici trois types de défaillances de précision :

Taille d'échantillon insuffisante pour les comparaisons de sous-groupes. Un échantillon global de 400 individus est précis à plus ou moins 5 points. Désagrégé par sexe, chaque sous-groupe (n=200) est précis à plus ou moins 7 points. Désagrégé par sexe et groupe d'âge, chaque cellule (n=50) est précise à plus ou moins 14 points. Les comparaisons de sous-groupes, qui ont pourtant motivé la conception analytique, ne peuvent alors pas être réalisées avec une confiance statistique suffisante. Voir les erreurs d'échantillonnage courantes pour la planification de la taille de l'échantillon.

Inadéquation du niveau d'agrégation. Les données sont rapportées au niveau national ou régional, alors que la décision requiert des informations au niveau du district ou de l'établissement. Une estimation de couverture de 72 % au niveau national n'indique pas au programme où concentrer ses efforts de sensibilisation ; une ventilation par district, montrant une fourchette de 40 % à 91 %, le permet. Les lacunes de précision à ce niveau exigent soit un échantillon plus vaste, soit un plan d'échantillonnage stratifié adapté au niveau de la décision.

Imprécision au niveau de l'instrument. L'outil de mesure ne permet pas de distinguer les valeurs pertinentes. Par exemple, une question de filtrage qui ne distingue que « oui/non » sur la sécurité alimentaire, alors que la Théorie du Changement du programme exige de différencier « gravement en insécurité alimentaire », « modérément », « légèrement » et « en sécurité alimentaire », ne peut pas éclairer les décisions de conception. La précision au niveau de l'instrument requiert une révision du questionnaire ou de la spécification de l'indicateur.

La précision est évaluée lors de l'examen de la conception : pour chaque indicateur, il faut identifier la plus petite différence significative que le programme doit détecter, et s'assurer que l'échantillon et l'instrument sont capables de la mesurer. Cette étape est rarement réalisée explicitement au moment de la conception ; les lacunes en matière de précision n'apparaissent souvent qu'au stade de l'analyse, lorsque l'équipe constate que les données ne peuvent pas répondre aux questions posées.

Intégrité : protection contre les biais et la manipulation

L'intégrité s'assure que les données sont protégées contre toute distorsion délibérée : inflation des chiffres pour atteindre les objectifs, omission de résultats défavorables, ou modifications non documentées des enregistrements. Il s'agit principalement d'un enjeu de gouvernance et de traçabilité, rare en fréquence mais aux conséquences potentiellement graves en cas de défaillance.

Voici trois types de défaillances d'intégrité :

Distorsion des rapports due aux objectifs. L'équipe de terrain est souvent sous pression pour rapporter des chiffres qui attestent du succès du programme. Les enquêteurs qui enregistrent un « non » peuvent être incités à revérifier auprès du répondant. Les agents de saisie peuvent être invités à « clarifier » certaines valeurs signalées. Cette pression est rarement explicite ; elle est souvent intrinsèque à la structure des incitations et des évaluations. Les contrôles d'intégrité incluent la saisie de données à l'aveugle (les agents de saisie ignorant quelles valeurs seront examinées), l'audit automatisé des modifications d'enregistrements, et un protocole strict interdisant à toute personne en dessous du responsable S&E de modifier une valeur soumise.

Absence de piste d'audit. Les données sont nettoyées, fusionnées et analysées, mais la séquence des modifications n'est pas toujours enregistrée. Lorsqu'un auditeur demande pourquoi une valeur a été modifiée, personne ne peut l'expliquer. Les plateformes numériques dotées d'un historique des modifications (voir collecte de données sur papier ou numérique) préviennent la plupart des lacunes en matière de piste d'audit ; les systèmes papier, quant à eux, requièrent des journaux de modifications parallèles.

Rapport sélectif. Les données sont collectées de manière honnête, mais seuls les résultats favorables sont publiés. Le jeu de données complet contient une image exhaustive ; le résumé, lui, ne présente que le sous-ensemble qui appuie le récit du programme. L'intégrité est ici un enjeu de gouvernance : le programme s'engage-t-il à publier le rapport complet d'EQD, y compris les résultats négatifs, ou procède-t-il à un filtrage via un examen interne ?

Les défaillances d'intégrité sont rarement détectées lors d'une EQD de routine. Si l'EQD standard évalue les dimensions 1 à 4 de manière fiable, le test d'intégrité requiert des protocoles spécifiques : audits aléatoires des enregistrements, mécanismes d'alerte, et examen par des tiers des résultats négatifs. Voir assurance qualité des données pour les contrôles au niveau de la gouvernance.

Exemples sectoriels

Santé : dérive de fiabilité dans une enquête de couverture vaccinale en Afrique de l'Est

Un programme de santé a mené des enquêtes trimestrielles sur la couverture vaccinale, mobilisant quatre équipes de deux enquêteurs chacune. La formation initiale a été approfondie, et le taux d'accord inter-évaluateurs s'élevait à 92 %. Lors de la troisième série, deux enquêteurs avaient été remplacés sans nouvelle formation de l'équipe complète, et les chefs d'équipe avaient commencé à accepter la « carte non vue mais récitée par le soignant » comme preuve de vaccination vérifiée (alors que le protocole original exigeait la présentation de la carte). Le taux d'accord est alors tombé à 76 %. L'estimation de la couverture a augmenté de 11 points de pourcentage sur trois séries, non pas en raison d'une amélioration réelle, mais d'une érosion de la fiabilité. Une nouvelle formation lors de la quatrième série a permis de rétablir le protocole original et de remonter le taux d'accord à 88 %, mais la série de couverture rapportée n'était plus comparable en interne.

WASH : défaillance d'actualité dans un programme d'accès à l'eau potable, Afrique de l'Ouest

Un programme a conçu une enquête auprès des ménages afin d'éclairer les examens trimestriels de gestion adaptative. Le travail de terrain au mois 3 a duré 4 semaines ; la saisie des données, 3 semaines ; et l'analyse et l'examen, 2 semaines. Les résultats ont été présentés lors de la réunion d'examen du mois 6, soit avec un cycle de retard. À ce moment-là, le programme avait déjà bien avancé dans sa mise en œuvre. Trois séries plus tard, le schéma était établi : les données arrivaient systématiquement avec un cycle de retard. Le programme est alors passé à une évaluation mensuelle plus restreinte et ciblée, et a décalé l'enquête complète à une fréquence semestrielle. L'actualité a ainsi été rétablie.

Éducation : défaillance de précision dans une étude sur les résultats d'apprentissage, asie du sud

Un programme a commandé une évaluation des résultats d'apprentissage avec l'intention de désagréger les résultats par niveau scolaire, sexe et type d'école (publique ou privée subventionnée). L'étude a recruté 800 élèves. Désagrégée de trois manières, chaque cellule ne comptait que 30 à 50 élèves, ce qui a généré des marges d'erreur trop larges pour tester les hypothèses de manière significative. Le résultat principal (scores d'apprentissage globaux) était précis ; en revanche, l'analyse des sous-groupes, pourtant essentielle aux décisions de conception du programme, ne l'était pas. Une étude de suivi, avec un échantillon stratifié spécifiquement conçu pour la désagrégation à trois niveaux, a coûté 2,3 fois le budget initial et a nécessité 4 mois d'exécution.

Moyens de subsistance : défaillance d'intégrité dans le suivi post-formation, Afrique australe

Un programme de moyens de subsistance suivait l'emploi post-formation via l'auto-déclaration des formateurs, dont la performance était en partie évaluée sur les taux de placement. Sur deux ans, l'emploi déclaré est passé de 54 % à 83 %. Un re-contact externe d'anciens stagiaires a révélé que le taux réel n'était que de 52 %. Les formateurs, sous pression pour démontrer des progrès, avaient enregistré le travail à temps partiel ou informel comme un emploi à part entière. Le programme a alors ajouté une vérification par un tiers via une enquête téléphonique aléatoire sur 10 % des cas, et a repensé la métrique des formateurs pour éliminer ce point de pression.

Sécurité alimentaire : défaillance de validité dans la mesure de la consommation, sahel

Un programme de sécurité alimentaire a utilisé le « nombre de repas consommés par jour » comme indicateur d'amélioration. Dans le contexte pastoral, cet indicateur n'était pas valide : les régimes alimentaires traditionnels impliquent 2 repas par jour même en période de sécurité alimentaire, de sorte qu'une augmentation n'était pas corrélée à une amélioration de la sécurité alimentaire. L'indicateur mesurait un changement de norme culturelle, et non le construit visé. Une nouvelle spécification basée sur l'échelle de la faim des ménages (Household Hunger Scale - HHS) a résolu le problème et permis de produire des données comparables entre les contextes.

Pièges courants

Piège 1 : traiter l'EQD comme un audit ponctuel. La qualité des données s'érode continuellement : dérive des enquêteurs, relâchement des protocoles, allongement des délais de rapport, et pressions sur l'intégrité. Une EQD réalisée à la situation de référence certifie le système à un instant T, mais pas de manière permanente. Des cycles d'EQD trimestriels ou semestriels permettent d'identifier la dérive avant qu'elle ne s'aggrave.

Piège 2 : confondre fiabilité et validité. Une collecte de données fiable pour un indicateur invalide produira des données constamment erronées. La validité est définie lors de la spécification de l'indicateur ; la fiabilité est assurée sur le terrain. Les deux sont indispensables.

Piège 3 : ignorer la précision jusqu'à l'analyse. La taille de l'échantillon et les niveaux de désagrégation sont déterminés dès la phase de conception. Découvrir lors de l'analyse que l'échantillon ne permet pas les comparaisons de sous-groupes prévues est trop tard pour corriger sans une seconde étude.

Piège 4 : accepter l'actualité comme "les données seront bientôt prêtes". Sans délais spécifiques pour la collecte, la saisie, l'analyse et le rapport, l'actualité est compromise par défaut. Chaque étape doit avoir un responsable désigné et une date butoir.

Piège 5 : ne pas protéger les points de pression de l'intégrité. L'intégrité est compromise là où la structure génère une pression : le personnel dont la performance est évaluée sur les données qu'il rapporte, ou les équipes dont le financement dépend de l'atteinte des objectifs. Ces points de pression exigent des contrôles explicites (saisie à l'aveugle, audit, vérification par un tiers), plutôt qu'une simple confiance dans l'éthique individuelle.

Piège 6 : mener une EQD sans situation de référence à comparer. Une EQD qui conclut à une « qualité acceptable » sans norme de qualité préalable ou évaluation antérieure manque de point de référence. Il est essentiel d'établir une norme de qualité dès l'année 1 et d'y comparer les EQD ultérieures.

Auto-évaluation des cinq dimensions

Passez en revue ces points pour chaque indicateur prioritaire de votre plan de S&E. Toute réponse « non » signale un risque de qualité spécifique.

Validité :

• La correspondance entre le construit et la mesure de l'indicateur a été vérifiée (entretiens cognitifs, examen par des experts ou réplication d'études antérieures).
• Les traductions ont été testées sur le terrain dans chaque langue et contexte d'utilisation.
• Les mesures par procuration (le cas échéant) ont une corrélation documentée avec le construit cible.

Fiabilité :

• La formation des enquêteurs couvre les cas limites d'interprétation, au-delà du simple instrument.
• Le taux d'accord inter-évaluateurs a été mesuré dans au moins une série (objectif : 85 % ou plus).
• Une nouvelle formation est prévue après chaque 2-3 séries de travail de terrain ou en cas de roulement important du personnel.

Actualité :

• Le cycle de décision que l'indicateur doit alimenter est clairement défini, avec des délais.
• Le processus de données est cartographié de la collecte à la diffusion, avec des dates précises pour chaque étape.
• La fréquence de collecte correspond à la fréquence des décisions.

Précision :

• La plus petite différence significative que le programme doit détecter est définie.
• La taille de l'échantillon est calculée pour cette différence (en tenant compte de l'effet de plan et d'une marge pour les non-réponses).
• La désagrégation est pré-planifiée avec des tailles d'échantillon suffisantes pour appuyer les comparaisons.

Intégrité :

• Les points de pression (rapports liés à la performance, incitations basées sur les objectifs) sont identifiés.
• Des pistes d'audit existent pour toutes les modifications d'enregistrements (plateformes numériques ou journaux papier parallèles).
• Un cycle de vérification par un tiers ou par échantillonnage aléatoire est intégré au calendrier de l'EQD.

Pour le processus d'EQD, voir comment mener une EQD. Pour le cadre plus large, voir assurance qualité des données, validité et fiabilité.