Qualité des données en S&E
En S&E, la qualité des données signifie que les informations collectées sont suffisamment précises, complètes et opportunes pour éclairer les décisions de votre programme. Il ne s'agit pas de données parfaites, mais de données adaptées à leur usage prévu.
Qu'est-ce que la qualité des données en S&E ?
Cette distinction est cruciale, car l'approche traditionnelle de la qualité des données (un nettoyage exhaustif de chaque point de données) consomme des ressources de S&E qui seraient plus utiles ailleurs. De nombreux programmes consacrent des semaines à nettoyer des données qui ne sont jamais utilisées pour aucune décision, tandis que les indicateurs qui guident réellement l'allocation des ressources et les ajustements de programme ne bénéficient d'aucune attention particulière.
Qu'est-ce qu'une évaluation de la qualité des données (DQA) ?
Une DQA est un examen systématique qui vise à déterminer si vos données respectent les normes de qualité nécessaires à leur utilisation prévue. La plupart des bailleurs de fonds exigent au moins une DQA formelle par cycle de projet. L'USAID, le FCDO et la Banque Mondiale intègrent tous des exigences de DQA dans leurs cadres de suivi, et beaucoup demandent des DQA annuelles ou à mi-parcours pour les programmes d'envergure.
Une DQA couvre généralement : le traçage des données, des documents sources aux valeurs rapportées ; la vérification de l'exhaustivité et de la cohérence ; la validation des définitions d'indicateurs par rapport aux pratiques de collecte ; et la documentation des résultats. Le rapport final confirme l'intégrité des données ou identifie des lacunes spécifiques à corriger avant le prochain cycle de rapportage.
Les erreurs fréquentes lors d'une DQA
L'erreur la plus fréquente lors d'une DQA n'est pas liée à des données inexactes, mais plutôt à une DQA menée trop tard, portant sur les mauvaises données et produisant un rapport qui reste sans suite. Une DQA réalisée deux semaines avant une évaluation finale, sur des données déjà soumises au bailleur de fonds, identifie des problèmes qu'elle ne peut plus résoudre. En revanche, une DQA bien synchronisée au 6ème mois d'un projet de 24 mois permet de détecter les mêmes problèmes alors qu'il est encore temps de corriger le processus de collecte de données et de former à nouveau les enquêteurs.
Les cinq dimensions de la qualité des données
Ces cinq dimensions sont utilisées par l'USAID, le FCDO et la plupart des grands bailleurs de fonds pour évaluer si les données de S&E sont adaptées au rapportage et à la prise de décision.
Validité
Les données mesurent ce qu'elles sont censées mesurer. Un décompte des « ménages ayant un accès amélioré à l'eau » n'est valide que si la définition de « amélioré » est appliquée de manière cohérente par chaque enquêteur, dans chaque communauté et sur toute la période de collecte des données.
Signal d'alerte: Les définitions des indicateurs sont ambiguës ou interprétées différemment d'une équipe à l'autre.
Fiabilité
La méthode de collecte de données produit des résultats cohérents lorsqu'elle est appliquée dans les mêmes conditions. Si deux enquêteurs posent la même question au même ménage et obtiennent des réponses différentes, la fiabilité est compromise, généralement en raison d'une méthodologie peu claire, d'une formation insuffisante ou d'une conception de question biaisée.
Signal d'alerte: Variation des résultats d'un enquêteur à l'autre pour une même population.
Actualité
Les données sont disponibles au moment où les décisions doivent être prises. Un cycle de collecte de données trimestriel qui produit des résultats deux mois après la date limite de rapportage a une valeur décisionnelle quasi nulle, même si les données sont précises. L'actualité concerne spécifiquement la corrélation entre la disponibilité des données et le moment de la décision.
Signal d'alerte: Les décisions du programme sont prises sur des données obsolètes ou en l'absence de données.
Précision
Les données sont suffisamment spécifiques pour être utiles. Un indicateur mesuré à un niveau de désagrégation incorrect, ou rapporté sous forme de fourchette si large qu'il ne permet pas de distinguer le succès de l'échec, manque de précision. Les problèmes de précision remontent souvent à des définitions d'indicateurs qui n'étaient pas assez spécifiques au stade de la conception.
Signal d'alerte: Résultats rapportés sous forme de larges fourchettes ou sans la désagrégation nécessaire aux décisions.
Intégrité
Les données n'ont pas été manipulées, falsifiées ou involontairement corrompues entre la collecte et le rapportage. Les atteintes à l'intégrité incluent la fraude des enquêteurs, les erreurs de transcription lors de la saisie manuelle des données et les erreurs de formule dans les feuilles de calcul d'analyse. Cela couvre également la chaîne de traçabilité : qui a eu accès aux données et à quel moment.
Signal d'alerte: Lacunes inexpliquées dans les ensembles de données, chiffres ronds invraisemblables ou résultats impossibles à retracer jusqu'aux données sources.
Réaliser une DQA ciblée
Un processus en 4 étapes axé sur les données les plus cruciales. Tous les indicateurs ne nécessitent pas le même niveau d'examen ; ce processus débute par la priorisation.
1. Identifier les données les plus pertinentes
Toutes les données ne nécessitent pas le même niveau d'examen. Commencez par lister les décisions que votre programme doit prendre pour ce cycle de rapportage. Quels indicateurs alimentent directement ces décisions ? Ce sont vos données de niveau 1 : elles feront l'objet de vérifications rigoureuses. Toutes les autres feront l'objet de vérifications ponctuelles.
2. Vérifier l'exhaustivité et la cohérence
Extrayez l'ensemble de données pour chaque indicateur de niveau 1. Vérifiez : tous les enregistrements attendus sont-ils présents ? Les valeurs se situent-elles dans des fourchettes plausibles ? Les totaux se recoupent-ils entre les points de collecte ? Les problèmes d'exhaustivité et de cohérence sont les plus courants et généralement les plus faciles à corriger s'ils sont détectés tôt.
3. Vérifier par rapport aux documents sources
Pour un échantillon d'enregistrements (10-20% pour les données critiques), retracez la valeur jusqu'à son document source : le formulaire de terrain, le registre d'admission, la photographie. Si le chiffre ne peut être retracé jusqu'à une source, il ne peut être justifié auprès d'un bailleur de fonds ou d'un auditeur.
4. Documenter les résultats et les mesures correctives
Documentez ce que vous avez trouvé, ce que vous avez modifié, et ce que vous avez laissé inchangé en expliquant pourquoi. Une DQA qui ne produit aucune documentation n'est pas considérée comme ayant eu lieu, du point de vue de votre bailleur de fonds. Les résultats devraient directement alimenter le prochain cycle de collecte de données, et non rester dans un rapport que personne ne lit.
Tableau de bord DQA gratuit
La qualité des indicateurs commence dès la conception
La plupart des problèmes de qualité des données prennent naissance avant même le début de la collecte. Des indicateurs mal définis génèrent des données qui ne peuvent être nettoyées pour être exploitables. Le problème se situe en amont.
- Définition spécifique. Chaque indicateur doit avoir une définition unique et non ambiguë que tout enquêteur peut appliquer sans jugement personnel.
- Source de données claire. La provenance des données doit être spécifiée, non pas comme « registres du programme », mais comme « registre d'admission mensuel à l'établissement X ».
- Plan de désagrégation. Les indicateurs de résultats devraient spécifier au minimum une dimension de désagrégation (sexe, âge, lieu), documentée dans le plan d'indicateurs avant le début de la collecte des données.
- Fréquence réaliste. La fréquence de collecte doit correspondre au taux de changement de l'indicateur. Mesurer un résultat mensuellement alors que le changement se produit sur des années gaspille des ressources et génère du bruit.