Guide pratique : réaliser une évaluation de la qualité des données (EQD)

Étape 1 : sélectionnez vos indicateurs

Il est irréaliste d'évaluer tous les indicateurs de votre cadre logique. Une telle approche prendrait des semaines et aboutirait à un rapport que personne ne lirait. Concentrez-vous sur 5 à 8 indicateurs clés en vous basant sur les critères suivants :

• Importance stratégique. Priorisez les indicateurs liés aux décisions majeures de rapport ou de financement.
• Doutes sur la qualité. Incluez tout indicateur pour lequel vous avez constaté des incohérences ou reçu des plaintes concernant la qualité des données.
• Complexité du flux de données. Incluez les indicateurs avec des flux de données en plusieurs étapes (collectées au niveau du site, agrégées au niveau du district, rapportées au niveau national). Plus il y a d'étapes, plus il y a d'opportunités d'erreur.
• Diversité des types d'indicateurs. Incluez au moins un indicateur de produit et un indicateur de résultat. Incluez des sources de données quantitatives et qualitatives si votre programme utilise les deux.

Pour des conseils plus approfondis sur le choix des indicateurs pertinents, consultez notre page dédiée à la sélection d'indicateurs.

Étape 2 : constituez l'équipe d'EQD

Une EQD ne devrait jamais être menée par les mêmes personnes qui sont responsables de la collecte et du rapport des données, car cela irait à l'encontre de son objectif. Votre équipe doit idéalement inclure :

• Un évaluateur principal maîtrisant les systèmes de S&E et capable d'interroger le personnel sur les processus de gestion des données. Il s'agit fréquemment d'un responsable S&E senior, issu du siège ou d'un bureau régional.
• Un analyste de données apte à extraire des enregistrements, à retracer des chiffres et à effectuer des vérifications de concordance.
• Si possible, un membre externe. La présence d'une personne extérieure au projet (par exemple, d'une organisation partenaire ou un conseiller technique) renforce considérablement la crédibilité de l'évaluation.

Une équipe de deux à trois personnes est idéale. Une personne seule ne peut pas mener simultanément des visites sur site et des vérifications approfondies. Au-delà de quatre membres, la coordination devient souvent trop lourde et ralentit le processus.

Étape 3 : préparez vos outils de vérification

Avant toute visite sur le terrain, assurez-vous de préparer les éléments suivants :

• Des fiches de référence d'indicateurs pour chaque indicateur sélectionné, détaillant : la définition, la source de données, la méthode de collecte, la fréquence de rapport et la personne responsable.
• Une cartographie du flux de données pour chaque indicateur, illustrant : l'origine des données, chaque point de transfert et leur destination finale dans les rapports. Représentez-la sous forme d'organigramme simple.
• Des feuilles de travail de vérification incluant des colonnes pour : la valeur rapportée, la valeur recomptée, la différence et une explication.
• Des guides d'entretien pour le personnel à chaque niveau du flux de données (équipe de terrain, agent de saisie, gestionnaire de site, responsable S&E). Posez des questions telles que : « Que collectez-vous ? Comment ? Avec quel outil ? À quelle fréquence ? À qui transmettez-vous ces données ? Quelle formation avez-vous reçue ? »
• Un échantillon d'enregistrements à recompter. Sélectionnez 10 à 20 % des enregistrements pour les indicateurs choisis, couvrant la période de rapport la plus récente.

Étape 4 : effectuez la visite sur site

Visitez au minimum deux points de collecte ou d'agrégation de données par indicateur. Au cours de la visite :

Observez le système. Examinez attentivement la manière dont les données sont collectées, saisies et stockées. Les formulaires papier sont-ils sécurisés dans une armoire ? La base de données électronique est-elle protégée par un mot de passe ? Les formulaires sont-ils remplis au stylo, ou les entrées au crayon peuvent-elles être effacées et modifiées ?

Interrogez le personnel. Privilégiez les questions ouvertes. Par exemple, « Décrivez-moi ce qui se passe lorsque vous terminez une visite à domicile » révélera plus d'informations que « Remplissez-vous correctement le formulaire ? ». Soyez attentif aux écarts entre les procédures officielles et les pratiques réelles du personnel.

Recomptez les données. Saisissez les documents sources (registres, formulaires, feuilles de décompte) et recalculez indépendamment les totaux pour les indicateurs sélectionnés. Comparez vos résultats aux chiffres rapportés et enregistrez chaque divergence.

Vérifiez le cheminement. Suivez un indicateur depuis son document source original, à travers chaque étape d'agrégation, jusqu'au chiffre final rapporté. Notez chaque point où un chiffre change sans explication claire et documentée.

Étape 5 : évaluez chaque dimension

Pour chaque indicateur, évaluez les cinq dimensions. Vous pouvez utiliser une échelle à trois ou cinq points. Une échelle à trois points est souvent plus simple et permet d'éviter une fausse précision :

Évaluez chaque dimension de manière indépendante. Un indicateur peut, par exemple, être jugé fort en opportunité mais faible en intégrité. Cette ventilation par dimension est essentielle pour rendre l'EQD réellement exploitable.

Étape 6 : calculez la concordance

La concordance constitue le cœur quantitatif de l'EQD. Elle permet de comparer les valeurs recomptées avec les valeurs rapportées.

Formule : Concordance = (Valeur recomptée / Valeur rapportée) x 100

Calculez la concordance pour chaque indicateur et pour chaque site. Si, par exemple, sur trois sites visités, deux affichent une concordance de 98 % et un troisième de 74 %, cela indique un problème spécifique à ce site, et non systémique. Cette distinction est cruciale pour l'élaboration de vos actions correctives.

Étape 7 : rédigez le rapport d'EQD

Votre rapport doit être concis et orienté vers l'action. Sa structure devrait inclure les éléments suivants :

1. Résumé exécutif (une demi-page). Présente les constatations générales, le nombre d'indicateurs évalués, les sites visités et les principaux résultats de concordance.
2. Méthodologie (une page). Détaille les indicateurs et sites sélectionnés, l'équipe ayant mené l'évaluation et la période couverte par les données.
3. Constatations par indicateur (une page par indicateur). Inclut les scores par dimension, les résultats de concordance et les observations clés issues des visites sur site. Un tableau doit être inclus pour chaque indicateur.
4. Constatations transversales (une page). Identifie les tendances ou problèmes affectant plusieurs indicateurs, tels que les lacunes de formation, les faiblesses systémiques ou les goulots d'étranglement dans les processus.
5. Plan d'action (une page). Propose des actions correctives spécifiques, avec l'identification du responsable et la date limite d'achèvement.

Évitez de rédiger un rapport d'EQD de 40 pages ; il y a peu de chances qu'il soit lu. Dix à quinze pages, tableaux inclus, sont généralement suffisantes pour la plupart des programmes.

Étape 8 : assurez le suivi

Une EQD sans suivi est une démarche vaine. Dans les deux semaines suivant la fin de l'évaluation, il est impératif de :

• Partager les résultats avec chaque équipe ayant fourni des données. Privilégiez une présentation en personne ou par visioconférence, plutôt qu'un simple envoi du rapport par e-mail.
• Attribuer des actions correctives claires, avec des responsables désignés et des délais précis. « Améliorer la qualité des données » n'est pas une action concrète ; « Reformuler la définition de l'indicateur 3 pour le personnel de terrain d'ici le 15 mai » en est une.
• Planifier une vérification de suivi 60 à 90 jours après l'EQD, afin de s'assurer de la mise en œuvre effective des actions correctives.
• Mettre à jour vos protocoles de gestion des données pour remédier aux problèmes systémiques. Si un même problème a été identifié sur trois sites, c'est le protocole qui doit être modifié, et non pas seulement les pratiques des sites.

Consignez les scores par dimension, avec une ligne par dimension et une colonne par cycle d'évaluation, pour suivre leur évolution et évaluer l'efficacité de vos actions correctives.