Guide pratique : réaliser une évaluation de la qualité des données (EQD)

Les cinq dimensions de la qualité des données

Toute EQD repose sur l'évaluation des données selon cinq dimensions fondamentales. Il est essentiel de les maîtriser avant de débuter, car elles forment la colonne vertébrale de votre analyse.

Étape par étape : réaliser l'EQD

Étape 1 : sélectionnez vos indicateurs

Il est irréaliste d'évaluer tous les indicateurs de votre cadre logique. Une telle approche prendrait des semaines et aboutirait à un rapport que personne ne lirait. Concentrez-vous sur 5 à 8 indicateurs clés en vous basant sur les critères suivants :

• Importance stratégique. Priorisez les indicateurs liés aux décisions majeures de rapport ou de financement.
• Doutes sur la qualité. Incluez tout indicateur pour lequel vous avez constaté des incohérences ou reçu des plaintes concernant la qualité des données.
• Complexité du flux de données. Incluez les indicateurs avec des flux de données en plusieurs étapes (collectées au niveau du site, agrégées au niveau du district, rapportées au niveau national). Plus il y a d'étapes, plus il y a d'opportunités d'erreur.
• Diversité des types d'indicateurs. Incluez au moins un indicateur de produit et un indicateur de résultat. Incluez des sources de données quantitatives et qualitatives si votre programme utilise les deux.

Pour des conseils plus approfondis sur le choix des indicateurs pertinents, consultez notre page dédiée à la sélection d'indicateurs.

Étape 2 : constituez l'équipe d'EQD

Une EQD ne devrait jamais être menée par les mêmes personnes qui sont responsables de la collecte et du rapport des données, car cela irait à l'encontre de son objectif. Votre équipe doit idéalement inclure :

• Un évaluateur principal maîtrisant les systèmes de S&E et capable d'interroger le personnel sur les processus de gestion des données. Il s'agit fréquemment d'un responsable S&E senior, issu du siège ou d'un bureau régional.
• Un analyste de données apte à extraire des enregistrements, à retracer des chiffres et à effectuer des vérifications de concordance.
• Si possible, un membre externe. La présence d'une personne extérieure au projet (par exemple, d'une organisation partenaire ou un conseiller technique) renforce considérablement la crédibilité de l'évaluation.

Une équipe de deux à trois personnes est idéale. Une personne seule ne peut pas mener simultanément des visites sur site et des vérifications approfondies. Au-delà de quatre membres, la coordination devient souvent trop lourde et ralentit le processus.

Étape 3 : préparez vos outils de vérification

Avant toute visite sur le terrain, assurez-vous de préparer les éléments suivants :

• Des fiches de référence d'indicateurs pour chaque indicateur sélectionné, détaillant : la définition, la source de données, la méthode de collecte, la fréquence de rapport et la personne responsable.
• Une cartographie du flux de données pour chaque indicateur, illustrant : l'origine des données, chaque point de transfert et leur destination finale dans les rapports. Représentez-la sous forme d'organigramme simple.
• Des feuilles de travail de vérification incluant des colonnes pour : la valeur rapportée, la valeur recomptée, la différence et une explication.
• Des guides d'entretien pour le personnel à chaque niveau du flux de données (équipe de terrain, agent de saisie, gestionnaire de site, responsable S&E). Posez des questions telles que : « Que collectez-vous ? Comment ? Avec quel outil ? À quelle fréquence ? À qui transmettez-vous ces données ? Quelle formation avez-vous reçue ? »
• Un échantillon d'enregistrements à recompter. Sélectionnez 10 à 20 % des enregistrements pour les indicateurs choisis, couvrant la période de rapport la plus récente.

Étape 4 : effectuez la visite sur site

Visitez au minimum deux points de collecte ou d'agrégation de données par indicateur. Au cours de la visite :

Observez le système. Examinez attentivement la manière dont les données sont collectées, saisies et stockées. Les formulaires papier sont-ils sécurisés dans une armoire ? La base de données électronique est-elle protégée par un mot de passe ? Les formulaires sont-ils remplis au stylo, ou les entrées au crayon peuvent-elles être effacées et modifiées ?

Interrogez le personnel. Privilégiez les questions ouvertes. Par exemple, « Décrivez-moi ce qui se passe lorsque vous terminez une visite à domicile » révélera plus d'informations que « Remplissez-vous correctement le formulaire ? ». Soyez attentif aux écarts entre les procédures officielles et les pratiques réelles du personnel.

Recomptez les données. Saisissez les documents sources (registres, formulaires, feuilles de décompte) et recalculez indépendamment les totaux pour les indicateurs sélectionnés. Comparez vos résultats aux chiffres rapportés et enregistrez chaque divergence.

Vérifiez le cheminement. Suivez un indicateur depuis son document source original, à travers chaque étape d'agrégation, jusqu'au chiffre final rapporté. Notez chaque point où un chiffre change sans explication claire et documentée.

Étape 5 : évaluez chaque dimension

Pour chaque indicateur, évaluez les cinq dimensions. Vous pouvez utiliser une échelle à trois ou cinq points. Une échelle à trois points est souvent plus simple et permet d'éviter une fausse précision :

Évaluez chaque dimension de manière indépendante. Un indicateur peut, par exemple, être jugé fort en opportunité mais faible en intégrité. Cette ventilation par dimension est essentielle pour rendre l'EQD réellement exploitable.

Étape 6 : calculez la concordance

La concordance constitue le cœur quantitatif de l'EQD. Elle permet de comparer les valeurs recomptées avec les valeurs rapportées.

Formule : Concordance = (Valeur recomptée / Valeur rapportée) x 100

Calculez la concordance pour chaque indicateur et pour chaque site. Si, par exemple, sur trois sites visités, deux affichent une concordance de 98 % et un troisième de 74 %, cela indique un problème spécifique à ce site, et non systémique. Cette distinction est cruciale pour l'élaboration de vos actions correctives.

Étape 7 : rédigez le rapport d'EQD

Votre rapport doit être concis et orienté vers l'action. Sa structure devrait inclure les éléments suivants :

1. Résumé exécutif (une demi-page). Présente les constatations générales, le nombre d'indicateurs évalués, les sites visités et les principaux résultats de concordance.
2. Méthodologie (une page). Détaille les indicateurs et sites sélectionnés, l'équipe ayant mené l'évaluation et la période couverte par les données.
3. Constatations par indicateur (une page par indicateur). Inclut les scores par dimension, les résultats de concordance et les observations clés issues des visites sur site. Un tableau doit être inclus pour chaque indicateur.
4. Constatations transversales (une page). Identifie les tendances ou problèmes affectant plusieurs indicateurs, tels que les lacunes de formation, les faiblesses systémiques ou les goulots d'étranglement dans les processus.
5. Plan d'action (une page). Propose des actions correctives spécifiques, avec l'identification du responsable et la date limite d'achèvement.

Évitez de rédiger un rapport d'EQD de 40 pages ; il y a peu de chances qu'il soit lu. Dix à quinze pages, tableaux inclus, sont généralement suffisantes pour la plupart des programmes.

Étape 8 : assurez le suivi

Une EQD sans suivi est une démarche vaine. Dans les deux semaines suivant la fin de l'évaluation, il est impératif de :

• Partager les résultats avec chaque équipe ayant fourni des données. Privilégiez une présentation en personne ou par visioconférence, plutôt qu'un simple envoi du rapport par e-mail.
• Attribuer des actions correctives claires, avec des responsables désignés et des délais précis. « Améliorer la qualité des données » n'est pas une action concrète ; « Reformuler la définition de l'indicateur 3 pour le personnel de terrain d'ici le 15 mai » en est une.
• Planifier une vérification de suivi 60 à 90 jours après l'EQD, afin de s'assurer de la mise en œuvre effective des actions correctives.
• Mettre à jour vos protocoles de gestion des données pour remédier aux problèmes systémiques. Si un même problème a été identifié sur trois sites, c'est le protocole qui doit être modifié, et non pas seulement les pratiques des sites.

Utilisez la fiche d'évaluation EQD pour suivre l'évolution des scores par dimension et évaluer l'efficacité de vos actions correctives.

Pièges courants

Piège 1 : évaluer l'ensemble des indicateurs. Une EQD portant sur 25 indicateurs ou plus est si chronophage que ses résultats risquent d'être obsolètes avant même la rédaction du rapport. Privilégiez 5 à 8 indicateurs clés. Il est préférable de réaliser un travail approfondi sur un nombre limité d'indicateurs plutôt qu'un examen superficiel de l'ensemble.

Piège 2 : laisser l'équipe responsable des données évaluer ses propres données. L'auto-évaluation conduit généralement à des résultats prévisibles, où tout semble en ordre. Il est essentiel de faire appel à une personne extérieure à la chaîne de gestion des données immédiate. L'indépendance est le gage de crédibilité d'une EQD.

Piège 3 : omettre la visite sur site. Une EQD basée uniquement sur des documents de bureau peut identifier des erreurs arithmétiques, mais elle passera à côté des défaillances de processus. Il est impossible d'évaluer la fiabilité, l'intégrité ou l'opportunité sans échanger avec les personnes qui collectent les données et observer leurs méthodes de travail.

Piège 4 : rédiger des constatations sans plan d'action concret. Affirmer que « la concordance pour l'indicateur 4 était de 78 % » est une constatation. Cependant, sans une action corrective associée, cette information reste inutile. Chaque constatation inférieure aux seuils acceptables doit impérativement être accompagnée d'une action désignée, d'un responsable et d'une date limite.

Piège 5 : considérer l'EQD comme un événement isolé. Une EQD unique ne fournit qu'un aperçu de la qualité des données à un instant T. Les systèmes peuvent se dégrader, le personnel évoluer et de nouveaux outils être introduits. Il est donc crucial d'intégrer l'EQD à votre calendrier annuel de S&E et de la répéter régulièrement.

Liste de contrôle EQD

Cette liste de contrôle vous sera utile avant, pendant et après l'évaluation.

Préparation :

• 5 à 8 indicateurs sélectionnés en fonction de l'importance stratégique, des doutes sur la qualité et de la complexité
• Une équipe d'EQD constituée, incluant au moins un membre extérieur à la chaîne de gestion des données
• Fiches de référence d'indicateurs préparées pour chaque indicateur sélectionné
• Flux de données cartographié pour chaque indicateur (de la source au rapport)
• Feuilles de travail de vérification créées avec un espace pour les valeurs recomptées
• Un échantillon de 10 à 20 % des enregistrements sélectionné pour le recomptage
• Guides d'entretien rédigés pour le personnel à chaque niveau du flux de données

Pendant la visite sur site :

• Au moins deux points de collecte ou d'agrégation de données visités par indicateur
• Processus de collecte, de saisie et de stockage des données observés directement
• Personnel interrogé à l'aide de questions ouvertes sur leurs procédures réelles
• Données recomptées indépendamment à partir des documents sources
• Au moins un indicateur tracé à travers chaque étape d'agrégation

Après l'évaluation :

• Les cinq dimensions évaluées pour chaque indicateur
• La concordance calculée pour chaque indicateur et pour chaque site
• Un rapport d'EQD de 10 à 15 pages rédigé, incluant les constatations et le plan d'action
• Les constatations partagées avec toutes les équipes fournissant des données dans les deux semaines
• Actions correctives attribuées, avec des responsables et des délais
• Une vérification de suivi planifiée 60 à 90 jours après l'EQD