À qui s'adresse cette page
Cette page s'adresse à vous si vous gérez ou supervisez des données de suivi et que vous vous interrogez sur leur fiabilité. Vous consultez les chiffres de vos rapports, mais leur exactitude vous préoccupe. Peut-être qu'une équipe de terrain agrège les données manuellement, que deux sites rapportent le même indicateur de manière différente, ou que vous venez de reprendre un projet et doutez de la qualité des informations en base de données. Ce guide vous accompagnera, étape par étape, dans la réalisation d'une Évaluation de la Qualité des Données (EQD).
Une EQD ne se limite pas à un simple nettoyage de données. Il s'agit d'une vérification systématique de l'efficacité de vos systèmes d'assurance qualité des données. L'objectif est d'auditer le processus dans son ensemble, et non pas seulement les chiffres.
Les cinq dimensions de la qualité des données
Toute EQD repose sur l'évaluation des données selon cinq dimensions fondamentales. Il est essentiel de les maîtriser avant de débuter, car elles forment la colonne vertébrale de votre analyse.
| Dimension | Ce que cela signifie en pratique |
|---|---|
| Validité | Les données mesurent fidèlement ce qu'elles sont censées représenter. La définition de l'indicateur doit correspondre précisément à ce que les équipes de terrain collectent. |
| Fiabilité | Si la collecte des mêmes données était répétée dans des conditions identiques, les résultats obtenus seraient les mêmes. Cela implique des outils, une formation et une application cohérents. |
| Opportunité | Les données sont disponibles au moment opportun. La collecte, la saisie et la production des rapports doivent respecter les délais établis. Des données tardives perdent souvent leur utilité. |
| Précision | Les données fournissent un niveau de détail suffisant pour éclairer les décisions. Par exemple, si une désagrégation au niveau du district est requise mais que seuls des totaux nationaux sont disponibles, la précision est jugée insuffisante. |
| Intégrité | Les données sont protégées contre tout biais délibéré ou manipulation. Des mécanismes de contrôle doivent empêcher toute tentative d'altérer les chiffres pour atteindre des objectifs. |
Étape par étape : réaliser l'EQD
Étape 1 : sélectionnez vos indicateurs
Il est irréaliste d'évaluer tous les indicateurs de votre cadre logique. Une telle approche prendrait des semaines et aboutirait à un rapport que personne ne lirait. Concentrez-vous sur 5 à 8 indicateurs clés en vous basant sur les critères suivants :
- Importance stratégique. Priorisez les indicateurs liés aux décisions majeures de rapport ou de financement.
- Doutes sur la qualité. Incluez tout indicateur pour lequel vous avez constaté des incohérences ou reçu des plaintes concernant la qualité des données.
- Complexité du flux de données. Incluez les indicateurs avec des flux de données en plusieurs étapes (collectées au niveau du site, agrégées au niveau du district, rapportées au niveau national). Plus il y a d'étapes, plus il y a d'opportunités d'erreur.
- Diversité des types d'indicateurs. Incluez au moins un indicateur de produit et un indicateur de résultat. Incluez des sources de données quantitatives et qualitatives si votre programme utilise les deux.
Pour des conseils plus approfondis sur le choix des indicateurs pertinents, consultez notre page dédiée à la sélection d'indicateurs.
Étape 2 : constituez l'équipe d'EQD
Une EQD ne devrait jamais être menée par les mêmes personnes qui sont responsables de la collecte et du rapport des données, car cela irait à l'encontre de son objectif. Votre équipe doit idéalement inclure :
- Un évaluateur principal maîtrisant les systèmes de S&E et capable d'interroger le personnel sur les processus de gestion des données. Il s'agit fréquemment d'un responsable S&E senior, issu du siège ou d'un bureau régional.
- Un analyste de données apte à extraire des enregistrements, à retracer des chiffres et à effectuer des vérifications de concordance.
- Si possible, un membre externe. La présence d'une personne extérieure au projet (par exemple, d'une organisation partenaire ou un conseiller technique) renforce considérablement la crédibilité de l'évaluation.
Une équipe de deux à trois personnes est idéale. Une personne seule ne peut pas mener simultanément des visites sur site et des vérifications approfondies. Au-delà de quatre membres, la coordination devient souvent trop lourde et ralentit le processus.
Étape 3 : préparez vos outils de vérification
Avant toute visite sur le terrain, assurez-vous de préparer les éléments suivants :
- Des fiches de référence d'indicateurs pour chaque indicateur sélectionné, détaillant : la définition, la source de données, la méthode de collecte, la fréquence de rapport et la personne responsable.
- Une cartographie du flux de données pour chaque indicateur, illustrant : l'origine des données, chaque point de transfert et leur destination finale dans les rapports. Représentez-la sous forme d'organigramme simple.
- Des feuilles de travail de vérification incluant des colonnes pour : la valeur rapportée, la valeur recomptée, la différence et une explication.
- Des guides d'entretien pour le personnel à chaque niveau du flux de données (équipe de terrain, agent de saisie, gestionnaire de site, responsable S&E). Posez des questions telles que : « Que collectez-vous ? Comment ? Avec quel outil ? À quelle fréquence ? À qui transmettez-vous ces données ? Quelle formation avez-vous reçue ? »
- Un échantillon d'enregistrements à recompter. Sélectionnez 10 à 20 % des enregistrements pour les indicateurs choisis, couvrant la période de rapport la plus récente.
Étape 4 : effectuez la visite sur site
Visitez au minimum deux points de collecte ou d'agrégation de données par indicateur. Au cours de la visite :
Observez le système. Examinez attentivement la manière dont les données sont collectées, saisies et stockées. Les formulaires papier sont-ils sécurisés dans une armoire ? La base de données électronique est-elle protégée par un mot de passe ? Les formulaires sont-ils remplis au stylo, ou les entrées au crayon peuvent-elles être effacées et modifiées ?
Interrogez le personnel. Privilégiez les questions ouvertes. Par exemple, « Décrivez-moi ce qui se passe lorsque vous terminez une visite à domicile » révélera plus d'informations que « Remplissez-vous correctement le formulaire ? ». Soyez attentif aux écarts entre les procédures officielles et les pratiques réelles du personnel.
Recomptez les données. Saisissez les documents sources (registres, formulaires, feuilles de décompte) et recalculez indépendamment les totaux pour les indicateurs sélectionnés. Comparez vos résultats aux chiffres rapportés et enregistrez chaque divergence.
Vérifiez le cheminement. Suivez un indicateur depuis son document source original, à travers chaque étape d'agrégation, jusqu'au chiffre final rapporté. Notez chaque point où un chiffre change sans explication claire et documentée.
Étape 5 : évaluez chaque dimension
Pour chaque indicateur, évaluez les cinq dimensions. Vous pouvez utiliser une échelle à trois ou cinq points. Une échelle à trois points est souvent plus simple et permet d'éviter une fausse précision :
| Score | Signification | Quand attribuer |
|---|---|---|
| 3 : Fort | Le système respecte ou excède les normes établies. Aucune lacune significative n'a été identifiée. | Les définitions des indicateurs sont claires, le personnel les suit, les données correspondent aux documents sources, le rapport est ponctuel. |
| 2 : Adéquat | Le système est fonctionnel mais présente des faiblesses susceptibles de compromettre la qualité des données. | Discrépances mineures entre les données rapportées et recomptées. Certains membres du personnel ne sont pas sûrs des définitions. Rapports occasionnellement tardifs. |
| 1 : Faible | Des problèmes significatifs minent la confiance dans les données. | Grandes divergences. Pas de protocoles écrits. Pas de registres de formation. Les données ne peuvent pas être tracées à la source. Preuves de manipulation. |
Évaluez chaque dimension de manière indépendante. Un indicateur peut, par exemple, être jugé fort en opportunité mais faible en intégrité. Cette ventilation par dimension est essentielle pour rendre l'EQD réellement exploitable.
Étape 6 : calculez la concordance
La concordance constitue le cœur quantitatif de l'EQD. Elle permet de comparer les valeurs recomptées avec les valeurs rapportées.
Formule : Concordance = (Valeur recomptée / Valeur rapportée) x 100
| Plage de concordance | Interprétation |
|---|---|
| 95-105% | Acceptable. Indique des différences mineures dues à l'arrondi ou à des décalages de synchronisation. |
| 90-94% ou 106-110% | Nécessite un examen. Peut révéler des erreurs d'agrégation ou des décalages de synchronisation. |
| Inférieur à 90% ou supérieur à 110% | Discrépance significative. Il est impératif d'enquêter sur la cause profonde avant d'utiliser ces données pour tout rapport. |
Calculez la concordance pour chaque indicateur et pour chaque site. Si, par exemple, sur trois sites visités, deux affichent une concordance de 98 % et un troisième de 74 %, cela indique un problème spécifique à ce site, et non systémique. Cette distinction est cruciale pour l'élaboration de vos actions correctives.
Étape 7 : rédigez le rapport d'EQD
Votre rapport doit être concis et orienté vers l'action. Sa structure devrait inclure les éléments suivants :
- Résumé exécutif (une demi-page). Présente les constatations générales, le nombre d'indicateurs évalués, les sites visités et les principaux résultats de concordance.
- Méthodologie (une page). Détaille les indicateurs et sites sélectionnés, l'équipe ayant mené l'évaluation et la période couverte par les données.
- Constatations par indicateur (une page par indicateur). Inclut les scores par dimension, les résultats de concordance et les observations clés issues des visites sur site. Un tableau doit être inclus pour chaque indicateur.
- Constatations transversales (une page). Identifie les tendances ou problèmes affectant plusieurs indicateurs, tels que les lacunes de formation, les faiblesses systémiques ou les goulots d'étranglement dans les processus.
- Plan d'action (une page). Propose des actions correctives spécifiques, avec l'identification du responsable et la date limite d'achèvement.
Évitez de rédiger un rapport d'EQD de 40 pages ; il y a peu de chances qu'il soit lu. Dix à quinze pages, tableaux inclus, sont généralement suffisantes pour la plupart des programmes.
Étape 8 : assurez le suivi
Une EQD sans suivi est une démarche vaine. Dans les deux semaines suivant la fin de l'évaluation, il est impératif de :
- Partager les résultats avec chaque équipe ayant fourni des données. Privilégiez une présentation en personne ou par visioconférence, plutôt qu'un simple envoi du rapport par e-mail.
- Attribuer des actions correctives claires, avec des responsables désignés et des délais précis. « Améliorer la qualité des données » n'est pas une action concrète ; « Reformuler la définition de l'indicateur 3 pour le personnel de terrain d'ici le 15 mai » en est une.
- Planifier une vérification de suivi 60 à 90 jours après l'EQD, afin de s'assurer de la mise en œuvre effective des actions correctives.
- Mettre à jour vos protocoles de gestion des données pour remédier aux problèmes systémiques. Si un même problème a été identifié sur trois sites, c'est le protocole qui doit être modifié, et non pas seulement les pratiques des sites.
Utilisez la fiche d'évaluation EQD pour suivre l'évolution des scores par dimension et évaluer l'efficacité de vos actions correctives.
Pièges courants
Piège 1 : évaluer l'ensemble des indicateurs. Une EQD portant sur 25 indicateurs ou plus est si chronophage que ses résultats risquent d'être obsolètes avant même la rédaction du rapport. Privilégiez 5 à 8 indicateurs clés. Il est préférable de réaliser un travail approfondi sur un nombre limité d'indicateurs plutôt qu'un examen superficiel de l'ensemble.
Piège 2 : laisser l'équipe responsable des données évaluer ses propres données. L'auto-évaluation conduit généralement à des résultats prévisibles, où tout semble en ordre. Il est essentiel de faire appel à une personne extérieure à la chaîne de gestion des données immédiate. L'indépendance est le gage de crédibilité d'une EQD.
Piège 3 : omettre la visite sur site. Une EQD basée uniquement sur des documents de bureau peut identifier des erreurs arithmétiques, mais elle passera à côté des défaillances de processus. Il est impossible d'évaluer la fiabilité, l'intégrité ou l'opportunité sans échanger avec les personnes qui collectent les données et observer leurs méthodes de travail.
Piège 4 : rédiger des constatations sans plan d'action concret. Affirmer que « la concordance pour l'indicateur 4 était de 78 % » est une constatation. Cependant, sans une action corrective associée, cette information reste inutile. Chaque constatation inférieure aux seuils acceptables doit impérativement être accompagnée d'une action désignée, d'un responsable et d'une date limite.
Piège 5 : considérer l'EQD comme un événement isolé. Une EQD unique ne fournit qu'un aperçu de la qualité des données à un instant T. Les systèmes peuvent se dégrader, le personnel évoluer et de nouveaux outils être introduits. Il est donc crucial d'intégrer l'EQD à votre calendrier annuel de S&E et de la répéter régulièrement.
Liste de contrôle EQD
Cette liste de contrôle vous sera utile avant, pendant et après l'évaluation.
Préparation :
- 5 à 8 indicateurs sélectionnés en fonction de l'importance stratégique, des doutes sur la qualité et de la complexité
- Une équipe d'EQD constituée, incluant au moins un membre extérieur à la chaîne de gestion des données
- Fiches de référence d'indicateurs préparées pour chaque indicateur sélectionné
- Flux de données cartographié pour chaque indicateur (de la source au rapport)
- Feuilles de travail de vérification créées avec un espace pour les valeurs recomptées
- Un échantillon de 10 à 20 % des enregistrements sélectionné pour le recomptage
- Guides d'entretien rédigés pour le personnel à chaque niveau du flux de données
Pendant la visite sur site :
- Au moins deux points de collecte ou d'agrégation de données visités par indicateur
- Processus de collecte, de saisie et de stockage des données observés directement
- Personnel interrogé à l'aide de questions ouvertes sur leurs procédures réelles
- Données recomptées indépendamment à partir des documents sources
- Au moins un indicateur tracé à travers chaque étape d'agrégation
Après l'évaluation :
- Les cinq dimensions évaluées pour chaque indicateur
- La concordance calculée pour chaque indicateur et pour chaque site
- Un rapport d'EQD de 10 à 15 pages rédigé, incluant les constatations et le plan d'action
- Les constatations partagées avec toutes les équipes fournissant des données dans les deux semaines
- Actions correctives attribuées, avec des responsables et des délais
- Une vérification de suivi planifiée 60 à 90 jours après l'EQD