Matrice d'évaluation

Quand Utiliser

La matrice d'évaluation est un outil indispensable pour transformer des questions d'évaluation générales en un plan d'action concret pour la collecte et l'analyse des données. Elle est particulièrement utile dans les situations suivantes :

• Pour la planification opérationnelle d'une évaluation : Une fois que les termes de référence de l'évaluation ont défini l'objet de l'évaluation, la matrice détaille comment chaque question sera abordée à l'aide de sources de données et de méthodes concrètes.

• Pour garantir la rigueur méthodologique : Elle permet de s'assurer que chaque question d'évaluation dispose d'au moins une voie claire vers les preuves, et idéalement de plusieurs sources pour la triangulation.

• Pour coordonner le travail de l'équipe d'évaluation : Lorsque plusieurs évaluateurs ou collecteurs de données doivent savoir précisément quelles données collecter, auprès de qui, par quelles méthodes et pour quelle question d'évaluation.

• Pour communiquer la conception de l'évaluation aux parties prenantes : Les bailleurs de fonds, les équipes de programme et les partenaires doivent comprendre le fonctionnement de l'évaluation avant le début de la collecte de données.

• Pour l'élaboration du rapport d'initialisation : Les évaluateurs externes intègrent la matrice d'évaluation comme élément central de leur plan de travail détaillé, une fois le contrat attribué.

En revanche, la matrice d'évaluation est moins pertinente lorsque vous êtes encore en phase de développement des questions d'évaluation (privilégiez alors la planification de l'évaluation) ou si vous avez besoin d'un aperçu général pour des parties prenantes non techniques (un résumé d'une page de la conception de l'évaluation peut suffire).

Fonctionnement de la Matrice

L'élaboration d'une matrice d'évaluation suit une séquence structurée. Chaque étape est construite sur la précédente, transformant des questions abstraites en plans concrets de collecte de données.

1. Définir les questions d'évaluation. Commencez par les questions d'évaluation finalisées, issues des critères de l'OCDE-DAC (Pertinence, Cohérence, Efficacité, Efficience, Impact, Durabilité). Ces questions, généralement spécifiées dans les termes de référence de l'évaluation, doivent être validées par toutes les parties prenantes avant de poursuivre.

2. Identifier les sources de données pour chaque question. Pour chaque question d'évaluation, déterminez quelles données y apporteront une réponse. Cela englobe les sources primaires (enquêtes, entretiens, groupes de discussion) et secondaires (registres de programme, rapports existants, données administratives). Une matrice bien conçue garantit que chaque question est couverte par plusieurs sources de données, permettant la triangulation.

3. Spécifier les méthodes et outils de collecte. Pour chaque source de données, précisez la méthode exacte de collecte : enquête structurée, entretien semi-structuré, groupe de discussion, observation directe, examen documentaire ou méthodes participatives. Associez chaque méthode à des outils de collecte spécifiques (questionnaires, guides d'entretien, listes de vérification d'observation).

4. Définir l'échantillonnage et la couverture. Indiquez qui fournira les données : populations cibles, tailles d'échantillon, méthodes d'échantillonnage et toute exigence de stratification (par géographie, genre, statut de bénéficiaire, etc.). Cela garantit que l'évaluation cible les bonnes personnes pour répondre à chaque question.

5. Relier les indicateurs aux questions. Associez des indicateurs spécifiques à chaque question d'évaluation, en montrant comment les données quantitatives contribueront à y répondre. Cela permet de connecter l'évaluation aux données de suivi de routine, dans la mesure du possible.

6. Spécifier les approches d'analyse. Pour chaque question, décrivez comment les données seront analysées : tests statistiques, analyse thématique, analyse de contribution, analyse coûts-avantages ou méthodes comparatives. Cela garantit que l'équipe d'évaluation dispose d'un cadre analytique clair.

7. Attribuer les responsabilités et les délais. Précisez qui est responsable de chaque activité de collecte de données, quand elle aura lieu et quels livrables sont attendus. La matrice devient ainsi un plan de travail opérationnel.

Composantes Essentielles

Une matrice d'évaluation bien conçue intègre les éléments essentiels suivants :

• Questions d'évaluation : Les questions spécifiques auxquelles l'évaluation doit répondre, structurées selon les critères d'évaluation (Pertinence, Cohérence, Efficacité, Efficience, Impact, Durabilité). Chaque question doit être suffisamment précise pour orienter la collecte de données, tout en étant assez large pour saisir des informations pertinentes.

• Sources de données : Pour chaque question, les sources spécifiques de preuves : données primaires (collectées spécifiquement pour l'évaluation) et données secondaires (informations existantes). Une matrice robuste prévoit plusieurs sources par question pour la triangulation.

• Méthodes de collecte de données : Les approches pour recueillir les données : enquêtes, entretiens, groupes de discussion, observation, examen documentaire, méthodes participatives. Chaque méthode doit être adaptée à la question et à la population cible.

• Outils de collecte de données : Les instruments spécifiques à chaque méthode : questionnaires d'enquête, guides d'entretien, guides de groupes de discussion, listes de vérification d'observation, modèles d'examen documentaire.

• Spécifications d'échantillonnage : Qui fournira les données, incluant les populations cibles, les tailles d'échantillon, les méthodes d'échantillonnage et toute exigence de stratification ou de désagrégation.

• Indicateurs : Indicateurs spécifiques qui contribueront à répondre à chaque question, en reliant l'évaluation aux données de suivi de routine dans la mesure du possible.

• Approches d'analyse : Comment les données seront analysées pour chaque question : analyse statistique, analyse thématique, méthodes comparatives, analyse de contribution, analyse coût-efficacité.

• Responsabilités et calendrier : Qui est responsable de chaque activité, quand elle aura lieu et les jalons clés pour la collecte et l'analyse des données.

Conseils et Bonnes Pratiques

Adopter une séquence logique pour l'élaboration de la matrice. Il est recommandé de suivre une séquence générale pour compléter la matrice : commencer par la description du projet et la logique d'intervention (approche descendante), puis les hypothèses et les risques, suivis des indicateurs et des sources de données. Cela garantit que la matrice reflète la logique attendue du programme avant de détailler sa mesure.

Privilégier les approches participatives pour le développement des indicateurs. Lors de l'élaboration des matrices d'indicateurs, utilisez des exemples concrets pour expliquer le concept d'« indicateur » aux participants moins familiers. Par exemple, prenez une activité du plan de travail et menez une séance de brainstorming sur la question : « Comment pouvons-nous savoir si cette activité est mise en œuvre conformément au plan ? ». Cette démarche favorise une compréhension commune et un sentiment d'appropriation de la conception de l'évaluation.

Dériver les questions d'évaluation des objectifs. Les questions d'évaluation doivent découler directement des objectifs de l'évaluation et être alignées sur les critères de l'OCDE-DAC. Des questions bien formulées orientent l'ensemble de la conception de la matrice.

S'assurer que la matrice spécifie les indicateurs nécessaires. La matrice d'indicateurs doit préciser les indicateurs qui seront utilisés pour mesurer les progrès et les résultats. Cela inclut les indicateurs standards (pour le rapportage aux bailleurs) et les indicateurs personnalisés (pour les questions d'évaluation spécifiques). Une spécification claire évite toute ambiguïté sur ce qui sera mesuré.

Concevoir pour la triangulation. Chaque question d'évaluation devrait être étayée par plusieurs sources de données et méthodes. La triangulation renforce la fiabilité des résultats et aide à identifier les divergences entre différentes perspectives. S'appuyer sur une seule source de données par question constitue une vulnérabilité, et non un choix de conception.

Établir des liens avec les données de suivi de routine. Dans la mesure du possible, reliez les indicateurs d'évaluation aux indicateurs de suivi régulier. Cela réduit la duplication, optimise l'utilisation des systèmes de collecte de données existants et garantit que l'évaluation s'appuie sur les apprentissages du programme plutôt que d'opérer de manière isolée.

Rendre la matrice accessible aux parties prenantes non techniques. Bien que la matrice d'évaluation soit un document technique, elle doit être compréhensible par le personnel du programme et les parties prenantes qui y contribueront ou en seront affectées. Utilisez un langage clair, évitez le jargon superflu et envisagez de créer une version simplifiée pour des publics plus larges.

Réviser et affiner durant la phase d'initialisation. La matrice d'évaluation n'est pas un document statique. Durant la phase d'initialisation, les évaluateurs externes peuvent l'affiner en se basant sur une compréhension plus approfondie du contexte du programme, les retours des parties prenantes ou des contraintes émergentes. Prévoyez une certaine flexibilité pour l'itération.

Pièges Courants à Éviter

Élaborer la matrice avant de finaliser les questions d'évaluation. L'erreur la plus fréquente consiste à créer la matrice d'évaluation avant que les questions d'évaluation ne soient entièrement développées et validées. La matrice doit découler des questions, et non l'inverse. Des questions trop larges ou trop étroites donneront une matrice soit ingérable, soit insuffisamment détaillée.

Laisser des questions d'évaluation sans sources de données claires. Chaque question d'évaluation doit disposer d'au moins une voie claire vers les preuves. Une matrice qui contient des questions sans sources de données spécifiées crée une ambiguïté quant à ce qui sera mesuré et comment. Cela se produit souvent lorsque les questions sont formulées à partir des exigences des bailleurs sans tenir compte de la disponibilité des données.

S'appuyer sur une seule source de données par question. Concevoir l'évaluation de manière à répondre à chaque question avec une seule source de données ou méthode crée une vulnérabilité aux biais et limite la confiance dans les résultats. La triangulation, qui consiste à utiliser plusieurs sources de données et méthodes, est essentielle pour une évaluation rigoureuse.

Omettre de spécifier les détails de l'échantillonnage. Une matrice d'évaluation qui ne précise pas qui fournira les données, en quelle quantité et selon quelle méthode d'échantillonnage, laisse des lacunes critiques dans la conception de l'évaluation. Cela mène à des décisions d'échantillonnage ad hoc durant la mise en œuvre, susceptibles de compromettre la validité.

Ne pas établir de lien avec le suivi de routine. Créer un ensemble d'indicateurs d'évaluation distinct et sans lien avec les données de suivi régulier engendre une duplication des efforts, augmente la charge de collecte de données et fait manquer des opportunités d'exploiter les systèmes existants. Dans la mesure du possible, les indicateurs d'évaluation doivent s'aligner sur les indicateurs de suivi.

Spécifier excessivement les méthodes et brider l'innovation des évaluateurs. Bien que la matrice doive clairement définir les méthodes, elle doit aussi laisser aux évaluateurs la latitude de proposer leur approche optimale. Une matrice trop prescriptive restreint l'innovation des évaluateurs et risque de ne pas refléter les méthodes les plus efficientes ou adaptées au contexte.

Cas Pratiques

Santé - Programme de Santé Maternelle de l'USAID, Kenya

Un programme de santé maternelle d'une durée de 5 ans a commandité une évaluation finale, articulée autour de six questions d'évaluation alignées sur les critères de l'OCDE-DAC. La matrice d'évaluation a détaillé : (1) cinq sources de données par question, incluant des enquêtes en établissement, des entretiens avec les bénéficiaires, des entretiens avec les prestataires, un examen documentaire des dossiers cliniques et des groupes de discussion communautaires ; (2) des spécifications d'échantillonnage couvrant 60 établissements, 300 bénéficiaires et 50 prestataires répartis sur trois comtés ; (3) des indicateurs liés aux données HMIS de routine pour la mesure des résultats ; et (4) des approches d'analyse comprenant des statistiques descriptives, une analyse thématique et des études de cas comparatives. La matrice a été élaborée durant la phase des termes de référence et affinée pendant la phase d'initialisation de l'évaluateur. L'évaluation a permis d'identifier des leçons essentielles pour la mise à l'échelle, qui ont éclairé la conception du programme de suivi.

Éducation - Initiative de Formation des Enseignants du DFID, Nigeria

Un programme de formation des enseignants a élaboré une matrice d'évaluation privilégiant les méthodes participatives. La matrice prévoyait des groupes de discussion avec des enseignants, des administrateurs scolaires et des responsables de l'éducation comme sources de données primaires, complétés par l'observation en classe et l'examen documentaire des supports de formation. Pour l'élaboration des indicateurs, l'équipe d'évaluation a mené des exercices participatifs avec le personnel du programme afin de réfléchir collectivement à la manière de mesurer l'efficacité de la formation, favorisant ainsi une compréhension partagée de ce que signifie une « formation de qualité » dans le contexte local. La matrice incluait des exigences de collecte de données désagrégées par genre et stipulait que les hommes et les femmes fourniraient des contributions distinctes sur la priorisation des ressources. L'évaluation a mis en évidence des variations significatives dans la qualité de la formation entre les régions, qui seraient restées invisibles avec une seule mesure agrégée.

Gouvernance - Soutien de l'UE à la Société Civile, Sierra Leone

Un programme de gouvernance, en collaboration avec des organisations de la société civile, a élaboré une matrice d'évaluation intégrant la récolte des résultats comme méthode principale pour saisir à la fois les résultats attendus et inattendus. La matrice a détaillé : (1) des questions d'évaluation organisées selon les critères du CAD ; (2) de multiples sources de données par question, incluant des entretiens avec des informateurs clés, un examen documentaire et des entretiens de récolte des résultats ; (3) un échantillonnage couvrant à la fois les bénéficiaires directs et les parties prenantes indirectes (partenaires gouvernementaux, représentants des bailleurs, membres de la communauté) ; et (4) des approches d'analyse telles que l'analyse de contribution et la cartographie des incidences. La matrice a été développée de manière collaborative avec le personnel du programme, au moyen d'ateliers participatifs, favorisant l'appropriation et garantissant que l'évaluation saisissait la complexité du programme. L'évaluation a mis en lumière des résultats imprévus significatifs, obtenus par des voies d'influence informelles, ce qui a conduit à une adaptation du programme.

Distinction avec d'Autres Outils

La matrice d'évaluation est l'un des nombreux documents utilisés dans la planification et la gestion des évaluations. Voici les principales distinctions :

Indicateurs Clés Associés

Huit indicateurs, issus de quatre cadres de bailleurs de fonds majeurs (USAID, DFID, UNDP, IFRC), sont liés à la qualité et à l'utilisation de la matrice d'évaluation :

• Documentation de la matrice : « Proportion des évaluations dotées de matrices d'évaluation documentées reliant les questions aux sources de données » (USAID)
• Triangulation : « Pourcentage de questions d'évaluation bénéficiant de plusieurs sources de données pour la triangulation » (DFID)
• Fréquence de révision de la matrice : « Fréquence des révisions de la matrice d'évaluation durant la phase d'initialisation » (UNDP)
• Achèvement des activités : « Proportion des activités d'évaluation spécifiées dans la matrice qui sont menées à bien comme prévu » (IFRC)

Ressources Associées

• Termes de référence de l'évaluation : Le document qui définit les exigences de l'évaluation, élaboré avant la matrice.
• Critères d'évaluation (CAD) : Les cinq critères de l'OCDE-DAC qui structurent les questions d'évaluation au sein de la matrice.
• Planification de l'évaluation : Le processus global de planification des évaluations, dont l'élaboration de la matrice est une composante clé.
• Questions d'évaluation : Les questions spécifiques auxquelles l'évaluation doit répondre, constituant le fondement de la matrice.
• Rapport d'initialisation : Le plan de travail détaillé de l'évaluateur, qui intègre une matrice d'évaluation affinée.
• Sélection des indicateurs : Le processus de sélection des indicateurs qui alimentent la matrice d'évaluation.
• Assurance qualité des données : Les processus de vérification qui garantissent que les données d'évaluation respectent les normes de qualité.