Méta-évaluation

La méta-évaluation est l'examen systématique de la qualité d'une évaluation, s'assurant qu'elle respecte les normes professionnelles et fournit des conclusions crédibles et utiles.

Aussi appelé : Évaluation des évaluations, Évaluation de la qualité des évaluations

Définition

La méta-évaluation est l'évaluation systématique de la qualité d'une évaluation, en d'autres termes, évaluer l'évaluation elle-même. Elle examine si le processus d'évaluation a respecté les normes professionnelles établies (comme les critères de l'OCDE-CAD ou les normes de qualité de l'UNEG) et si ses conclusions sont crédibles, pertinentes et adaptées à leur objectif. Son rôle n'est pas de juger le programme évalué, mais bien l'évaluation en tant que telle.

La méta-évaluation agit comme un mécanisme d'assurance qualité, garantissant que les conclusions de l'évaluation peuvent être exploitées pour la prise de décision. Elle peut être réalisée en interne par le personnel d'assurance qualité, en externe par des évaluateurs indépendants, ou via des processus d'examen par les pairs.

L'importance de la méta-évaluation

La méta-évaluation comble une lacune critique dans les systèmes de S&E : sans cet examen de la qualité, les organisations peuvent prendre des décisions majeures en se basant sur des conclusions d'évaluation erronées ou biaisées. Une évaluation mal menée peut entraîner un gaspillage de ressources, induire les parties prenantes en erreur, voire causer des préjudices si les décisions reposent sur des conclusions inexactes.

En matière de conformité avec les bailleurs de fonds, de nombreux financeurs (dont l'USAID et le Fonds Mondial) exigent des preuves que les évaluations respectent des normes de qualité minimales avant d'en accepter les conclusions à des fins de redevabilité. La méta-évaluation apporte cette assurance de manière systématique, et non par un jugement ad hoc.

Au-delà de l'aspect de la conformité, la méta-évaluation favorise l'apprentissage organisationnel concernant les pratiques d'évaluation. En identifiant les problèmes de qualité récurrents, tels qu'une méthodologie lacunaire, un engagement insuffisant des parties prenantes ou un rapportage tardif, les organisations peuvent améliorer leurs pratiques en matière d'acquisition, de supervision et d'utilisation des évaluations au fil du temps.

Dans la Pratique

La méta-évaluation examine généralement une évaluation à l'aune de critères de qualité établis. Les critères de l'OCDE-CAD (Pertinence, Cohérence, Efficacité, Efficience, Impact, Durabilité) constituent le cadre le plus fréquemment utilisé, bien que les quatre normes de qualité de l'UNEG (utilité, faisabilité, appropriation, exactitude) soient également très répandues.

Les approches courantes sont les suivantes :

  • Examen post-évaluation : Un réviseur qualité désigné évalue le rapport final d'évaluation et les termes de référence (TdR) au regard des critères de qualité, souvent à l'aide d'une grille d'évaluation standardisée. C'est la forme la plus répandue, généralement réalisée en 1 à 3 jours.

  • Évaluation externe de la qualité : Un évaluateur indépendant, n'ayant pas participé à l'évaluation originale, fournit un avis externe, souvent exigé pour les évaluations à fort enjeu ou pour la conformité avec les bailleurs de fonds.

  • Examen par les pairs : D'autres évaluateurs ou praticiens du S&E examinent l'évaluation, apportant une perspective nouvelle et une expertise thématique.

  • Contrôles qualité en temps réel : Lors d'évaluations multi-phases, des points de contrôle qualité évaluent la méthodologie et les premiers résultats avant la conclusion de l'évaluation, ce qui permet d'apporter des corrections en cours de route.

Les livrables de la méta-évaluation comprennent généralement une note de qualité (succès/échec ou score), des conclusions spécifiques sur les forces et les faiblesses, ainsi que des recommandations pour améliorer les évaluations futures. Pour les décisions à fort enjeu, les organisations peuvent exiger que les évaluations atteignent un seuil de qualité minimal (par exemple, 80 % sur l'ensemble des critères) avant d'utiliser leurs conclusions pour l'allocation de ressources ou la refonte de programme.

Sujets Connexes