Les Critères d'Évaluation du CAD de l'OCDE

Quand Utiliser les Critères du CAD ?

Les critères d'évaluation du CAD de l'OCDE constituent le cadre le plus largement adopté pour structurer les évaluations de développement. Ils sont particulièrement utiles dans les situations suivantes :

• Conception des Termes de Référence (TdR) d'évaluation : La majorité des bailleurs de fonds (CRS, FICR, USAID, Fonds Mondial) attendent des évaluations qu'elles intègrent les cinq critères du CAD. Vos questions d'évaluation doivent donc s'aligner directement sur ces critères.
• Structuration des rapports d'évaluation : Ces critères offrent une organisation logique pour la présentation des conclusions. Chaque critère peut ainsi constituer une section distincte de votre rapport d'évaluation.
• Respect des exigences des bailleurs de fonds : De nombreuses politiques de bailleurs de fonds exigent explicitement que les évaluations soient fondées sur les critères du CAD. La Politique 3 du CRS, par exemple, stipule que les évaluations doivent examiner la Pertinence, l'Efficacité, l'Efficience, l'Impact et la Durabilité.
• Comparaison des évaluations entre programmes : L'adoption d'un cadre commun facilite la synthèse des conclusions issues de multiples évaluations et l'identification de leçons transversales.
• Réalisation d'évaluations axées sur l'utilisation : Les critères aident les parties prenantes à se concentrer sur les questions les plus pertinentes concernant le mérite et la valeur d'un programme.

Les critères du CAD sont moins adaptés lorsque vous avez besoin d'un cadre d'évaluation plus spécialisé (par exemple, l'analyse de contribution pour les questions d'attribution, ou la récolte des résultats pour les résultats imprévus). Dans ces situations, les critères du CAD peuvent néanmoins être intégrés à ces méthodes comme structure de rapportage.

Comprendre les Critères du CAD

Les critères d'évaluation du CAD de l'OCDE offrent un cadre exhaustif pour juger du mérite et de la valeur des interventions de développement. Cinq critères interdépendants constituent le cœur de ce cadre :

Pertinence : Ce critère évalue dans quelle mesure les objectifs et la conception de l'intervention sont en adéquation avec les besoins des bénéficiaires, les priorités des pays partenaires et les stratégies des bailleurs de fonds. Une intervention pertinente s'attaque au bon problème, de la bonne manière, pour les bonnes personnes. La question clé est : Ce programme est-il le plus approprié pour ce contexte ?

Efficience : Il s'agit de la relation entre les produits générés et les ressources consommées. Les interventions efficientes maximisent les résultats avec un minimum d'intrants, évitant ainsi le gaspillage de ressources financières, humaines et temporelles. L'Efficience pose la question : Tirons-nous le meilleur parti de nos investissements ?

Efficacité : Ce critère mesure le degré d'atteinte, ou d'attente d'atteinte, des objectifs de l'intervention. Il se concentre sur la réalisation des résultats par rapport aux cibles définies. L'Efficacité interroge : Avons-nous réalisé ce que nous avions prévu de faire ?

Impact : Ce critère examine les effets à long terme, positifs et négatifs, directs et indirects, intentionnels ou non, générés par l'intervention. L'Impact va au-delà des produits immédiats pour évaluer les changements plus vastes dans la vie des bénéficiaires et les systèmes dans lesquels ils évoluent. L'Impact demande : Quelle est la différence durable que nous avons créée ?

Durabilité : Ce critère concerne la pérennisation des bénéfices de l'intervention après la cessation du financement externe. La Durabilité évalue si les bénéfices perdureront grâce à une appropriation locale continue, des arrangements institutionnels, des mécanismes financiers et des considérations environnementales. La Durabilité pose la question : Les bénéfices générés seront-ils maintenus sur le long terme ?

Ces critères ne sont pas des étapes séquentielles, mais des dimensions interdépendantes qui, ensemble, offrent une évaluation holistique. Une intervention peut être efficace (atteindre ses objectifs) mais non durable (les bénéfices cessent à l'arrêt du financement), ou efficiente (faible coût) mais non pertinente (s'attaquer au mauvais problème). La valeur du cadre du CAD réside dans l'exigence pour les évaluateurs de considérer ces cinq dimensions plutôt que de se concentrer uniquement sur la livraison des produits.

Éléments Clés d'une Évaluation CAD

Une évaluation bien structurée, utilisant les critères du CAD, doit inclure les éléments essentiels suivants :

• Questions d'évaluation alignées sur les critères : Chacun des cinq critères du CAD doit être associé à au moins une question d'évaluation spécifique. Par exemple : "Dans quelle mesure l'intervention était-elle pertinente par rapport aux besoins des bénéficiaires ?" ou "Quelles sont les preuves de la durabilité à long terme des résultats ?"
• Sources de preuves pour chaque critère : Chaque critère requiert des types de preuves distincts. La Pertinence s'appuie sur les retours des parties prenantes et l'analyse contextuelle. L'Efficience exige des données financières et opérationnelles. L'Efficacité et l'Impact reposent sur les indicateurs de résultats et d'impact. La Durabilité nécessite des données longitudinales et une analyse institutionnelle.
• Définitions claires de chaque critère : Bien que les critères du CAD disposent de définitions standard, chaque évaluation doit les opérationnaliser en fonction du contexte spécifique. Que signifie précisément la "Durabilité" pour cette intervention ? Quel horizon temporel définit "l'Impact" dans ce cas ?
• Pondération ou priorisation : Tous les critères n'ont pas un poids égal dans chaque évaluation. Une évaluation d'urgence humanitaire, par exemple, pourrait privilégier la Pertinence et l'Efficience par rapport à la Durabilité à long terme. Il est essentiel de documenter la justification de toute pondération différentielle.
• Intégration des thèmes transversaux : Les évaluations modernes intègrent les questions de genre, d'environnement et de redevabilité au sein de chaque critère, plutôt que de les traiter comme des sections distinctes. Par exemple, l'évaluation de la Pertinence doit inclure la question de savoir si l'intervention était adaptée aux besoins des femmes.
• Perspectives des parties prenantes : Chaque critère doit intégrer les points de vue de différents groupes de parties prenantes. Les bénéficiaires peuvent évaluer la Pertinence différemment des bailleurs de fonds. Il est important de documenter ces perspectives et les éventuelles tensions.
• Cadre de notation : Une approche cohérente pour noter chaque critère (par exemple, une échelle de 1 à 5 avec des ancres définies) afin de garantir la comparabilité des notations entre les évaluations et d'assurer que les parties prenantes comprennent la signification de chaque niveau.

Bonnes Pratiques d'Application

Assurez-vous que les cinq critères sont pleinement intégrés dès la conception de l'évaluation. L'évaluation doit impérativement s'appuyer sur les critères d'évaluation pertinents : Pertinence, Efficacité, Efficience, Impact et Durabilité. Chaque critère doit être associé à des questions d'évaluation spécifiques qui orientent la collecte et l'analyse des données.

Formulez les questions d'évaluation à partir des critères. Les questions d'évaluation doivent découler directement des critères d'évaluation pertinents (Pertinence, Efficacité, Efficience, Impact et Durabilité). Cela garantit que l'évaluation aborde systématiquement toutes les dimensions du mérite et de la valeur.

Limitez le nombre de questions d'évaluation. Il est préférable de ne pas avoir un nombre excessif de questions d'évaluation; un maximum de 5 à 7 questions principales est généralement suffisant. Mieux vaut quelques indicateurs solides qu'une multitude d'indicateurs faibles. Concentrez-vous sur la réponse aux questions clés plutôt que de disperser les ressources sur de nombreuses investigations superficielles.

Réfléchissez attentivement à la conception de l'évaluation. Les éléments clés à considérer sont : Quelles sont les questions d'évaluation ? Quel est l'objet de l'évaluation (ce qui doit être évalué) ? Quelles méthodes (qualitatives, quantitatives, mixtes) seront utilisées ? Quelle est la portée de l'évaluation ? Quel niveau de rigueur est approprié ? Quelles ressources sont disponibles ? Il est crucial d'équilibrer la rigueur méthodologique avec les contraintes pratiques.

Évitez une dépendance excessive à la participation dans l'évaluation. Bien que les approches participatives soient précieuses, une dépendance excessive peut s'avérer chronophage, coûteuse, difficile à gérer et peut compromettre un équilibre sain de perspective extérieure si l'évaluation se transforme en auto-évaluation. Maintenez une indépendance externe appropriée tout en intégrant les contributions des parties prenantes.

Équilibrez la portée et les ressources. Une évaluation dont la portée est trop vaste mais les ressources très limitées peut être pire qu'aucune évaluation si elle aboutit à des conclusions superficielles, rendant les appréciations des évaluateurs peu fiables. Il est préférable de réduire la portée pour produire des conclusions crédibles plutôt que de tout faire de manière inadéquate.

Intégrez les thèmes transversaux de manière continue. Évaluez la sensibilité au genre, la durabilité environnementale et les mécanismes de redevabilité au sein de chaque critère, plutôt que de les traiter comme des sections distinctes. Par exemple, l'évaluation de la Pertinence doit inclure la question de savoir si l'intervention était adaptée aux besoins des femmes.

Utilisez des échelles de notation cohérentes. Élaborez une grille claire pour noter chaque critère (par exemple, une échelle de 1 à 5 avec des ancres définies) afin de garantir la comparabilité des notations entre les évaluations et d'assurer que les parties prenantes comprennent la signification de chaque niveau.

Pièges Courants à Éviter

Traiter les critères comme une simple liste de contrôle. Les critères du CAD ne sont pas de simples cases à cocher, mais des dimensions interdépendantes qui exigent une analyse approfondie. Se contenter de lister les conclusions sous chaque critère sans explorer leurs interconnexions (par exemple, comment les décisions d'Efficience ont influencé l'Efficacité) fait perdre la valeur holistique du cadre.

Ressources insuffisantes pour des notations crédibles. Si les ressources sont insuffisantes pour couvrir l'ensemble de l'univers de l'enquête, l'utilisation d'un échantillon partiel limiterait la capacité à généraliser les données (et les conclusions de l'évaluation) à l'univers cible. Cela compromet la crédibilité des notations d'Efficacité et d'Impact.

Mettre trop l'accent sur la participation au détriment de l'indépendance. Une dépendance excessive à la participation dans l'évaluation est à éviter : elle peut être chronophage, coûteuse, difficile à gérer et risque de manquer d'une perspective extérieure équilibrée si elle se transforme en auto-évaluation. L'indépendance externe est cruciale pour des conclusions crédibles.

Conclusions superficielles dues à des évaluations sous-financées. Une évaluation dont la portée est trop large mais les ressources très limitées peut être pire qu'aucune évaluation si elle aboutit à des conclusions superficielles, rendant les appréciations des évaluateurs peu fiables. Il est préférable de réduire la portée pour produire des conclusions crédibles plutôt que de tout faire de manière inadéquate.

Négliger la Durabilité dans les évaluations à court terme. De nombreuses évaluations se concentrent uniquement sur les produits et résultats immédiats sans évaluer si les bénéfices perdureront. La Durabilité exige de regarder au-delà de la période d'évaluation pour prendre en compte les arrangements institutionnels, les mécanismes financiers et l'appropriation locale.

Confondre Efficacité et Impact. L'Efficacité mesure si les résultats attendus ont été atteints ; l'Impact évalue les changements plus vastes et à plus long terme, y compris les effets inattendus. Une intervention peut être efficace (atteindre les cibles) tout en ayant un Impact limité, voire négatif (les conséquences inattendues l'emportant sur les avantages).

Appliquer les critères sans adaptation contextuelle. Les critères sont standardisés, mais leur application doit être contextualisée. Ce qui constitue la "Pertinence" pour une intervention de santé diffère de ce qui est pertinent pour un programme de gouvernance. Il est essentiel de définir chaque critère de manière opérationnelle pour votre évaluation spécifique.

Exemples Concrets

Programme de santé en Afrique subsaharienne

Un programme quinquennal de prévention du paludisme a été évalué à l'aide des cinq critères du CAD. L'évaluation de la Pertinence a révélé que l'intervention était bien alignée sur les priorités nationales de santé et les besoins communautaires, 90% des bénéficiaires ayant déclaré que l'intervention répondait à leurs préoccupations sanitaires les plus urgentes. L'analyse de l'Efficience a montré que le coût par moustiquaire distribuée était inférieur de 15% au budget, grâce à la rationalisation des chaînes d'approvisionnement. Les conclusions sur l'Efficacité ont indiqué que 75% des objectifs de résultats avaient été atteints, avec une réduction de 40% de l'incidence du paludisme dans les zones cibles. L'évaluation de l'Impact a identifié des effets positifs inattendus, tels que la réduction des dépenses médicales des ménages et l'amélioration de la scolarisation des enfants. L'évaluation de la Durabilité a produit des résultats mitigés : les réseaux de travailleurs de santé communautaires ont démontré une forte appropriation locale, mais la dépendance aux médicaments financés par les bailleurs de fonds a soulevé des préoccupations quant à l'accès à long terme. La force de cette évaluation a résidé dans la connexion explicite des décisions d'Efficience (investissements dans la chaîne d'approvisionnement) aux résultats d'Efficacité, démontrant ainsi comment les choix opérationnels ont influencé les performances du programme.

Programme de gouvernance en Asie du Sud-Est

Une initiative de démocratie et de gouvernance a rencontré des difficultés à démontrer son Impact en raison des longs délais nécessaires aux changements politiques. L'équipe d'évaluation a adapté le cadre du CAD en : (1) définissant des indicateurs d'Impact intermédiaires mesurables durant la période du programme, (2) utilisant le traçage de processus pour documenter la contribution aux évolutions politiques, et (3) intégrant les perceptions des parties prenantes sur la Pertinence via des groupes de discussion avec des fonctionnaires gouvernementaux et la société civile. Le critère de Pertinence a inclus une évaluation qualitative de l'alignement avec les priorités de gouvernance locales. L'Efficience a comporté une analyse de la rentabilité comparée à d'autres interventions de gouvernance. L'Efficacité a mesuré à la fois la livraison des produits et l'atteinte des résultats. L'Impact a eu recours à l'analyse de contribution pour évaluer le rôle du programme dans les changements de politique observés. La Durabilité a examiné l'institutionnalisation des réformes au sein des structures gouvernementales. Cette adaptation a illustré comment les critères du CAD peuvent être appliqués avec flexibilité tout en conservant leur valeur analytique fondamentale.

Programme d'éducation en Asie du Sud

Une évaluation de programme de formation des enseignants s'est fortement concentrée sur l'Efficacité (mesure des changements dans les pratiques d'enseignement) mais avait initialement négligé la Durabilité. Les retours des parties prenantes ont révélé que, bien que les enseignants formés aient amélioré leurs pratiques durant la période financée, beaucoup étaient revenus à leurs méthodes antérieures après la fin du financement, en raison d'un manque de soutien continu au développement professionnel. L'évaluation a été révisée pour inclure une dimension de Durabilité, examinant les arrangements institutionnels pour la formation continue, les allocations budgétaires dédiées au développement professionnel et les structures d'incitation de carrière. Cette révision a transformé l'évaluation d'une simple analyse d'Efficacité en une étude plus complète visant à déterminer si l'intervention produirait un changement durable. L'évaluation révisée a recommandé la création d'un fonds de formation durable, lequel a été intégré par la suite dans la conception du programme de suivi.

Comparaison avec d'autres Cadres

Les critères du CAD sont l'un des nombreux cadres d'évaluation disponibles. Voici les principales différences :