Ce qu'ils sont
Ce que sont les critères du CAD
Le Comité d'aide au développement (CAD) de l'OCDE a initialement publié cinq critères d'évaluation en 1991 : la pertinence, l'efficacité, l'efficience, l'impact et la durabilité. En 2019, ces définitions ont été révisées, la cohérence a été ajoutée comme sixième critère, et le langage a été actualisé pour mieux refléter les pratiques d'évaluation contemporaines. Ces critères représentent le cadre le plus couramment employé pour structurer les évaluations dans le domaine du développement international.
Ils ne constituent pas une liste de contrôle exhaustive, mais plutôt un menu. Chaque évaluation doit en sélectionner certains, et aucune ne devrait tenter de les appliquer tous de manière égale. La véritable compétence réside dans la capacité à prioriser les critères pertinents et à formuler des questions d'évaluation précises pour chacun d'eux.
En un coup d'œil
En un coup d'œil
| Critère | Question clé | Ajouté/Révisé |
|---|---|---|
| Pertinence | Le programme est-il approprié ? | Original (1991), révisé 2019 |
| Cohérence | Le programme s'intègre-t-il aux autres interventions ? | Nouveau en 2019 |
| Efficacité | Le programme atteint-il ses objectifs ? | Original (1991), révisé 2019 |
| Efficience | Les ressources sont-elles bien utilisées ? | Original (1991), révisé 2019 |
| Impact | Quelle différence plus large le programme fait-il ? | Original (1991), révisé 2019 |
| Durabilité | Les bénéfices perdureront-ils ? | Original (1991), révisé 2019 |
Les 6 critères
Les six critères d'évaluation du CAD
Pertinence
Définition : L'intervention est-elle appropriée ? Répond-elle aux besoins, aux politiques et aux priorités des bénéficiaires, du pays et du contexte global ? Sa pertinence est-elle maintenue face à l'évolution des circonstances ?
Exemples de questions d'évaluation :
- Dans quelle mesure le programme répond-il aux besoins prioritaires identifiés par les communautés cibles, et comment ces besoins ont-ils évolué depuis sa conception ?
- Dans quelle mesure la conception du programme est-elle alignée sur la stratégie nationale de développement et les politiques sectorielles ?
Piège courant : Considérer la pertinence comme une simple formalité. De nombreuses évaluations se contentent de répondre « oui, le programme est pertinent » sans réellement vérifier si les besoins ont évolué depuis sa conception. La révision de 2019 insiste explicitement sur la nécessité d'une réactivité aux contextes changeants. Il est crucial de se demander si le programme est pertinent actuellement, et non pas seulement s'il l'était à son lancement.
Cohérence
Définition : Dans quelle mesure l'intervention s'intègre-t-elle dans son environnement ? Est-elle compatible avec d'autres initiatives menées dans le même pays, secteur ou par la même organisation ? Ce critère englobe la cohérence interne (l'alignement de l'intervention avec les politiques propres à l'organisation) et la cohérence externe (sa complémentarité avec les actions des autres acteurs).
Exemples de questions d'évaluation :
- Dans quelle mesure le programme complète-t-il ou fait-il double emploi avec les activités d'autres organisations œuvrant pour la nutrition dans les mêmes districts ?
- Dans quelle mesure le programme est-il aligné sur la stratégie globale de l'organisation et sur ses autres programmes au niveau national ?
Piège courant : Confondre cohérence et coordination. La cohérence relève de l'adéquation stratégique, et non de la simple tenue de réunions conjointes entre organisations. Deux programmes peuvent être bien coordonnés tout en étant incohérents (par exemple, en poursuivant des approches contradictoires pour un même problème). À l'inverse, deux programmes peuvent n'avoir aucune coordination mais être très cohérents (en adoptant des points d'entrée différents pour atteindre un même objectif). Il est important de noter que la cohérence est le critère le plus récent, et de nombreux évaluateurs cherchent encore à l'opérationnaliser efficacement. Veillez à ce que les questions restent ciblées et évitez de transformer ce critère en une cartographie exhaustive de tous les acteurs du secteur.
Efficacité
Définition : L'intervention atteint-elle, ou est-elle en mesure d'atteindre, ses objectifs et les résultats escomptés ? Ce critère inclut l'analyse des effets différentiels selon les groupes cibles.
Exemples de questions d'évaluation :
- Dans quelle mesure le programme a-t-il atteint son objectif d'augmentation de la diversité alimentaire des ménages parmi les bénéficiaires cibles ?
- Quels facteurs ont favorisé ou entravé l'atteinte des résultats du programme, et comment ces résultats varient-ils entre les zones urbaines et rurales ?
Piège courant : Mesurer les produits au lieu des résultats. L'efficacité ne consiste pas à se demander « avons-nous dispensé la formation ? » (ceci est un produit). L'efficacité consiste à se demander « la formation a-t-elle modifié les pratiques ? » (ceci est un résultat). La révision de 2019 met également l'accent sur l'analyse des effets différentiels : qui a bénéficié et qui n'a pas bénéficié. Si votre évaluation présente des résultats moyens sans désagrégation, il vous manque une dimension essentielle de l'efficacité.
Efficience
Définition : Dans quelle mesure les ressources sont-elles utilisées de manière optimale ? L'intervention produit-elle des résultats de façon économique et dans les délais impartis ? Ce critère implique de comparer les coûts et les avantages de l'intervention par rapport à des approches alternatives.
Exemples de questions d'évaluation :
- Comment le coût par bénéficiaire de ce programme se compare-t-il à celui de programmes similaires utilisant des modèles de prestation alternatifs ?
- Les mêmes résultats auraient-ils pu être obtenus avec moins de ressources, ou davantage de résultats avec les mêmes ressources ?
Piège courant : Réduire l'efficience à un simple chiffre de coût par bénéficiaire, sans contexte. Un programme coûtant 50 $ par bénéficiaire n'est pas automatiquement plus efficient qu'un programme à 200 $ par bénéficiaire. Le programme plus coûteux pourrait générer des résultats plus durables ou plus profonds. Une analyse rigoureuse de l'efficience exige de comparer les coûts aux résultats obtenus, et non pas uniquement les coûts. Pour les méthodes, consultez l'analyse coût-efficacité.
Impact
Définition : Quelle est la différence significative générée par l'intervention ? Ce critère couvre les effets de niveau supérieur, qu'ils soient intentionnels ou non, positifs ou négatifs. La révision de 2019 a élargi la notion d'impact au-delà de la définition stricte d'« effet attribuable », pour inclure le changement plus vaste auquel l'intervention contribue.
Exemples de questions d'évaluation :
- Quels changements plus larges en matière de sécurité alimentaire au niveau du district peuvent être observés depuis le début du programme, et quelle est la contribution plausible de ce programme à ces évolutions ?
- Quels effets non intentionnels (positifs ou négatifs) le programme a-t-il eus sur les populations non cibles ou sur la dynamique de genre au sein des communautés concernées ?
Piège courant : Confondre impact et efficacité. L'efficacité se rapporte aux résultats attendus de votre programme, tandis que l'impact concerne la situation globale. Un programme de formation peut être efficace (les participants ont acquis de nouvelles compétences) mais avoir un impact limité (ces compétences ne se sont pas traduites par des changements de revenus au niveau communautaire). Les évaluations d'impact exigent généralement des méthodologies plus rigoureuses, des échantillons plus importants et des délais plus longs. La plupart des évaluations de programmes devraient se concentrer sur l'efficacité et n'aborder l'impact que si le budget et la conception le permettent. Pour des conseils sur l'adéquation de votre conception à vos questions, consultez Comment choisir une méthodologie d'évaluation.
Durabilité
Définition : Les bénéfices nets de l'intervention perdureront-ils après la fin du financement ? Ce critère englobe la durabilité financière, institutionnelle, sociale et environnementale.
Exemples de questions d'évaluation :
- Dans quelle mesure les institutions locales ont-elles développé les capacités et les ressources nécessaires pour pérenniser les activités du programme sans soutien externe ?
- Quelle est la probabilité que les changements de comportement observés chez les bénéficiaires persistent deux ans après la clôture du programme ?
Piège courant : Poser des questions sur la durabilité prématurément. Une évaluation à mi-parcours d'un programme de 5 ans ne peut pas évaluer de manière significative si les bénéfices perdureront après la fin du programme. Elle peut, en revanche, évaluer si le programme est en train de bâtir les fondations de la durabilité (renforcement des capacités, planification du transfert, appropriation locale). Formulez les questions de durabilité de manière appropriée en fonction du calendrier de l'évaluation. Évitez également la question vague « Le programme est-il durable ? » Spécifiez plutôt ce que vous attendez de durable : services, comportements, institutions, politiques.
Choisir lesquels utiliser
Choisir les critères à utiliser
N'utilisez pas les six critères. Voici comment les choisir judicieusement.
Commencez par définir clairement l'objectif de l'évaluation. Une évaluation formative à mi-parcours et une évaluation sommative finale répondent à des objectifs distincts et doivent, par conséquent, privilégier des critères différents.
| Type d'évaluation | Critères recommandés | Pourquoi |
|---|---|---|
| Formative à mi-parcours | Pertinence, Efficacité, Efficience | Se concentrer sur l'ajustement. Il est trop tôt pour évaluer l'impact ou la durabilité. |
| Sommative finale | Efficacité, Impact, Durabilité | Mettre l'accent sur les résultats et le changement durable. La pertinence est moins cruciale en fin de parcours. |
| Examen thématique/sectoriel | Cohérence, Pertinence, Efficacité | Comprendre l'articulation des programmes au sein d'un secteur. |
| Évaluation en temps réel | Pertinence, Efficacité | Fournir un retour rapide pendant la mise en œuvre. L'efficience, l'impact et la durabilité seront abordés ultérieurement. |
Limitez-vous à 3 ou 4 critères. Avec 1 à 2 questions d'évaluation par critère et un budget réaliste, un choix de 3 à 4 critères permet de réaliser des évaluations ciblées et exploitables. Cinq ou six critères risquent de disperser les ressources et de produire des réponses superficielles à toutes les questions, plutôt que des réponses approfondies aux interrogations essentielles.
Nombre total de questions d'évaluation : visez 6 à 10. Chaque critère devrait idéalement comporter 1 à 3 questions. Au-delà de 10 questions au total, votre évaluation risque de s'éparpiller. Priorisez sans concession. Chaque question supplémentaire augmente les coûts de collecte de données, le temps d'analyse et la longueur du rapport. Formulez vos questions dans une matrice d'évaluation pour vous assurer que chacune dispose d'une source de données, d'une méthode et d'un plan d'analyse clairs.
ALNAP (Humanitaire)
Critères ALNAP pour les évaluations humanitaires
Les évaluations humanitaires intègrent souvent deux critères supplémentaires, issus de l'ALNAP (Active Learning Network for Accountability and Performance) :
Couverture : L'intervention a-t-elle atteint la population ciblée, en particulier les plus vulnérables ?
Connexion (ou coordination) : L'intervention était-elle liée aux efforts de relèvement et de développement à plus long terme ?
Ces critères complètent ceux du CAD dans les contextes humanitaires, où l'atteinte des populations affectées et le lien entre l'aide d'urgence et le relèvement sont des préoccupations essentielles. Il est recommandé de les utiliser lors de l'évaluation des réponses d'urgence, des programmes destinés aux réfugiés ou des initiatives de réduction des risques de catastrophe.
Erreurs courantes
Pièges courants
Piège 1 : utiliser les six critères dans chaque évaluation. C'est le piège le plus fréquent. Des termes de référence qui énumèrent les six critères avec trois questions chacun génèrent plus de 18 questions d'évaluation, auxquelles aucune évaluation ne peut répondre de manière adéquate dans le cadre d'un budget typique. Sélectionnez 3 à 4 critères. Justifiez ce choix. Écartez les autres.
Piège 2 : formuler des questions d'évaluation vagues. « Le programme est-il pertinent ? » n'est pas une question d'évaluation appropriée. En revanche, « Dans quelle mesure le programme répond-il aux besoins prioritaires identifiés par les comités de santé communautaires dans les districts cibles ? » en est une. Des questions imprécises mènent à des réponses tout aussi imprécises. Chaque question doit spécifier clairement ce que vous évaluez, pour qui et par rapport à quelle norme.
Piège 3 : traiter les critères comme des catégories indépendantes. Les critères interagissent entre eux. Un programme peut être très efficace mais peu efficient (atteignant des résultats à un coût excessif). De même, un programme peut être pertinent mais manquer de cohérence (répondant à des besoins réels tout en faisant double emploi avec d'autres initiatives). Votre analyse doit mettre en évidence ces interconnexions. Évitez de rédiger six chapitres isolés dans le rapport d'évaluation.
Piège 4 : inclure la cohérence par simple réflexe parce qu'elle est nouvelle. Le critère de cohérence a été ajouté en 2019, et de nombreux termes de référence l'incluent désormais automatiquement. N'intégrez la cohérence que si elle est réellement pertinente pour l'objectif de votre évaluation. Si l'évaluation se concentre sur les résultats internes d'un programme, la cohérence pourrait ne pas être une priorité. En revanche, si l'évaluation examine comment plusieurs programmes interagissent au sein d'un secteur, la cohérence devient alors essentielle.
Piège 5 : confondre les critères du CAD avec un cadre d'évaluation. Les critères vous indiquent quoi évaluer, mais pas comment. Il est impératif de toujours choisir des méthodes, des approches de conception et des outils de collecte de données adaptés à chaque question. Les critères structurent les TdR d'évaluation. La section méthodologie des TdR précise comment répondre à ces questions. Consultez le guide sur l'évaluation pour associer les critères aux méthodes appropriées.
Piège 6 : ignorer les effets non intentionnels dans le cadre du critère d'impact. La révision de 2019 intègre explicitement les effets non intentionnels, qu'ils soient positifs ou négatifs. Par exemple, un programme de nutrition qui améliore la diversité alimentaire (effet intentionnel) mais augmente la charge de travail des femmes (effet négatif non intentionnel) a généré ces deux types de résultats. Votre évaluation d'impact devrait investiguer les deux. Interrogez les parties prenantes sur ce qui a changé et n'était pas attendu. Ne limitez pas la collecte de données à vos seuls indicateurs prédéfinis.