L'évaluation basée sur la Théorie du Changement vise à vérifier si la Théorie du Changement d'un programme s'est concrétisée sur le terrain. Plutôt que de se limiter à une comparaison contrefactuelle, elle privilégie un raisonnement fondé sur des preuves à chaque étape du processus.
Principes de l'évaluation basée sur la Théorie du Changement
Une évaluation basée sur la théorie du changement examine la chaîne de résultats, des activités aux impacts, et teste chaque lien causal à l'aide de preuves. Pour chaque hypothèse « si X, alors Y » formulée dans la Théorie du Changement, l'évaluation pose trois questions fondamentales :
- L'activité X a-t-elle réellement eu lieu, avec la qualité et l'intensité prévues ?
- Le résultat Y a-t-il été observé chez les bénéficiaires du programme ?
- Des preuves attestent-elles que le lien entre X et Y a fonctionné, ou les deux événements se sont-ils simplement produits simultanément sans lien de causalité direct ?
Des explications alternatives sont ensuite identifiées et examinées de manière systématique. Par exemple, une autre intervention a-t-elle pu contribuer au même résultat ? Les participants étaient-ils déjà engagés dans une dynamique d'amélioration ? Le résultat observé pourrait-il être un artefact de mesure plutôt qu'un changement réel ? Une évaluation basée sur la théorie crédible doit explicitement écarter ces hypothèses alternatives, et non se contenter de les affirmer.
Le produit final est une chaîne de raisonnement logique, et non une simple estimation d'effet. Chaque maillon de la Théorie du Changement est évalué en fonction de la solidité des preuves qui le corroborent, et la conclusion générale est élaborée à partir de ces analyses.
Principales variantes de l'évaluation basée sur la Théorie du Changement
Quatre variantes dominent dans la pratique :
- Analyse de contribution. La plus répandue dans le domaine de l'évaluation du développement. Elle vise à déterminer la contribution spécifique d'un programme à des résultats souvent multifactoriels. Particulièrement adaptée aux contextes complexes et impliquant de multiples parties prenantes.
- Évaluation réaliste. S'appuie sur le cadre Contexte-Mécanisme-Résultat (CMR) de Pawson et Tilley. Elle cherche à comprendre « qu'est-ce qui fonctionne, pour qui, dans quelles circonstances et pourquoi ? ». Cette approche est pertinente lorsque l'on s'attend à ce qu'un programme produise des effets différents selon les contextes.
- Traçage de processus. Une analyse de cas approfondie (à faible N) qui teste des hypothèses causales spécifiques à l'aide de différents types de preuves (tests « hoop », tests « smoking-gun », tests « doubly-decisive »). Elle est particulièrement efficace pour les questions d'attribution dans des études de cas uniques ou limitées.
- Collecte des résultats (Outcome harvesting). Part des résultats observés et remonte la chaîne causale pour établir la contribution du programme. Elle est particulièrement utile lorsque les résultats n'ont pas été entièrement définis au préalable.
Quand privilégier l'évaluation basée sur la Théorie du Changement ?
L'évaluation basée sur la Théorie du Changement est particulièrement pertinente dans les situations suivantes :
- Le programme est complexe et ses résultats découlent de multiples causes plausibles.
- Une approche contrefactuelle est irréalisable : il n'existe pas de groupe de comparaison, la randomisation est éthiquement ou politiquement impossible, ou le programme est mis en œuvre sur un site unique.
- Les tailles d'échantillon sont trop faibles pour atteindre une puissance statistique suffisante.
- La Théorie du Changement est bien élaborée, mais la mesure quantitative des résultats est limitée.
- La question d'évaluation porte sur les mécanismes et le « comment » du fonctionnement du programme, plutôt que sur la seule ampleur de l'effet.
Les programmes de gouvernance, de plaidoyer, de changement de politique et de renforcement des systèmes constituent des exemples typiques. Il en va de même pour tout projet pilote mené sur un site unique.
Conseils pour la proposition d'évaluation
Il est recommandé de proposer une évaluation basée sur la théorie du changement lorsque les études randomisées contrôlées (ECR) ou les conceptions quasi-expérimentales appariées sont irréalisables. C'est souvent le cas pour les programmes de gouvernance, de plaidoyer, les projets pilotes sur un site unique, les initiatives de changement de politique et la plupart des interventions systémiques. L'accueil des bailleurs de fonds varie. Ceux qui sont familiarisés avec l'évaluation (comme FCDO, IDRC et plusieurs grandes fondations) acceptent plus facilement ces approches. D'autres s'attendent par défaut à une évaluation d'impact avec une approche contrefactuelle et nécessitent d'être accompagnés pour comprendre pourquoi une telle conception n'est pas réalisable ou n'est pas l'outil le plus approprié pour la question posée.
Deux stratégies peuvent renforcer votre proposition. Premièrement, il est préférable de nommer la méthode spécifique (analyse de contribution, évaluation réaliste, traçage de processus) plutôt que d'employer l'expression générique « basée sur la théorie ». Deuxièmement, expliquez clairement pourquoi une approche contrefactuelle est irréalisable ou inappropriée avant de présenter l'alternative. Le budget se situe généralement dans la même fourchette qu'une conception quasi-expérimentale, soit environ 50 000 à 200 000 $ selon l'ampleur de l'évaluation, et n'est pas significativement moins cher. Les propositions qui présentent l'évaluation basée sur la théorie comme une solution économique sont souvent perçues comme manquant de rigueur.
Pièges à éviter
- Une Théorie du Changement initiale peu solide. L'efficacité d'une évaluation basée sur la théorie dépend directement de la qualité de la théorie qu'elle examine. Si le modèle logique est imprécis et les hypothèses non explicitées, l'évaluation manquera également de clarté. Il est donc crucial d'investir en amont dans l'élaboration d'une Théorie du Changement robuste.
- Considérer l'évaluation basée sur la théorie comme une alternative moins coûteuse à l'évaluation d'impact. Ce n'est pas le cas. Elle répond à une question distincte : « la logique causale a-t-elle fonctionné ? », contrairement à l'évaluation d'impact qui cherche à déterminer « quel est l'effet net ? ». Le choix de la méthode doit être guidé par la décision à éclairer, et non par des considérations budgétaires.
Voir aussi
- Théorie du Changement : Le modèle logique que l'évaluation basée sur la théorie examine.
- Contrefactuel : L'approche comparative, alternative au raisonnement basé sur la théorie.
- Évaluation sommative : Les approches basées sur la théorie sont fréquemment employées dans les évaluations sommatives.
- Évaluation formative : La logique basée sur la théorie aide à diagnostiquer les maillons faibles de la chaîne causale.
- Changement le plus significatif : Une méthode participative complémentaire axée sur les résultats.