M&E Decision Tree

Choisir la bonne méthodologie d'évaluation : Guide pratique

Découvrez un cadre décisionnel clair pour sélectionner la conception d'évaluation la plus pertinente. Explore les approches expérimentales, quasi-expérimentales et non expérimentales pour vos programmes de S&E.

3
Familles de conceptions
4
Approches QED
6
Pièges courants

Comment choisir la conception d'évaluation la plus pertinente

La majorité des erreurs en matière de conception d'évaluation surviennent lorsque l'on choisit une méthode avant d'avoir clairement défini les informations nécessaires. Affirmer « Nous voulons réaliser un ECR » n'est pas un point de départ pertinent. En revanche, « Nous devons déterminer si notre programme de formation a permis de réduire le retard de croissance » l'est. La méthode doit découler de la question posée, du contexte et des contraintes spécifiques. Il est donc crucial de bien les identifier en amont.

Avant de consulter un manuel de méthodes, répondez à ces trois questions, dans l'ordre.

Question 1 : Que devez-vous savoir ?

Votre question d'évaluation est le pilier de toute la conception. Si votre objectif est de prouver la causalité (« Ce programme est-il la cause du changement observé ? »), un contrefactuel est indispensable. Si vous cherchez à comprendre la contribution (« Ce programme a-t-il joué un rôle ? »), les conceptions basées sur la Théorie du Changement sont appropriées. Enfin, si vous souhaitez évaluer la mise en œuvre (« Le programme a-t-il été déployé comme prévu ? »), une évaluation de processus suffira. Évitez de sur-complexifier la conception par rapport à la question que vous vous posez réellement.

Question 2 : Un contrefactuel est-il réalisable ?

Un contrefactuel permet de répondre à la question : « Que se serait-il passé en l'absence du programme ? » Si vous pouvez en établir un, soit par randomisation, soit grâce à un groupe de comparaison naturel, les options de conception expérimentale et quasi-expérimentale deviennent envisageables. Dans le cas contraire, les approches basées sur la Théorie du Changement sont à privilégier. De nombreux programmes, surtout ceux déjà déployés à grande échelle, ne peuvent pas construire un contrefactuel crédible. Ce n'est pas un problème ; cela signifie simplement qu'une autre famille de conceptions est plus adaptée.

Question 3 : quelles sont vos contraintes ?

Le budget, le calendrier, les considérations éthiques, le contexte politique, la disponibilité des données et les exigences des bailleurs de fonds sont autant de facteurs qui déterminent ce qui est réalisable. Un ECR coûtant 300 000 $ et s'étendant sur 3 ans n'est pas une option viable pour un programme de 500 000 $ sur 2 ans. De même, une conception en différence-de-différences requiert des données de situation de référence que vous n'avez peut-être pas collectées. Il est essentiel d'être réaliste quant à ces contraintes dès le départ. Une conception modeste mais bien exécutée sera toujours plus utile qu'une conception ambitieuse mais mal mise en œuvre.

Frequently Asked Questions

Key concepts explained

Impact Evaluation
A rigorous evaluation approach that measures the causal effect of a program on outcomes by comparing what happened with what would have happened in its absence.
Quasi-Experimental Design
A family of evaluation designs that estimate causal program effects without random assignment, using statistical methods to construct credible comparison groups.
Randomised Controlled Trial
An experimental evaluation design that randomly assigns participants to treatment and control groups to establish causal attribution between an intervention and observed outcomes.
Contribution Analysis
A structured approach to building a credible case for how and why a program contributed to observed outcomes, without requiring experimental attribution.
Most Significant Change
A participatory qualitative monitoring approach that systematically collects and selects stories of change to identify and share the most significant outcomes of a program.
Realist Evaluation
An evaluation approach that asks what works, for whom, in what circumstances, and why, by identifying the mechanisms through which programs produce outcomes in specific contexts.
Process Tracing
A within-case method for causal inference that tests whether the causal mechanisms predicted by a theory of change actually operated in a specific case, using systematic evidence to evaluate causal claims.
Evaluation Criteria (DAC)
The OECD-DAC framework provides six standard criteria, relevance, coherence, effectiveness, efficiency, impact, and sustainability, for systematically assessing the merit and value of development interventions.
Evaluation Matrix
A structured mapping document that links each evaluation question to its data sources, collection methods, indicators, and analysis approach, the operational blueprint for executing an evaluation.
Counterfactual
The comparison between what happened and what would have happened in the absence of an intervention, the fundamental basis for establishing causal attribution in impact evaluation.
Causal Inference
The process of determining whether an intervention caused observed outcomes by establishing a credible counterfactual and ruling out alternative explanations.