Cadre de décision
Comment choisir la conception d'évaluation la plus pertinente
La majorité des erreurs en matière de conception d'évaluation surviennent lorsque l'on choisit une méthode avant d'avoir clairement défini les informations nécessaires. Affirmer « Nous voulons réaliser un ECR » n'est pas un point de départ pertinent. En revanche, « Nous devons déterminer si notre programme de formation a permis de réduire le retard de croissance » l'est. La méthode doit découler de la question posée, du contexte et des contraintes spécifiques. Il est donc crucial de bien les identifier en amont.
Avant de consulter un manuel de méthodes, répondez à ces trois questions, dans l'ordre.
Question 1 : Que devez-vous savoir ?
Votre question d'évaluation est le pilier de toute la conception. Si votre objectif est de prouver la causalité (« Ce programme est-il la cause du changement observé ? »), un contrefactuel est indispensable. Si vous cherchez à comprendre la contribution (« Ce programme a-t-il joué un rôle ? »), les conceptions basées sur la Théorie du Changement sont appropriées. Enfin, si vous souhaitez évaluer la mise en œuvre (« Le programme a-t-il été déployé comme prévu ? »), une évaluation de processus suffira. Évitez de sur-complexifier la conception par rapport à la question que vous vous posez réellement.
Question 2 : Un contrefactuel est-il réalisable ?
Un contrefactuel permet de répondre à la question : « Que se serait-il passé en l'absence du programme ? » Si vous pouvez en établir un, soit par randomisation, soit grâce à un groupe de comparaison naturel, les options de conception expérimentale et quasi-expérimentale deviennent envisageables. Dans le cas contraire, les approches basées sur la Théorie du Changement sont à privilégier. De nombreux programmes, surtout ceux déjà déployés à grande échelle, ne peuvent pas construire un contrefactuel crédible. Ce n'est pas un problème ; cela signifie simplement qu'une autre famille de conceptions est plus adaptée.
Question 3 : quelles sont vos contraintes ?
Le budget, le calendrier, les considérations éthiques, le contexte politique, la disponibilité des données et les exigences des bailleurs de fonds sont autant de facteurs qui déterminent ce qui est réalisable. Un ECR coûtant 300 000 $ et s'étendant sur 3 ans n'est pas une option viable pour un programme de 500 000 $ sur 2 ans. De même, une conception en différence-de-différences requiert des données de situation de référence que vous n'avez peut-être pas collectées. Il est essentiel d'être réaliste quant à ces contraintes dès le départ. Une conception modeste mais bien exécutée sera toujours plus utile qu'une conception ambitieuse mais mal mise en œuvre.
Familles de conceptions
Les trois familles de conceptions
Expérimentale (ECR)
Définition : Il s'agit d'attribuer de manière aléatoire des individus, des communautés, des écoles ou des infrastructures à recevoir ou non le programme. On compare ensuite les résultats entre ces deux groupes. Toute différence observée peut être attribuée au programme, car la randomisation assure l'équivalence des groupes au point de départ.
La plupart des évaluations d'ONG n'ont pas besoin d'un ECR. Cette affirmation n'est pas controversée ; elle reflète la réalité que les ECR exigent des conditions que la majorité des programmes ne peuvent pas satisfaire : un déploiement échelonné, des tailles d'échantillon importantes, des budgets substantiels et des interventions stables. Lorsque ces conditions sont réunies, un ECR constitue la référence absolue pour l'attribution causale. En leur absence, imposer un ECR conduit à une recherche de faible qualité et à des coûts élevés.
Quand l'utiliser :
- Le programme est déployé par phases (permettant de randomiser l'ordre de réception)
- Les ressources sont limitées, empêchant d'atteindre l'ensemble de la population cible simultanément (rationnement naturel)
- Le bailleur de fonds exige des preuves d'impact rigoureuses (par exemple, USAID, FCDO, 3IE)
- Le programme est relativement simple et standardisé
- Le budget le permet (100 000 à 500 000 $ et plus pour la seule évaluation)
- L'examen éthique valide l'absence d'offre du programme au groupe de contrôle
Quand cela ne fonctionne pas :
- Le programme couvre déjà l'intégralité de la population cible (rendant impossible la constitution d'un groupe de contrôle)
- Préoccupations éthiques liées à la non-offre d'une intervention jugée bénéfique
- Le programme est très adaptatif (les ECR requièrent une intervention stable)
- La taille de l'échantillon est insuffisante pour la puissance statistique
- La question porte sur le « pourquoi » et non sur le « combien » (les ECR mesurent l'impact, mais n'expliquent pas les mécanismes)
| Forces | Limites |
|---|---|
| Preuves causales les plus solides | Coûteux et chronophage |
| Résultats clairs et crédibles | Nécessite une randomisation (pas toujours éthique/réalisable) |
| Largement accepté par les bailleurs de fonds et les décideurs politiques | Vous dit "quoi" et non "pourquoi" |
| Nécessite une intervention stable et de grands échantillons |
Quasi-expérimentale
Définition : Cette approche utilise un groupe de comparaison, mais sans randomisation. Des techniques statistiques sont employées pour ajuster les différences entre les groupes. Ces conceptions se positionnent entre la rigueur d'un ECR et la flexibilité des approches non expérimentales. Elles sont particulièrement efficaces lorsque vous disposez d'un groupe de comparaison naturel et de données fiables, mais que la randomisation n'a jamais été envisageable ou n'est plus d'actualité.
Approches courantes :
Différence-de-différences (DID) : Cette méthode compare l'évolution temporelle du groupe de traitement à celle d'un groupe de comparaison. Elle requiert des données avant et après le programme pour les deux groupes. L'hypothèse sous-jacente est que les deux groupes auraient suivi des tendances parallèles en l'absence du programme. C'est probablement la conception quasi-expérimentale la plus répandue en évaluation du développement, car de nombreux programmes collectent des données de situation de référence et finales dans les zones d'intervention et de non-intervention.
Appariement par score de propension (PSM) : Cette technique consiste à apparier chaque participant au programme avec un non-participant présentant des caractéristiques observables statistiquement similaires. Les résultats sont ensuite comparés entre les paires ainsi formées. Elle exige des données de qualité sur les caractéristiques prédictives de la participation. Le PSM permet de gérer le biais de sélection lié aux variables observables, mais ne peut pas corriger les différences inobservées entre les groupes.
Régression sur discontinuité (RD) : Utilisée lorsque l'éligibilité à un programme est déterminée par un seuil (par exemple, un revenu inférieur à 2 $/jour), cette méthode compare les individus situés juste au-dessus et juste en dessous de ce seuil. Elle fournit des preuves causales très robustes pour le groupe proche du seuil. Sa limite est qu'elle n'informe que sur l'effet au niveau du seuil, et non sur l'ensemble de la population. Si votre programme cible les bénéficiaires sur la base d'un score, il est judicieux d'explorer la RD avant d'envisager d'autres conceptions.
Séries chronologiques interrompues (ITS) : Cette approche analyse les tendances d'un indicateur avant et après le début du programme, en s'appuyant sur plusieurs points de données pré-intervention pour établir la tendance contrefactuelle. Elle requiert au moins 8 à 10 points de données avant l'intervention. Elle est particulièrement efficace lorsque vous disposez de données de suivi de routine fiables, mais pas de groupe de comparaison.
Quand utiliser les conceptions quasi-expérimentales :
- Un groupe de comparaison existe, mais la randomisation n'est pas réalisable
- Le programme n'a pas été randomisé initialement, mais des données de comparaison sont disponibles
- Le budget est modéré (entre 30 000 et 150 000 $ pour l'évaluation)
- Vous avez besoin de preuves causales, mais un ECR n'est pas réalisable
| Forces | Limites |
|---|---|
| Plus solides que les conceptions non expérimentales | Revendications causales plus faibles qu'un ECR |
| Plus réalisables et abordables que les ECR | Nécessite un bon groupe de comparaison |
| Plusieurs options de conception pour différents contextes | Expertise statistique nécessaire |
| Les hypothèses peuvent ne pas être valides (tendances parallèles, pas de facteurs de confusion inobservés) |
Non expérimentale (basée sur la théorie et qualitative)
Définition : Ces conceptions n'utilisent pas de groupe de comparaison. Elles s'appuient plutôt sur la Théorie du Changement du programme, des preuves qualitatives et de multiples sources de données pour évaluer si et comment le programme a contribué au changement. Il ne faut pas les considérer comme « faibles ». Pour les programmes complexes, adaptatifs ou systémiques, elles génèrent souvent des preuves plus utiles et exploitables qu'une conception quasi-expérimentale mal appliquée.
Approches courantes :
Analyse de contribution : Cette approche construit un « récit de contribution » qui retrace la chaîne causale des activités aux résultats, en testant la Théorie du Changement du programme à l'aune des preuves disponibles. Elle ne prouve pas la causalité, mais établit un argument crédible et fondé sur des preuves pour la contribution. C'est l'outil de prédilection de l'évaluation non expérimentale dans le domaine du développement.
Traçage de processus : Cette méthode examine systématiquement les preuves pour chaque maillon de la chaîne causale, en recherchant des « preuves irréfutables » (qui soutiennent fortement le lien) et des « obstacles » (tests que le lien doit réussir). C'est une méthode qualitative rigoureuse pour l'inférence causale, issue de la science politique. Elle est particulièrement efficace lorsque des mécanismes causaux spécifiques peuvent être identifiés et testés à l'aide de preuves documentaires et d'entretiens.
Changement le plus significatif (CMS) : Cette approche recueille des récits de changement auprès des parties prenantes, qui sont ensuite sélectionnés par des panels comme étant les « plus significatifs ». Participative, elle permet de capter les changements inattendus et est bien adaptée aux programmes complexes où les indicateurs prédéfinis ne parviennent pas à saisir l'essentiel.
Évaluation réaliste : Elle pose la question « Qu'est-ce qui fonctionne, pour qui, dans quelles circonstances et pourquoi ? » Elle teste les configurations Contexte-Mécanisme-Résultat (CMR) plutôt que l'impact global du programme. Cette méthode est particulièrement utile lorsque l'on constate qu'un programme fonctionne dans certains contextes mais pas dans d'autres, et que l'on souhaite en comprendre les raisons.
Quand utiliser les approches non expérimentales :
- Aucun groupe de comparaison n'existe ou n'est réalisable
- Le programme est complexe, adaptatif ou systémique
- Vous avez besoin de comprendre les mécanismes, et pas seulement les résultats
- Le budget est limité (entre 15 000 et 60 000 $ pour l'évaluation)
- La question porte sur le « comment » et le « pourquoi », plutôt que sur le « combien »
| Forces | Limites |
|---|---|
| Réalisable pour tout type de programme | Ne peut pas prouver la causalité |
| Capture la complexité et le contexte | Résultats moins généralisables |
| Plus abordable | Nécessite des évaluateurs qualifiés |
| Explique les mécanismes, pas seulement les résultats | Certains bailleurs de fonds ne l'acceptent pas comme preuve suffisante |
Combiner les méthodes
Combiner les méthodes
Dans la pratique, la plupart des évaluations combinent les méthodes. Une évaluation d'impact quasi-expérimentale intègre souvent des composantes qualitatives pour expliquer les résultats chiffrés. De même, une analyse de contribution s'appuie à la fois sur des données quantitatives de routine et des entretiens qualitatifs. Considérer le choix entre « quantitatif » et « qualitatif » comme une option binaire est une erreur. Il est préférable de réfléchir aux preuves nécessaires pour chaque question d'évaluation et de choisir la méthode la plus appropriée pour les générer. Pour une comparaison plus approfondie, consultez méthodes qualitatives, quantitatives ou mixtes.
Comparaison des conceptions
Comparaison des conceptions d'évaluation
| Facteur | Expérimentale (ECR) | Quasi-expérimentale | Non expérimentale |
|---|---|---|---|
| Preuves causales | Très solides | Modérées à solides | Modérées (contribution, pas attribution) |
| Faisabilité | Faible (nombreuses conditions nécessaires) | Moyenne | Élevée |
| Coût typique | 100 000 à 500 000 $ et plus | 30 000 à 150 000 $ | 15 000 à 60 000 $ |
| Calendrier | 2 à 5 ans | 1 à 3 ans | 3 à 12 mois |
| Expertise statistique | Élevée | Élevée | Modérée |
| Idéal pour | Interventions simples et standardisées | Programmes avec des groupes de comparaison naturels | Programmes complexes, adaptatifs, systémiques |
| Acceptation USAID | Préféré pour l'impact | Accepté | Accepté pour les questions non liées à l'impact |
| Acceptation UE | Accepté | Accepté | Courant pour la plupart des évaluations |
| Acceptation FCDO | Attendu pour les grands programmes | Accepté | Accepté avec une solide TdC |
Exemple pratique
Exemple pratique : choisir une conception sous des contraintes réelles
Un programme de nutrition, mis en œuvre dans 12 districts, cherche à déterminer si sa formation d'agents de santé communautaires (ASC) a contribué à réduire le retard de croissance infantile. Le programme couvre l'ensemble des 12 districts, sans zone de comparaison non traitée. Le budget alloué à l'évaluation est de 40 000 $, pour un calendrier de 4 mois.
Suivons la séquence de décision :
Pouvez-vous randomiser ? Non. Le programme est déjà pleinement opérationnel. Il n'est donc pas possible de constituer un groupe de contrôle.
Un groupe de comparaison naturel est-il disponible ? Non. Tous les districts ont bénéficié de la formation. Les districts voisins présentent des systèmes de santé et des profils démographiques distincts, ce qui les rend inappropriés comme comparateurs.
Des données de référence existent-elles pour une conception quasi-expérimentale ? Le programme a collecté des données de routine auprès des établissements de santé (taux de retard de croissance, registres de visites des ASC) avant et après la formation, mais uniquement dans les districts concernés par le programme. En l'absence de groupe de comparaison, la méthode DID est exclue.
Qu'est-ce qui correspond au budget et au calendrier ? Un budget de 40 000 $ et un calendrier de 4 mois excluent toute collecte de données d'enquête auprès des ménages à grande échelle. Cependant, les données de routine des établissements de santé sont déjà disponibles.
Recommandation : Une analyse de contribution s'appuyant sur les données de routine existantes des établissements de santé (tendances du retard de croissance, fréquence des visites des ASC, taux de référence), complétée par des entretiens avec des informateurs clés, notamment des agents de santé et des responsables de la santé de district. Il s'agira de cartographier la Théorie du Changement de la formation des ASC à la réduction du retard de croissance, puis de tester chaque maillon de cette chaîne causale à l'aune des preuves disponibles. Si les taux de retard de croissance se sont améliorés après la formation, que la fréquence des visites des ASC a augmenté, et que les agents de santé décrivent des pratiques spécifiques modifiées grâce à la formation, un récit de contribution crédible pourra être construit. Cette approche respecte le budget, utilise les données existantes et répond à la question « la formation a-t-elle contribué à l'amélioration ? » sans nécessiter de groupe de comparaison. Consultez le guide sur l'évaluation pour structurer la conception, ou utilisez le pour explorer des alternatives.
Pièges et guide rapide
Pièges courants
Piège 1 : choisir la méthode avant la question. L'approche consistant à dire « Nous voulons réaliser un ECR » est inversée. Il est préférable de commencer par : « Que devons-nous savoir, et quelle conception répondra le mieux à cette question, compte tenu de nos contraintes ? »
Piège 2 : supposer qu'un ECR est toujours le meilleur. Un ECR est certes la conception la plus robuste pour l'attribution causale, mais il répond à une question circonscrite (le résultat moyen a-t-il évolué ?) et peut négliger le contexte, les mécanismes et les variations. Pour les programmes complexes, une évaluation à méthodes mixtes bien conçue génère souvent des preuves plus pertinentes et exploitables.
Piège 3 : pas de groupe de comparaison et pas de Théorie du changement. Si vous ne disposez pas de groupe de comparaison, une approche solide basée sur la Théorie du Changement est indispensable (analyse de contribution, traçage de processus). Se contenter de mesurer avant et après, sans groupe de comparaison ni moyen systématique de tester votre Théorie du Changement, ne fournira que des preuves très faibles.
Piège 4 : évaluations sous-financées. Tenter de réaliser une conception quasi-expérimentale avec un budget de 10 000 $ conduit généralement à des résultats inexploitables. Il est crucial d'adapter l'ambition de votre conception à votre budget. Une analyse de contribution bien menée à 25 000 $ produira de meilleures preuves qu'une DID mal exécutée pour le même coût.
Piège 5 : ignorer les considérations éthiques. Retenir une intervention avérée bénéfique à un groupe de contrôle pose un problème éthique. Les conceptions de déploiement différé (où tous les participants reçoivent finalement le programme, mais l'ordre est randomisé) résolvent cette difficulté pour les ECR. Pour les programmes en cours, les conceptions en « pipeline » (comparant ceux qui ont déjà bénéficié du programme à ceux qui sont encore en attente) constituent une alternative éthique.
Piège 6 : traiter la conception comme fixe. Votre conception d'évaluation doit rester adaptable aux changements de circonstances. Si un groupe de comparaison initialement prévu est « contaminé » (c'est-à-dire qu'il reçoit un programme similaire d'une autre organisation), il est impératif de réorienter votre approche. Intégrez la flexibilité nécessaire à votre plan de S&E dès le départ.
Guide de décision rapide
Suivez cette séquence. Chaque question permet d'affiner les options.
1. Avez-vous besoin de prouver que votre programme a causé le changement (attribution) ?
- Oui, et la randomisation est réalisable : ECR
- Oui, mais la randomisation n'est pas réalisable : Quasi-expérimentale (DID, PSM, RD ou ITS, selon la disponibilité des données)
- Non, vous devez démontrer que votre programme a contribué : Analyse de contribution ou traçage de processus
2. Un groupe de comparaison est-il disponible ?
- Oui, et il est bien apparié : Quasi-expérimentale
- Un seuil naturel existe (seuil d'éligibilité) : Régression sur discontinuité
- Pas de groupe de comparaison : Approches basées sur la Théorie du Changement (analyse de contribution, évaluation réaliste, CMS)
3. Quel est votre budget pour l'évaluation ?
- Plus de 100 000 $ : Toutes les options sont envisageables. Évaluez si la question justifie le coût d'un ECR.
- Entre 30 000 $ et 100 000 $ : Quasi-expérimentale ou basée sur la Théorie du Changement. La DID, avec des données existantes, représente souvent le meilleur compromis.
- Moins de 30 000 $ : Basée sur la Théorie du Changement, CMS ou évaluation de processus. N'essayez pas de conceptions quasi-expérimentales avec un tel budget.
4. Quelle est la complexité du programme ?
- Simple, standardisé : Les approches expérimentales ou quasi-expérimentales sont bien adaptées.
- Complexe, adaptatif, multi-composantes : Basée sur la Théorie du Changement, évaluation réaliste ou évaluation développementale. Ces conceptions gèrent mieux la complexité car elles ne requièrent pas un « traitement » unique et stable.