En un coup d'œil
En un coup d'œil
| Facteur | ECR | Quasi-expérimental |
|---|---|---|
| Validité causale | Très forte (étalon-or) | Modérée à forte |
| Randomisation requise | Oui | Non |
| Groupe de comparaison | Témoin assigné aléatoirement | Apparié ou naturellement existant |
| Coût estimé | 100 000 à 500 000 $ et plus | 30 000 à 150 000 $ |
| Durée typique | 2-5 ans | 1-3 ans |
| Expertise statistique requise | Élevée | Élevée |
| Idéalement adapté aux | Interventions standardisées et simples | Programmes où la randomisation n'était pas possible |
| Gestion de la complexité | Difficile | Meilleure (conceptions plus flexibles) |
| Reconnaissance par les bailleurs | Universellement accepté | Largement accepté pour les preuves d'impact |
Les deux types de conceptions visent à répondre à la même question fondamentale : le programme a-t-il réellement provoqué le changement observé ? La distinction réside dans la manière dont elles construisent le contrefactuel. Un ECR le crée par assignation aléatoire, tandis qu'une conception quasi-expérimentale l'approxime à l'aide de méthodes statistiques et de groupes de comparaison existant naturellement.
Quand un ECR est adapté
Quand un ECR est faisable
Un ECR requiert des conditions spécifiques. Si l'une d'elles fait défaut, il est préférable d'explorer les alternatives quasi-expérimentales.
La randomisation est possible. Le programme n'a pas encore atteint toute la population cible. Un déploiement échelonné, une sélection par loterie ou une contrainte de ressources peut créer une opportunité naturelle de randomiser qui reçoit le programme en premier.
L'intervention est standardisée et uniforme. Chaque personne du groupe de traitement reçoit une intervention à peu près identique. Si le programme s'adapte considérablement d'un site à l'autre, un ECR mesurera la moyenne de nombreux traitements différents, ce qui est souvent peu utile.
La taille de l'échantillon est adéquate. Les calculs de puissance statistique vous indiqueront le nombre d'unités (individus, écoles, villages) nécessaires. La plupart des essais randomisés en grappes exigent plus de 30 grappes par bras. Si vous n'avez que 8 districts, un ECR ne produira pas de résultats significatifs. Consultez Comment choisir la taille de l'échantillon pour les calculs.
L'éthique le permet. Retenir une intervention éprouvée et salvatrice d'un groupe témoin n'est pas éthique. Les conceptions à déploiement échelonné, où le groupe témoin reçoit le programme plus tard, répondent à cette préoccupation. Cependant, si l'intervention doit atteindre tout le monde immédiatement, la randomisation est exclue.
Le budget est suffisant. Les coûts d'évaluation seuls s'élèvent généralement à 100 000 à 500 000 $ et plus. Cela n'inclut pas les coûts de mise en œuvre du programme. Si votre budget total de programme est de 500 000 $, consacrer la moitié à l'évaluation n'a souvent pas de sens.
Quand une QED est adaptée
Quand une conception quasi-expérimentale est plus adaptée
La plupart des évaluations de développement se situent dans ce cas de figure. Le programme a déjà commencé, la randomisation n'était pas prévue, mais des données de comparaison existent. C'est le scénario le plus fréquent.
Le programme n'a pas été randomisé au départ. C'est la situation la plus courante. Le programme a ciblé des zones spécifiques en fonction des besoins, de décisions politiques ou des capacités des partenaires. Vous ne pouvez pas annuler cette sélection, mais vous pouvez en tenir compte statistiquement.
Un groupe de comparaison naturel existe. Il peut s'agir de zones hors programme, de personnes éligibles mais n'ayant pas participé, ou de communautés sur une liste d'attente. La comparaison n'a pas besoin d'être parfaite, elle doit être plausible après ajustements.
Des données de situation de référence ont été collectées. La plupart des conceptions quasi-expérimentales nécessitent des données antérieures au programme. Si vous ne disposez que de données de fin de programme, vos options se réduisent considérablement.
Le budget est modéré. Un budget de 30 000 à 150 000 $ couvre la plupart des évaluations quasi-expérimentales, y compris la collecte de données primaires si nécessaire.
4 Approches QED
Les quatre principales approches QED
Différence des différences (DD)
Comparez le changement au fil du temps dans les zones de programme par rapport aux zones de comparaison. Si le retard de croissance a diminué de 5 points de pourcentage dans les zones de programme mais de seulement 1 point dans les zones de comparaison, l'effet estimé du programme est de 4 points.
Ce dont vous avez besoin : Des données de situation de référence et de fin de programme pour les deux groupes. Au minimum deux points dans le temps, bien que plus soit préférable.
Hypothèse clé : Les deux groupes auraient suivi la même tendance en l'absence du programme (tendances parallèles). Vérifiez cela en comparant les tendances antérieures au programme si vous disposez des données.
Quand cela fonctionne le mieux : Programmes qui ciblent des zones géographiques, où des données de routine existent dans les sites de programme et hors programme.
Appariement par score de propension (ASP)
Appariez chaque participant à un non-participant qui lui ressemble statistiquement sur des caractéristiques observables (âge, revenu, localisation, éducation). Comparez les résultats entre les paires appariées.
Ce dont vous avez besoin : Des données riches sur les caractéristiques qui prédisent la participation au programme. Plus il y a de variables, meilleur est l'appariement.
Hypothèse clé : Tous les facteurs qui déterminent la participation sont capturés dans vos données. Si des facteurs non observés (motivation, liens politiques) sont à l'origine de la participation, l'ASP ne peut pas corriger le biais.
Quand cela fonctionne le mieux : Programmes au niveau individuel (formation, transferts monétaires) où vous disposez de données d'enquête sur les participants et les non-participants.
Régression sur discontinuité (RD)
Lorsque l'éligibilité dépend d'un score ou d'un seuil (revenu inférieur à un seuil, scores de test supérieurs à une ligne), comparez les personnes juste au-dessus et juste en dessous. Celles qui sont proches du seuil sont essentiellement similaires, créant une expérience naturelle.
Ce dont vous avez besoin : Un seuil d'éligibilité clair et des données sur la variable de course (le score qui détermine l'éligibilité).
Limitation clé : Les résultats ne s'appliquent qu'aux personnes proches du seuil, pas à l'ensemble de la population. Si votre programme cible les 20 % les plus pauvres, la RD vous informe sur l'effet pour les personnes autour du 20e percentile, pas pour les 5 % les plus pauvres.
Quand cela fonctionne le mieux : Programmes ciblés avec éligibilité basée sur un score. Vérifiez si votre programme utilise un classement ou un seuil avant de vous tourner vers d'autres conceptions.
Séries chronologiques interrompues (SCI)
Analysez les tendances d'un résultat avant et après le début du programme, en utilisant de nombreux points de données antérieurs au programme pour établir à quoi aurait ressemblé la tendance sans le programme.
Ce dont vous avez besoin : Au moins 8 à 10 points de données avant l'intervention. Des données mensuelles des établissements de santé, des statistiques trimestrielles sur l'éducation ou des cycles d'enquêtes annuelles sont des exemples.
Hypothèse clé : Rien d'autre n'a changé en même temps que le programme qui pourrait expliquer le changement de tendance. Si une nouvelle politique nationale a été lancée le même mois, les SCI ne peuvent pas séparer les deux effets.
Quand cela fonctionne le mieux : Programmes avec des données de suivi de routine solides mais sans groupe de comparaison. Les interventions sur les systèmes de santé sont une application courante car les données des établissements ont souvent de longues séries chronologiques.
Comparaison des coûts
Comparaison des coûts
| Composante | ECR | Quasi-expérimental |
|---|---|---|
| Conception et protocole | 15 000 à 40 000 $ | 8 000 à 20 000 $ |
| Collecte de données de situation de référence | 30 000 à 150 000 $ | 15 000 à 60 000 $ (utilise souvent des données existantes) |
| Collecte de données de fin de programme | 30 000 à 150 000 $ | 15 000 à 60 000 $ |
| Analyse | 15 000 à 40 000 $ | 10 000 à 30 000 $ |
| Évaluation à mi-parcours (si incluse) | 20 000 à 80 000 $ | 10 000 à 40 000 $ |
| Examen éthique/IRB | 2 000 à 10 000 $ | 2 000 à 5 000 $ |
| Gamme totale | 100 000 à 500 000 $ et plus | 30 000 à 150 000 $ |
Le coût est principalement déterminé par la collecte de données primaires. Si une conception quasi-expérimentale peut utiliser des données administratives ou de suivi de routine existantes, les coûts diminuent considérablement. Une DD utilisant des dossiers d'établissements de santé pourrait coûter 30 000 à 50 000 $ au total. La même question traitée avec un ECR nécessitant des enquêtes auprès des ménages pourrait coûter 200 000 $ et plus.
Pièges courants
Pièges courants pour chaque approche
Écueils des ECR
Contamination. Le groupe témoin a accès au programme (ou à quelque chose de similaire) par une autre source. Votre contraste traitement-témoin s'effondre.
Attrition. Les personnes abandonnent l'étude à des taux différents dans les groupes de traitement et de contrôle. L'échantillon restant n'est plus comparable.
Sous-puissance. L'échantillon était trop petit pour détecter l'effet attendu. Vous terminez l'étude et ne trouvez "aucun effet significatif", mais le vrai problème est que vous n'auriez pas pu détecter un effet même s'il existait.
Effets hawthorne. Les gens changent de comportement parce qu'ils savent qu'ils sont étudiés, et non à cause du programme lui-même.
Écueils des méthodes quasi-expérimentales
Mauvais groupe de comparaison. Le groupe de comparaison diffère du groupe de programme d'une manière que votre modèle statistique ne capture pas. Les résultats ressemblent à un effet de programme mais sont en fait un effet de sélection.
Violation des tendances parallèles. Dans la DD, si le groupe de comparaison suivait déjà une trajectoire différente avant le programme, l'effet estimé est biaisé. Tracez toujours les tendances antérieures au programme pour les deux groupes. S'ils divergent, la DD n'est pas la conception appropriée.
Surajustement dans l'ASP. L'appariement sur trop de variables avec un petit échantillon produit des appariements qui semblent bons statistiquement mais sont pratiquement dénués de sens.
Événements confondants dans les SCI. Un changement de politique, un choc économique ou un autre programme est lancé en même temps que votre intervention. Les SCI ne peuvent pas séparer les effets.
Erreurs et guide de décision
Guide de décision
Passez en revue ces questions dans l'ordre.
1. La randomisation est-elle possible ?
- Oui, éthiquement et pratiquement : Envisagez un ECR. Mais vérifiez que votre taille d'échantillon est suffisante et que votre budget le permet.
- Non : Orienter-vous vers les options quasi-expérimentales.
2. Disposez-vous de données de situation de référence ?
- Oui, pour les zones de programme et de comparaison : La DD est votre option la plus solide.
- Oui, avec un seuil d'éligibilité basé sur un score : Vérifiez si la régression sur discontinuité fonctionne.
- Oui, avec de nombreux points de données antérieurs au programme mais sans groupe de comparaison : Envisagez les SCI.
- Pas de données de situation de référence : ASP avec des données de fin de programme uniquement (moins robuste), ou passez à des approches basées sur la Théorie du Changement.
3. Quel est votre budget ?
- Plus de 100 000 $ et la question exige une attribution causale : ECR ou QED robuste avec collecte de données primaires.
- 30 000 à 100 000 $ : QED utilisant des données existantes si possible. La DD avec des données de routine est souvent le meilleur rapport qualité-prix.
- Moins de 30 000 $ : N'essayez aucune de ces méthodes. Utilisez l'analyse de contribution ou d'autres approches basées sur la théorie. Voir Comment choisir la méthodologie d'évaluation.
4. Le programme est-il standardisé ?
- Même intervention partout : Les deux conceptions fonctionnent.
- Varie considérablement selon le site : La QED gère mieux la variation. Un ECR mesure l'effet moyen sur les variations, ce qui peut ne pas être utile pour un site spécifique.
Consultez le guide sur l'évaluation pour structurer votre conception une fois que vous avez fait votre choix, ou utilisez le pour explorer des alternatives si aucune de celles-ci ne convient.
Pièges à éviter
Piège 1 : considérer le "quasi-expérimental" comme un "ECR au rabais". Les méthodes quasi-expérimentales ne sont pas une version affaiblie d'un ECR. C'est une famille de conceptions différente, adaptée à des conditions distinctes. Une DD bien exécutée peut produire des preuves très crédibles. Un ECR mal exécuté, avec contamination et attrition, produit des données inutilisables.
Piège 2 : choisir la DD sans vérifier les tendances parallèles. La DD exige que les groupes de traitement et de comparaison suivaient la même trajectoire avant le programme. Si vous ne pouvez pas le prouver avec des données, votre estimation DD n'est pas fiable. Tracez les tendances antérieures au programme pour les deux groupes. S'ils divergent, la DD n'est pas la conception appropriée.
Piège 3 : opter par défaut pour un ECR parce que le bailleur de fonds a demandé des "preuves rigoureuses". Rigueur ne rime pas uniquement avec ECR. La plupart des bailleurs de fonds acceptent les évaluations quasi-expérimentales bien conçues. Demandez au bailleur de fonds ce dont il a réellement besoin. Des "preuves crédibles d'impact" peuvent provenir de la DD ou de l'ASP, pas seulement de la randomisation.
Piège 4 : ignorer l'effet de plan dans les essais randomisés en grappes. Si vous randomisez au niveau du village ou de l'école mais mesurez des individus, vous avez besoin de beaucoup plus d'unités que ne le suggère une randomisation au niveau individuel. Un échantillon de 200 personnes pourrait nécessiter plus de 40 grappes. Voir Comment choisir la taille de l'échantillon.
Piège 5 : réaliser une QED avec un mauvais groupe de comparaison et la qualifier de rigoureuse. Un groupe de comparaison qui diffère systématiquement du groupe de traitement d'une manière que votre modèle ne capture pas est pire que l'absence de groupe de comparaison. Il vous donne une estimation précise mais biaisée. Si vous ne pouvez pas trouver une comparaison crédible, utilisez des méthodes basées sur la Théorie du Changement au lieu de forcer une mauvaise QED.