Définition
Le contrefactuel représente la situation qui aurait prévalu pour un groupe de bénéficiaires en l'absence d'une intervention. C'est la réalité alternative à laquelle les résultats observés sont comparés. Il constitue la pierre angulaire de l'attribution causale dans une Évaluation d'Impact : sans cette connaissance de ce qui se serait produit naturellement, il est impossible d'affirmer que votre programme est la cause des changements observés.
En pratique, le contrefactuel est élaboré à l'aide de groupes de comparaison (groupes de contrôle ou de traitement), de techniques statistiques avancées (comme l'appariement par score de propension ou la discontinuité de régression), ou de Plans Quasi-Expérimentaux qui simulent l'expérience d'un véritable groupe de contrôle. Le contrefactuel ne se limite pas à une simple mesure de Situation de Référence ; il s'agit d'une comparaison des résultats post-intervention entre les bénéficiaires de l'intervention et ceux qui ne l'ont pas reçue.
Pourquoi le contrefactuel est essentiel
Le contrefactuel est essentiel car, comme chacun sait, la corrélation n'implique pas la causalité. Sans contrefactuel, il est impossible de distinguer les effets réels du programme des facteurs suivants :
- Tendances de fond : des changements qui se seraient produits indépendamment du programme, sous l'influence de forces économiques, politiques ou sociales plus larges.
- Biais de sélection : les participants à un programme diffèrent souvent systématiquement des non-participants, ce qui peut influencer les résultats observés.
- Chocs externes : des événements imprévus (tels que des fluctuations de marché, des catastrophes climatiques ou des changements de politique) qui peuvent affecter tous les groupes.
- Maturation : les changements naturels qui surviennent au fil du temps, indépendamment de toute intervention.
Lorsque les bailleurs de fonds exigent des preuves qu'un programme "a fait la différence" ou "a entraîné une amélioration", ils recherchent une attribution causale fondée sur le contrefactuel. Sans cette approche, il est seulement possible de décrire ce qui s'est passé, et non ce que votre programme a réellement accompli.
En Pratique
Les contrefactuels peuvent être construits de diverses manières dans les approches d'évaluation :
Les Essais Contrôlés Randomisés (ECR) établissent le contrefactuel de référence en assignant aléatoirement les participants à des groupes de traitement et de contrôle. La randomisation garantit que les groupes sont statistiquement équivalents à la Situation de Référence, permettant ainsi d'attribuer toute différence post-intervention au programme.
Les Plans Quasi-Expérimentaux permettent d'approcher les contrefactuels lorsque la randomisation n'est pas réalisable. L'appariement par score de propension, par exemple, compare les participants au programme à des non-participants présentant des caractéristiques observables similaires. La discontinuité de régression, quant à elle, exploite des seuils arbitraires (par exemple, seules les communautés au-dessus d'un certain seuil de pauvreté reçoivent le programme) pour constituer des groupes comparables.
La Différence des différences compare les évolutions temporelles entre les groupes de traitement et de contrôle, isolant ainsi l'effet du programme des tendances générales affectant les deux groupes.
L'Analyse de Contribution adopte une approche distincte lorsque la construction d'un contrefactuel direct est impossible : elle établit un récit causal en démontrant que les explications alternatives ont été écartées, plutôt que par une comparaison directe.
Le choix de la méthode contrefactuelle dépend de plusieurs facteurs : sa faisabilité, les considérations éthiques, les ressources disponibles et le niveau de rigueur requis pour l'attribution. Les ECR fournissent les preuves les plus solides, mais sont souvent impraticables ou soulèvent des questions éthiques. Les méthodes Quasi-Expérimentales offrent un compromis intéressant, mais exigent une conception rigoureuse pour minimiser les biais.
Sujets Connexes
- Plans Quasi-Expérimentaux : Méthodes pour construire des contrefactuels sans randomisation.
- Évaluation d'Impact : Évaluations spécifiquement conçues pour établir l'attribution causale.
- Analyse de Contribution : Approche alternative lorsque les contrefactuels ne sont pas réalisables.
- Attribution vs Contribution : Comprendre la distinction entre ces deux approches de l'établissement de la causalité.
- Essai Contrôlé Randomisé (ECR) : La méthode de référence pour la construction de contrefactuels.