L'Évaluation Réaliste : Comprendre le Pourquoi et le Comment des Programmes

Quand l'utiliser ?

L'évaluation réaliste est l'approche appropriée lorsque la question n'est pas simplement « le programme a-t-il fonctionné ? » mais « pour qui a-t-il fonctionné, dans quelles conditions, et par quels mécanismes ? ». Développée par Ray Pawson et Nick Tilley dans les années 1990, l'évaluation réaliste part du principe que les programmes ne provoquent pas directement les résultats ; ils mettent à disposition des ressources et des opportunités qui suscitent des réponses chez des individus spécifiques, dans des contextes donnés.

Utilisez-la lorsque :

• Les résultats varient selon les sites ou les populations : le programme montre de bons résultats à certains endroits et de moins bons à d'autres, et vous devez en comprendre la raison.
• Le rôle du contexte est primordial : le programme fonctionne par le biais de relations, de normes ou de conditions institutionnelles qui diffèrent significativement selon les contextes.
• L'objectif est d'affiner la théorie : vous souhaitez comprendre pourquoi un programme fonctionne afin de l'améliorer, et non pas seulement s'il fonctionne en moyenne.
• Les décisions de passage à l'échelle exigent de la spécificité : avant d'étendre un programme, les bailleurs de fonds et les gestionnaires doivent savoir quels contextes sont nécessaires pour que les mécanismes s'activent.
• Les données probantes existantes sont mitigées : la synthèse réaliste (la version basée sur la littérature) peut réconcilier les résultats contradictoires de plusieurs évaluations d'interventions similaires.

L'évaluation réaliste est gourmande en ressources et produit des résultats probabilistes et contextuels plutôt que des effets de traitement moyens. Elle n'est pas adaptée lorsque les bailleurs de fonds attendent un verdict simple (oui/non) sur l'efficacité, lorsque les ressources sont limitées, ou lorsque la théorie du programme est très simple et le contexte relativement uniforme.

Comment cela fonctionne

L'évaluation réaliste s'articule autour d'une unité analytique centrale : la configuration Contexte-Mécanisme-Résultat (CMR). Une configuration CMR indique : dans ce contexte (C), ce mécanisme (M) est déclenché, produisant ce résultat (R).

• Contexte : les conditions (sociales, institutionnelles, culturelles, géographiques, historiques) dans lesquelles un programme opère. Le contexte n'est pas un simple arrière-plan ; il active ou inhibe les mécanismes.
• Mécanisme : le processus causal qui relie une ressource ou une activité du programme à un résultat. Les mécanismes sont souvent latents ; ils décrivent la manière dont les individus raisonnent et réagissent aux intrants du programme.
• Résultat : le changement observable qui survient lorsqu'un mécanisme s'active dans un contexte donné.

Étape 1 : Élaborer la Théorie Initiale du Programme (TIP)

Commencez par une théorie explicite de la manière dont le programme est censé fonctionner. Il ne s'agit pas d'un simple modèle logique ; elle doit expliciter les mécanismes par lesquels les ressources sont censées influencer les comportements.

Étape 2 : Générer des hypothèses CMR

Traduire la théorie du programme en un ensemble de configurations CMR testables. Par exemple : « Lorsque les agents de santé communautaires sont des figures respectées dans leur communauté (C), la fourniture gratuite de moustiquaires déclenche l'activation de la norme sociale autour de la protection de l'enfant (M), produisant une utilisation constante améliorée des moustiquaires (R). »

Étape 3 : Collecter des données pour tester les CMR

Des méthodes mixtes sont généralement requises. Les données quantitatives permettent de vérifier si les résultats ont varié selon les contextes. Les données qualitatives (entretiens, observations) explorent les mécanismes.

Étape 4 : Analyser les configurations CMR

Examiner quelles configurations CMR ont été confirmées, partiellement confirmées ou infirmées par les données. Lorsque les mécanismes ne se sont pas activés comme prévu, il s'agit d'identifier les facteurs contextuels qui les ont inhibés.

Étape 5 : Affiner la théorie du programme

Réviser la théorie initiale du programme à la lumière des résultats empiriques. L'évaluation réaliste est un processus itératif : la théorie s'affine à chaque cycle de test d'hypothèses.

Étape 6 : Élaborer une théorie de portée intermédiaire

Synthétiser les résultats en théories de portée intermédiaire transférables qui spécifient les conditions dans lesquelles ce type d'intervention produit ce type de résultats. Celles-ci sont plus utiles pour la prise de décision que les seuls résultats spécifiques au contexte.

Éléments Clés

• Théorie initiale du programme : logique causale explicite articulant les mécanismes, et non pas seulement les chaînes intrant-produit.
• Configurations CMR : hypothèses testables reliant le contexte, le mécanisme et le résultat.
• Cartographie du contexte : documentation systématique des facteurs contextuels pertinents pour l'activation des mécanismes.
• Collecte de données par méthodes mixtes : données quantitatives pour tester la variation des résultats selon le contexte ; données qualitatives pour explorer les mécanismes.
• Affinement itératif de la théorie : cycles répétés de test d'hypothèses et de révision de la théorie.
• Théorie de portée intermédiaire : propositions transférables sur ce qui fonctionne, pour qui et dans quelles conditions.
• Évaluateurs formés à l'approche réaliste : cette approche nécessite des connaissances spécialisées pour être mise en œuvre de manière crédible.

Bonnes Pratiques

Expliciter clairement les mécanismes. L'erreur la plus fréquente en évaluation réaliste est de considérer les mécanismes comme des boîtes noires. Une description de mécanisme doit nommer la réponse déclenchée : « Les femmes participent à des groupes d'épargne (M : confiance sociale et obligation réciproque) lorsque des voisins qu'elles connaissent déjà sont membres (C), produisant une résilience financière améliorée (R). »

Assurer un suivi du contexte tout au long de la mise en œuvre. Le contexte évolue pendant la mise en œuvre : changements politiques, fluctuations du marché, changements de leadership. Intégrez le suivi du contexte dans la conception de l'évaluation.

La théorie doit guider la collecte de données, et non l'inverse. L'évaluation réaliste procède de manière déductive, en testant des hypothèses CMR ; ce n'est pas une approche de théorisation ancrée. Commencer par les données et générer inductivement des CMR produit des résultats mal spécifiés.

Renforcer la plausibilité à l'aide des données probantes existantes. Avant de tester empiriquement les configurations CMR, examinez la littérature pour des preuves que les mécanismes proposés opèrent dans des contextes similaires.

Documenter les cas négatifs. Les configurations CMR qui ont été infirmées sont aussi importantes analytiquement que celles qui ont été confirmées. Il est essentiel de rapporter les deux.

Pièges Courants

Considérer le « contexte » comme un facteur de confusion à éliminer. En évaluation réaliste, le contexte n'est pas un simple « bruit » ; il est explicatif. Contrôler le contexte dans un modèle de régression détruit la valeur analytique de la variation contextuelle.

Énumérer des caractéristiques au lieu de spécifier des mécanismes. Affirmer que « le programme a fonctionné en milieu urbain » est une observation contextuelle, non une conclusion réaliste. Une conclusion réaliste explique pourquoi : quel mécanisme le contexte urbain active ou favorise.

Adopter le vocabulaire réaliste sans la logique réaliste. Certains programmes qualifient parfois leur évaluation de « réaliste » simplement parce qu'ils ont collecté des données qualitatives en complément d'une enquête. L'évaluation réaliste exige un développement explicite d'hypothèses CMR, un affinement itératif de la théorie et une comparaison systématique des cas.

Concevoir une évaluation sans une profondeur qualitative suffisante. Les mécanismes ne sont pas directement observables à travers les données de résultats. Il faut des entretiens, des observations ou des documents qui révèlent comment et pourquoi les individus ont réagi aux intrants du programme. Des données qualitatives superficielles mènent à une spécification superficielle des mécanismes.

Affirmer la généralisabilité de manière prématurée. Les théories de portée intermédiaire issues d'une seule évaluation réaliste sont des hypothèses, non des lois. Une réplication dans plusieurs contextes est nécessaire avant de pouvoir affirmer leur transférabilité.

Exemples

Santé communautaire en Afrique de l'Est. Une évaluation réaliste d'un programme d'agents de santé communautaires (ASC) au Kenya a identifié trois configurations CMR à partir de la théorie initiale du programme. La configuration principale, selon laquelle les ASC intégrés aux structures communautaires (C) déclencheraient un comportement de recherche d'aide fondé sur la confiance sociale (M), a été confirmée dans les zones rurales où les ASC étaient élus par leurs communautés, mais infirmée dans les zones périurbaines où ils étaient désignés de manière centralisée. Une configuration secondaire sur les connaissances en santé maternelle a été confirmée dans tous les contextes. Ces résultats ont éclairé la refonte du processus de sélection des ASC pour la deuxième phase du programme.

Transferts monétaires en Afrique de l'Ouest. Une évaluation réaliste d'un programme de transferts monétaires conditionnels au Niger a révélé que le même montant de transfert a produit des résultats nutritionnels très différents selon les régions. L'analyse des mécanismes a montré que sur les marchés dotés de chaînes d'approvisionnement céréalières fonctionnelles (C), l'incitation monétaire a activé l'achat alimentaire commercial (M) et entraîné des améliorations de la diversité alimentaire (R). Dans les zones reculées où les marchés étaient peu développés, le mécanisme ne s'est pas activé car l'argent ne pouvait pas être échangé contre des aliments diversifiés. Cette découverte a façonné la stratégie de ciblage géographique pour le passage à l'échelle.

Gouvernance de l'éducation en Asie du Sud. Une synthèse réaliste de 23 évaluations de programmes de réforme de la gouvernance scolaire en Asie du Sud a révélé que les réformes ayant entraîné des améliorations de l'apprentissage partageaient une configuration CMR : lorsque le gouvernement local disposait d'une capacité préalable et de la confiance de la communauté (C), la formation du comité de gestion scolaire (M : redevabilité partagée) a produit des améliorations de la présence des enseignants et des gains d'apprentissage (R). Les réformes menées dans des contextes à faible capacité ont mis en place les structures de gouvernance sans activer le mécanisme de redevabilité.

Comparé à

Indicateurs Pertinents

18 indicateurs dans les cadres de DFID, UNDP et OECD-DAC. Exemples clés :

• Nombre de configurations CMR initialement hypothétisées et confirmées par les données d'évaluation
• Degré d'explication de la variation des résultats par l'évaluation selon les contextes de mise en œuvre (noté de 1 à 5)
• Proportion des recommandations d'évaluation qui précisent les conditions contextuelles nécessaires à la réplication

Outils Connexes

• Planificateur d'évaluation : pour structurer le développement de vos hypothèses CMR et votre plan de collecte de données.
• Générateur de Cadre Logique MEStudio : pour élaborer la théorie initiale du programme qui sous-tend l'analyse CMR.

Sujets Connexes

• Traçage de processus : une méthode complémentaire pour retracer les mécanismes causaux au sein de cas individuels.
• Analyse de contribution : une alternative pour élaborer des arguments causaux sans conception expérimentale.
• Évaluation par méthodes mixtes : l'évaluation réaliste requiert généralement des méthodes mixtes pour tester les configurations CMR.
• Théorie du Changement : la théorie du programme qui génère les hypothèses CMR initiales.
• Évaluation développementale : une alternative pour les programmes très émergents où les CMR ne peuvent pas être spécifiées à l'avance.