Évaluation Réaliste

Quand Utiliser

L'évaluation réaliste est l'approche appropriée lorsque la question n'est pas simplement « le programme a-t-il fonctionné ? » mais « pour qui a-t-il fonctionné, dans quelles conditions, et par quels mécanismes ? » Développée par Ray Pawson et Nick Tilley dans les années 1990, l'évaluation réaliste est fondée sur le constat que les programmes ne provoquent pas directement les résultats — ils introduisent des ressources et des opportunités qui déclenchent des réponses chez des personnes spécifiques dans des contextes spécifiques.

Utilisez-la lorsque :

• Les résultats varient selon les sites ou les populations — le programme montre de bons résultats dans certains endroits et de mauvais résultats dans d'autres, et vous devez comprendre pourquoi
• Le contexte est central — le programme fonctionne par le biais de relations, de normes ou de conditions institutionnelles qui diffèrent de manière significative selon les contextes
• L'objectif est l'affinement de la théorie — vous voulez comprendre pourquoi un programme fonctionne pour l'améliorer, pas seulement s'il fonctionne en moyenne
• Les décisions de mise à l'échelle nécessitent de la spécificité — avant d'étendre un programme, les bailleurs et les gestionnaires doivent savoir quels contextes sont nécessaires pour que les mécanismes s'activent
• Les preuves existantes sont mitigées — la synthèse réaliste (la version basée sur la littérature) peut réconcilier les résultats contradictoires de plusieurs évaluations d'interventions similaires

L'évaluation réaliste est intensive en ressources et produit des résultats probabilistes et spécifiques au contexte plutôt que des effets de traitement moyens. Elle n'est pas adaptée lorsque les bailleurs ont besoin d'un verdict unique de type oui/non sur l'efficacité, lorsque les ressources sont limitées, ou lorsque la théorie du programme est très simple et le contexte relativement uniforme.

Comment Cela Fonctionne

L'évaluation réaliste est construite autour d'une unité analytique centrale : la configuration Contexte-Mécanisme-Résultat (CMR). Une configuration CMR indique : dans ce contexte (C), ce mécanisme (M) est déclenché, produisant ce résultat (R).

• Contexte — les conditions (sociales, institutionnelles, culturelles, géographiques, historiques) dans lesquelles un programme opère. Le contexte n'est pas seulement un arrière-plan ; il active ou supprime les mécanismes
• Mécanisme — le processus causal qui relie une ressource ou une activité du programme à un résultat. Les mécanismes sont généralement cachés — ils impliquent la façon dont les personnes raisonnent et répondent aux intrants du programme
• Résultat — le changement observable qui résulte lorsqu'un mécanisme s'active dans un contexte donné

Étape 1 : Élaborer la théorie initiale du programme (IPT)

Commencez par une théorie explicite de la façon dont le programme est censé fonctionner. Ce n'est pas seulement un modèle logique — il doit articuler les mécanismes par lesquels les ressources sont censées changer le comportement.

Étape 2 : Générer des hypothèses CMR

Traduisez la théorie du programme en un ensemble de configurations CMR testables. Par exemple : « Lorsque les agents de santé communautaires sont des figures respectées dans leur communauté (C), la fourniture gratuite de moustiquaires déclenche l'activation de la norme sociale autour de la protection de l'enfant (M), produisant une utilisation constante améliorée des moustiquaires (R). »

Étape 3 : Collecter des données pour tester les CMR

Des méthodes mixtes sont généralement requises. Les données quantitatives peuvent tester si les résultats ont varié selon le contexte. Les données qualitatives (entretiens, observations) peuvent sonder les mécanismes.

Étape 4 : Analyser les configurations CMR

Examinez quelles configurations CMR ont été confirmées, partiellement confirmées ou infirmées par les données. Là où les mécanismes ne se sont pas activés comme prévu, identifiez quel facteur contextuel les a supprimés.

Étape 5 : Affiner la théorie du programme

Révisez la théorie initiale du programme sur la base des résultats empiriques. L'évaluation réaliste est itérative — la théorie s'améliore à chaque cycle de test d'hypothèse.

Étape 6 : Produire une théorie de portée intermédiaire

Synthétisez les résultats en théories de portée intermédiaire transférables qui spécifient les conditions dans lesquelles ce type d'intervention produit ce type de résultats. Celles-ci sont plus utiles pour la prise de décision que les résultats spécifiques au contexte seuls.

Composantes Clés

• Théorie initiale du programme — logique causale explicite articulant les mécanismes, pas seulement les chaînes intrant-produit
• Configurations CMR — hypothèses testables reliant le contexte, le mécanisme et le résultat
• Cartographie du contexte — documentation systématique des facteurs contextuels pertinents pour l'activation des mécanismes
• Collecte de données par méthodes mixtes — quantitatif pour tester la variation des résultats selon le contexte ; qualitatif pour sonder les mécanismes
• Affinement itératif de la théorie — cycles répétés de test d'hypothèse et de révision de la théorie
• Théorie de portée intermédiaire — propositions transférables sur ce qui fonctionne pour qui, dans quelles conditions
• Évaluateurs formés à l'approche réaliste — cette approche nécessite des connaissances spécialisées pour être mise en œuvre de manière crédible

Bonnes Pratiques

Articuler explicitement les mécanismes. L'échec le plus courant dans l'évaluation réaliste consiste à traiter les mécanismes comme des boîtes noires. Une déclaration de mécanisme doit nommer la réponse déclenchée : « Les femmes participent à des groupes d'épargne (M : confiance sociale et obligation réciproque) lorsque des voisins qu'elles connaissent déjà sont membres (C), produisant une résilience financière améliorée (R). »

Surveiller le contexte tout au long de la mise en œuvre. Le contexte change pendant la mise en œuvre — changements politiques, fluctuations du marché, changements de leadership. Intégrez la surveillance du contexte dans la conception de l'évaluation.

Utiliser la théorie pour guider la collecte de données, et non les données pour générer la théorie. L'évaluation réaliste commence déductivement avec des hypothèses CMR et les teste — ce n'est pas une théorie ancrée. Commencer par les données et générer inductivement des CMR produit des résultats mal spécifiés.

Renforcer la plausibilité avec les preuves existantes. Avant de tester empiriquement les configurations CMR, examinez la littérature pour des preuves que les mécanismes proposés opèrent dans des contextes similaires.

Rapporter les cas négatifs. Les configurations CMR qui ont été infirmées sont aussi importantes analytiquement que celles qui ont été confirmées. Rapporter les deux.

Erreurs Courantes

Traiter le « contexte » comme des facteurs de confusion à éliminer. Dans l'évaluation réaliste, le contexte n'est pas du bruit — il est explicatif. Contrôler le contexte dans un modèle de régression détruit la valeur analytique de la variation contextuelle.

Lister des caractéristiques au lieu de spécifier des mécanismes. Dire « le programme a fonctionné dans des contextes urbains » est une observation contextuelle, pas une découverte réaliste. Une découverte réaliste explique pourquoi — quel mécanisme le contexte urbain active ou permet.

Utiliser le vocabulaire réaliste sans raisonnement réaliste. Les programmes décrivent parfois leur évaluation comme « réaliste » parce qu'ils ont collecté des données qualitatives à côté d'une enquête. L'évaluation réaliste nécessite un développement explicite d'hypothèses CMR, un affinement itératif de la théorie et une comparaison systématique entre les cas.

Concevoir sans une profondeur qualitative suffisante. Les mécanismes ne sont pas directement observables dans les données de résultat. Vous avez besoin d'entretiens, d'observations ou de documents qui révèlent comment les personnes ont répondu aux intrants du programme et pourquoi. Des données qualitatives superficielles produisent une spécification de mécanisme superficielle.

Affirmer la généralisabilité prématurément. Les théories de portée intermédiaire d'une seule évaluation réaliste sont des hypothèses, pas des lois. La réplication dans plusieurs contextes est nécessaire avant que la transférabilité puisse être affirmée.

Exemples

Santé communautaire, Afrique de l'Est. Une évaluation réaliste d'un programme d'agents de santé communautaires (ASC) au Kenya a identifié trois configurations CMR à partir de la théorie initiale du programme. La configuration principale — que les ASC intégrés dans les structures communautaires (C) déclencheraient le comportement de recherche d'aide par la confiance sociale (M) — a été confirmée dans les zones rurales où les ASC étaient élus par leurs communautés mais infirmée dans les zones péri-urbaines où les ASC étaient assignés de manière centrale. Une configuration secondaire sur les connaissances en santé maternelle a été confirmée dans tous les contextes. Ces résultats ont informé une refonte du processus de sélection des ASC pour la deuxième phase du programme.

Transferts monétaires, Afrique de l'Ouest. Une évaluation réaliste d'un programme de transferts monétaires conditionnels au Niger a trouvé que le même montant de transfert a produit des résultats nutritionnels très différents selon les régions. L'analyse des mécanismes a révélé que dans les marchés avec des chaînes d'approvisionnement en céréales fonctionnelles (C), le déclencheur monétaire a activé l'achat alimentaire commercial (M) et produit des améliorations de la diversité alimentaire (R). Dans les zones reculées avec des marchés minces, le mécanisme ne s'est pas activé car l'argent ne pouvait pas être échangé contre des aliments diversifiés. La découverte a façonné la stratégie de ciblage géographique pour la mise à l'échelle.

Gouvernance de l'éducation, Asie du Sud. Une synthèse réaliste de 23 évaluations de programmes de réforme de la gouvernance scolaire en Asie du Sud a identifié que les réformes produisant des améliorations de l'apprentissage partageaient une configuration CMR : lorsque le gouvernement local avait une capacité préalable et la confiance de la communauté (C), la formation du comité de gestion scolaire (M : reddition de comptes partagée) a produit des améliorations de la présence des enseignants et des gains d'apprentissage (R). Les réformes dans des contextes à faible capacité ont produit les structures de gouvernance sans activer le mécanisme de reddition de comptes.

Comparé à

Indicateurs Pertinents

18 indicateurs dans les cadres de DFID, UNDP et OECD-DAC. Exemples clés :

• Nombre de configurations CMR initialement hypothétisées versus confirmées par les données d'évaluation
• Degré auquel l'évaluation explique la variation des résultats selon les contextes de mise en œuvre (noté de 1 à 5)
• Proportion des recommandations d'évaluation qui spécifient les conditions contextuelles nécessaires à la réplication

Outils Connexes

• Planificateur d'Évaluation — structurez votre développement d'hypothèses CMR et votre plan de collecte de données
• Constructeur de Modèle Logique MEStudio — pour construire la théorie initiale du programme qui sous-tend l'analyse CMR

Sujets Connexes

• Traçage de Processus — une méthode complémentaire pour tracer les mécanismes causaux au sein de cas individuels
• Analyse de Contribution — une alternative pour construire des arguments causaux sans conception expérimentale
• Évaluation par Méthodes Mixtes — l'évaluation réaliste nécessite généralement des méthodes mixtes pour tester les configurations CMR
• Théorie du Changement — la théorie du programme qui génère les hypothèses CMR initiales
• Évaluation Développementale — une alternative pour les programmes très émergents où les CMR ne peuvent pas être pré-spécifiés

Lectures Complémentaires

• Pawson, R. & Tilley, N. (1997). Évaluation Réaliste. Londres : Sage. Le texte fondateur.
• Pawson, R. (2006). Politique Fondée sur des Preuves : Une Perspective Réaliste. Londres : Sage. S'étend à la synthèse réaliste.
• Blamey, A. & Mackenzie, M. (2007). « Théories du Changement et Évaluation Réaliste. » Évaluation, 13(4), 439-455. Comparaison avec d'autres approches basées sur la théorie.
• Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2012). « Normes de Publication RAMESES : Synthèses Réalistes. » BMC Medicine, 10, 21. Normes pour le rapportage de la synthèse réaliste.