Analyse de Contribution

Quand l'utiliser ?

L'Analyse de Contribution est la méthode appropriée lorsque vous devez démontrer de manière crédible l'impact de votre programme, mais qu'un essai contrôlé randomisé est impossible, et qu'une simple présentation de données de résultats sans explication causale serait insuffisante.

Elle est particulièrement utile lorsque :

• L'attribution est complexe ou contestée : plusieurs bailleurs, interventions parallèles ou facteurs contextuels complexes rendent impossible l'isolement de l'effet de votre programme.
• Les ECR sont irréalisables : des contraintes éthiques, logistiques ou de coût excluent les plans expérimentaux.
• La Théorie du Changement nécessite une validation : vous souhaitez vérifier si vos hypothèses causales se sont vérifiées pendant la mise en œuvre, et pas seulement rapporter des chiffres.
• Les bailleurs de fonds exigent un récit de contribution : les évaluations pour DFID, USAID ou UNDP attendent de plus en plus une explication de comment le programme a contribué, et pas seulement quels produits ont été livrés.
• Le programme est complexe ou adaptatif : de multiples voies, boucles de rétroaction ou contextes changeants signifient qu'un simple modèle intrant-produit ne capture pas ce qui s'est passé.

L'Analyse de Contribution est moins pertinente lorsque les résultats sont facilement mesurables et attribuables (un simple plan pré-post suffit), lorsque vous devez prouver la causalité de manière rigoureuse pour des décisions politiques (envisagez un plan quasi-expérimental), ou lorsque la question d'évaluation porte davantage sur quels résultats se sont produits plutôt que pourquoi (utilisez la récolte des résultats).

Fonctionnement de l'Analyse de Contribution

L'Analyse de Contribution repose sur un processus en six étapes, développé par John Mayne. Son objectif n'est pas de prouver que votre programme est la cause exclusive des résultats, mais de construire un récit de contribution : une narration documentée et étayée par des preuves, rendant plausible que votre programme ait contribué de manière significative aux changements observés.

Étape 1 : Exposer le problème d'attribution

Définissez précisément la question d'évaluation. Quels résultats le programme est-il censé avoir contribué à produire ? Sur quelle période ? Pour quelle population ? Reconnaissez d'emblée ce que vous pouvez et ne pouvez pas prouver. Cette étape permet d'éviter la dispersion et de cibler la collecte de preuves.

Étape 2 : Développer ou revoir la Théorie du Changement

L'Analyse de Contribution s'appuie sur la Théorie du Changement comme épine dorsale analytique. Si vous n'en possédez pas, élaborez-la. Si vous en avez une, explicitez les liens causaux et les hypothèses : chaque lien devient une proposition testable.

Étape 3 : Rassembler des preuves sur la Théorie du Changement

Collectez des données pour vérifier si chaque lien de la Théorie du Changement s'est avéré valide durant la mise en œuvre. Utilisez une combinaison de données quantitatives et qualitatives : données de suivi, enquêtes, entretiens avec des informateurs clés, examen de documents, groupes de discussion. Pour chaque lien causal, posez-vous la question : Existe-t-il des preuves que cette étape s'est produite ? Quelle est la solidité de ces preuves ?

Étape 4 : Assembler le récit de contribution

Synthétisez les preuves en un récit qui retrace les activités du programme jusqu'aux résultats. Soyez explicite quant aux points où les preuves sont solides, partielles ou absentes. Le récit de contribution doit se lire comme un argument raisonné, et non comme un simple rapport de chiffres.

Étape 5 : Rechercher et traiter les explications alternatives

Identifiez les explications alternatives aux résultats observés : autres programmes opérant dans le même domaine, changements contextuels (évolutions politiques, chocs économiques) ou effets de sélection. Présentez des preuves qui réfutent ces alternatives, ou reconnaissez-les honnêtement en expliquant pourquoi la contribution de votre programme demeure plausible.

Étape 6 : Réviser et renforcer le récit de contribution

Utilisez ce processus comme un exercice d'apprentissage. Lorsque les preuves sont faibles ou que les explications alternatives sont convaincantes, révisez votre Théorie du Changement ou indiquez les preuves supplémentaires nécessaires. Une analyse de contribution bien menée améliore la conception de vos futurs programmes.

Éléments clés

Une analyse de contribution complète requiert :

• Une revendication de contribution claire : une déclaration précise de ce que votre programme est censé avoir contribué à, pour qui, et pendant quelle période.
• Une Théorie du Changement explicite : avec tous les liens causaux et hypothèses documentés (pas seulement un diagramme).
• Preuves pour chaque lien : données ou résultats qualitatifs pour chaque étape de la Théorie du Changement, évalués pour la qualité et la pertinence.
• Test des explications alternatives : documentation explicite des causes alternatives et pourquoi elles sont insuffisantes ou incomplètes.
• Un récit de contribution : un document narratif (généralement 3-10 pages) synthétisant les éléments ci-dessus en un argument cohérent.
• Niveau de confiance : une déclaration transparente de la solidité ou de la faiblesse de la revendication de contribution globale, et ce qui augmenterait la confiance.
• Triangulation par méthodes mixtes : au moins deux sources de preuves indépendantes pour chaque revendication de contribution majeure.

Bonnes pratiques

Commencez par la Théorie du Changement, pas par les données. L'erreur la plus fréquente consiste à collecter les données avant d'essayer de construire un récit causal rétrospectivement. La Théorie du Changement doit guider la collecte de données, et non l'inverse.

Cartographiez explicitement les interventions aux résultats. Avant toute nouvelle collecte de données, documentez chaque activité de programme existante et associez-la au résultat spécifique auquel elle est censée contribuer. Cela permet d'éviter la rationalisation post-hoc.

Renforcez la plausibilité avec des preuves externes. Les récits de contribution gagnent en crédibilité lorsqu'ils s'appuient sur des recherches ou des programmes comparables démontrant l'efficacité des mêmes mécanismes causaux. Citez la littérature pertinente, les évaluations sectorielles ou les méta-analyses.

Formulez votre question d'évaluation comme une question de contribution. Posez-la sous la forme "Dans quelle mesure X a-t-il contribué à Y ?" plutôt que "Est-ce que X a causé Y ?". Cela établit le niveau de rigueur approprié et prévient le glissement de portée.

Privilégiez la triangulation itérative. Soumettez le récit de contribution au personnel du programme, aux membres de la communauté et à un évaluateur externe. Les différentes parties prenantes identifieront des explications alternatives que vous n'auriez pas envisagées. Chaque itération renforce le récit.

Soyez transparent sur les niveaux de confiance. Un récit de contribution qui reconnaît honnêtement la faiblesse des preuves pour certains liens est plus crédible – et plus utile – que celui qui surestime la certitude. Qualifiez chaque lien causal : Preuves solides / Preuves modérées / Preuves faibles / Aucune preuve.

Pièges à éviter

La considérer comme une excuse pour manquer de rigueur. L'Analyse de Contribution n'est pas un moyen d'éviter une collecte de données de qualité. Elle exige toujours une collecte de preuves systématique. La différence avec les plans expérimentaux réside dans le type de preuves et la revendication formulée, et non dans la norme de qualité.

Ignorer les explications alternatives. La lacune la plus fréquente dans les récits de contribution est l'absence de test rigoureux des causes alternatives. Si vous ne les abordez pas, les évaluateurs et les bailleurs de fonds le feront. Intégrez le test des explications alternatives dès la conception, et non comme une réflexion a posteriori.

Confondre contribution et attribution. L'objectif est une revendication de contribution plausible, et non une preuve de causalité. Des affirmations telles que "Notre programme a causé 30% de l'amélioration" sont généralement injustifiables et minent la crédibilité. Préférez plutôt : "Les preuves étayent une contribution significative de notre programme, les autres facteurs clés étant X et Y."

Omettre l'étape de révision de la Théorie du Changement. De nombreux évaluateurs produisent le récit de contribution sans jamais l'intégrer à la conception du programme. Cela gâche la principale valeur d'apprentissage de la méthode.

L'appliquer à des programmes simples. L'Analyse de Contribution est une méthode gourmande en ressources. Pour une intervention simple et bien définie, avec une seule voie causale, un plan pré-post avec un groupe de comparaison sera plus efficace et plus convaincant.

Documentation insuffisante. Un récit de contribution qui ne peut être rattaché à des sources de preuves spécifiques n'est pas un récit de contribution, mais une simple assertion. Chaque revendication causale doit être étayée par une source de preuves citée.

Exemples concrets

Programme de moyens de subsistance, Afrique de l'Est. Un programme d'agriculture de petits exploitants financé par USAID de quatre ans au Kenya a affirmé avoir contribué à l'augmentation du revenu des ménages parmi 40 000 bénéficiaires. Une analyse de contribution a été menée pour l'évaluation finale. La Théorie du Changement a cartographié le cheminement des intrants de formation, de l'adoption des connaissances, du changement de pratique, de l'amélioration du rendement, jusqu'à l'évolution des revenus. Les données de suivi ont confirmé la participation aux formations et les scores de connaissances. Les enquêtes agricoles ont révélé des améliorations de rendement corrélées à l'adoption de pratiques. L'explication alternative – une saison des pluies favorable – a été abordée en comparant les tendances de rendement chez les non-participants dans la même zone géographique (aucune amélioration similaire). Le récit de contribution a qualifié la contribution du programme de "confiance modérée à élevée" pour les résultats de rendement et de "confiance modérée" pour les revenus, reconnaissant la volatilité des prix comme un facteur de confusion.

Gouvernance et plaidoyer, Afrique de l'Ouest. Un programme de renforcement de la société civile financé par l'UE au Ghana cherchait à démontrer la contribution à une meilleure transparence budgétaire au niveau du district. Un récit de contribution a été élaboré en utilisant l'analyse documentaire (divulgations budgétaires accrues), des entretiens avec des informateurs clés (officiers des finances de district et partenaires OSC) et un exercice de cartographie politique. L'explication alternative – une nouvelle politique nationale de transparence gouvernementale – était significative. Le récit de contribution a soutenu que la formation au plaidoyer du programme a directement influencé la coalition des OSC qui a fait pression pour cette politique, documentant trois réunions clés. La revendication a été qualifiée de "confiance élevée pour l'influence politique, confiance modérée pour le changement de pratique au niveau du district".

Systèmes de santé, Asie du Sud. Un programme de nutrition soutenu par UNICEF au Bangladesh a fait face à un environnement d'attribution complexe : plusieurs bailleurs, campagnes gouvernementales de nutrition, et une baisse des prix mondiaux des produits de base se sont tous superposés aux améliorations des taux d'insuffisance pondérale infantile. Une analyse de contribution a cartographié les voies de prestation spécifiques du programme (SBCC au niveau communautaire, formation des agents de santé) en regard des changements observés. Plutôt que de s'attribuer le mérite de la réduction globale de l'insuffisance pondérale, le récit de contribution s'est concentré précisément sur les 120 unions du programme, démontrant des effets dose-réponse (les zones de mise en œuvre à plus haute intensité ont montré un changement plus rapide) et éliminant les effets de sélection différentiels. Le niveau de confiance était "modéré" pour la contribution à la réduction de l'insuffisance pondérale dans les zones du programme.

Comparaison avec d'autres méthodes

Indicateurs clés

31 indicateurs alignés sur les exigences des bailleurs de fonds existent dans les cadres USAID, DFID, UNDP et OECD-DAC pour évaluer la qualité de l'évaluation et la contribution du programme. Les plus fréquemment cités sont :

• Solidité des preuves reliant les activités du programme aux changements observés (échelle : 1-5)
• Nombre d'explications alternatives testées dans le rapport d'évaluation final
• Degré de soutien des hypothèses de la Théorie du Changement du programme par les preuves de mise en œuvre
• Niveau de qualité de la triangulation par méthodes mixtes utilisée dans l'évaluation
• Proportion des liens causaux dans la Théorie du Changement étayés par des données de suivi ou d'évaluation

Outils associés

• MEStudio Logic Model Builder : pour cartographier votre Théorie du Changement comme fondation analytique avant de débuter une analyse de contribution.
• Evaluation Planner : pour structurer votre matrice de collecte de preuves par lien causal.

Sujets liés

• Théorie du Changement : l'épine dorsale analytique de toute analyse de contribution.
• Attribution contre Contribution : comprendre quand chaque approche est pertinente.
• Traçage de Processus : une méthode complémentaire pour retracer les mécanismes causaux.
• Évaluation par Méthodes Mixtes : comment combiner preuves quantitatives et qualitatives pour la triangulation.
• Récolte des Résultats : une alternative pour les résultats émergents ou inattendus.
• Évaluation d'Impact : lorsque l'attribution causale rigoureuse est exigée.