Traçage de Processus

Quand l'utiliser

Le traçage de processus est particulièrement pertinent lorsque vous devez expliquer comment et pourquoi un résultat s'est produit dans un cas spécifique, au-delà de la simple question de savoir si votre intervention y a contribué. Il est recommandé de l'utiliser dans les situations suivantes :

• Tester les mécanismes causaux : Votre Théorie du Changement spécifie des voies particulières des activités aux résultats, et vous avez besoin de preuves que ces voies ont réellement fonctionné.
• Expliquer les résultats dans des contextes complexes : Lorsque l'attribution est difficile en raison de multiples acteurs, mais que vous devez néanmoins formuler des affirmations causales crédibles.
• Travailler avec des preuves qualitatives : Vous disposez de données riches au niveau du cas (entretiens, documents, observations) et avez besoin d'une méthode systématique pour les utiliser dans l'inférence causale.
• Évaluation a posteriori : Vous menez une évaluation après la mise en œuvre et devez évaluer si votre logique causale a tenu dans la pratique.
• Construire des arguments causaux sans expériences : Lorsque des conceptions d'évaluation d'impact comme les ECR ne sont pas réalisables, mais que des affirmations causales sont toujours requises.

Le traçage de processus est moins pertinent si votre objectif est d'estimer les effets moyens d'un traitement sur une population (préférez alors un plan quasi-expérimental). Il l'est également moins si vous êtes en phase de conception de programme et que vous souhaitez tester la plausibilité de votre logique causale avant la mise en œuvre (dans ce cas, une évaluation de la faisabilité ou des ateliers de développement de Théorie du Changement sont plus appropriés).

Comment cela fonctionne

Le traçage de processus repose sur une séquence d'étapes structurées. Cette méthode vise à « ouvrir la boîte noire » des mécanismes causaux par une collecte et une évaluation systématiques des preuves.

1. Spécifier le mécanisme causal à tester. Partez de votre Théorie du Changement et identifiez la voie causale spécifique que vous souhaitez examiner. Décomposez-la en étapes distinctes : quelles activités devraient mener à quels produits, quels résultats intermédiaires devraient suivre, et finalement quel résultat à long terme devrait en découler. Chaque lien de cette chaîne représente un mécanisme causal nécessitant un test.

2. Identifier les preuves nécessaires. Pour chaque étape du mécanisme causal, déterminez le type de preuve qui confirmerait sa réalisation. Cela peut inclure des données d'entretien, des documents de programme, des registres de suivi ou des sources externes. Soyez précis : ne vous contentez pas de « preuve de formation », mais spécifiez « registres de présence, évaluations pré/post et entretiens avec les participants documentant l'acquisition de compétences ».

3. Collecter les preuves de manière systématique. Rassemblez toutes les preuves disponibles pertinentes pour le mécanisme causal. Cette phase est souvent la plus chronophage, car elle implique de parcourir des documents, de mener des entretiens et de collecter des données qui n'ont peut-être pas été systématiquement enregistrées pendant la mise en œuvre. L'objectif est une collecte exhaustive, et non sélective, des preuves.

4. Évaluer les preuves à l'aide de tests diagnostiques. Le traçage de processus utilise quatre types de tests de preuves, chacun ayant des forces différentes :

   • Paille au vent : Preuve suggérant un lien causal, mais ne le prouvant pas de manière concluante.
   • Test du cerceau : Une condition nécessaire : si la preuve est absente, l'affirmation causale est falsifiée.
   • Arme fumante : Preuve suffisante qui, si présente, confirme fortement l'affirmation causale.
   • Doublement décisif : Preuve qui confirme l'affirmation causale tout en écartant les explications alternatives.

5. Évaluer la confiance causale. En fonction du poids des preuves, attribuez un niveau de confiance à votre affirmation causale. Cela est généralement exprimé comme une mise à jour bayésienne : vous partez d'une confiance préalable dans le mécanisme causal (basée sur la théorie et les preuves issues de contextes similaires), puis vous ajustez cette confiance en fonction des preuves que vous trouvez. Un traçage de processus solide permet de passer de « plausible » à « très probable » grâce au soutien probatoire cumulatif.

6. Considérer les explications alternatives. Un exercice rigoureux de traçage de processus teste activement les explications causales concurrentes. Pour chaque alternative, identifiez les preuves nécessaires pour la soutenir, puis recherchez ces preuves. Si les preuves soutiennent fortement votre mécanisme tandis que les alternatives manquent de soutien probatoire clé, votre affirmation causale est renforcée.

7. Documenter la chaîne de preuves. Créez une piste d'audit transparente montrant comment chaque élément de preuve se connecte à chaque étape du mécanisme causal. Cette documentation doit être suffisamment détaillée pour qu'un autre analyste puisse suivre votre raisonnement et parvenir à des conclusions similaires. La qualité du traçage de processus est jugée par la transparence et l'exhaustivité de cette chaîne probatoire.

Éléments clés

Une analyse de traçage de processus rigoureuse intègre les éléments essentiels suivants :

• Spécification du mécanisme causal : Une description claire et détaillée de la voie hypothétique de l'intervention au résultat, décomposée en étapes testables. Cela provient de votre Théorie du Changement mais doit être opérationnalisé en liens distincts et observables.

• Tests probatoires : Identification explicite du type de preuve qui confirmerait ou falsifierait chaque étape du mécanisme causal. Les tests du cerceau établissent des conditions nécessaires ; les armes fumantes fournissent une confirmation forte ; les preuves doublement décisives confirment et écartent les alternatives.

• Collecte de preuves : Collecte systématique de toutes les données disponibles pertinentes pour le mécanisme causal, y compris des documents de programme, des données de suivi, des entretiens avec les metteurs en œuvre et les bénéficiaires, et des sources externes. Les preuves doivent être crédibles et vérifiables.

• Évaluation de la confiance : Une évaluation transparente de votre niveau de confiance dans l'affirmation causale, basée sur la force et la quantité de preuves. Cela doit explicitement reconnaître l'incertitude plutôt que de présenter les conclusions comme définitives.

• Explications alternatives : Considération d'autres voies causales plausibles qui pourraient expliquer le résultat observé, avec des preuves évaluées pour chacune. Un fort traçage de processus tente activement de falsifier les alternatives, pas seulement de confirmer l'hypothèse principale.

• Documentation de la chaîne de preuves : Une piste d'audit détaillée reliant chaque élément de preuve à des étapes spécifiques du mécanisme causal. Cela permet aux autres de suivre votre raisonnement et d'évaluer la validité de vos conclusions.

• Analyse contextuelle : Compréhension des conditions dans lesquelles le mécanisme causal a opéré, y compris tout facteur contextuel ayant influencé la façon dont le mécanisme s'est déroulé. Les mécanismes causaux sont souvent dépendants du contexte.

Meilleures pratiques

1. Commencez par une hypothèse causale claire. Le traçage de processus n'est pas une « pêche aux informations » ; il requiert un mécanisme causal spécifique à tester. Déduisez-le de votre Théorie du Changement ou de la littérature existante sur des interventions similaires. Plus votre hypothèse est claire, plus votre collecte de preuves sera ciblée.

2. Spécifiez les tests probatoires avant la collecte des données. Décidez quel type de preuve confirmerait ou falsifierait chaque étape de votre mécanisme causal avant de commencer à collecter des données. Cela prévient le biais de confirmation et garantit que vous testez rigoureusement votre hypothèse, au lieu de simplement recueillir des anecdotes de soutien.

3. Utilisez toute la gamme des tests probatoires. Ne vous contentez pas de preuves de type « paille au vent » lorsque vous pouvez concevoir des tests du cerceau ou rechercher des « armes fumantes ». Les analyses de traçage de processus les plus solides combinent plusieurs types de tests, renforçant ainsi la confiance cumulative grâce à différents types de soutien probatoire.

4. Soutenez les hypothèses par la recherche. Pour chaque lien causal, documentez les preuves issues de la recherche ou de contextes similaires qui appuient la plausibilité de cette connexion. Cela renforce votre confiance préalable dans le mécanisme et aide à justifier vos affirmations causales, même lorsque les preuves directes sont limitées.

5. Développez des plans pour tester les hypothèses. Ne vous contentez pas d'identifier des hypothèses ; créez des plans spécifiques pour collecter les preuves qui confirmeront si elles se sont vérifiées. Cela transforme les hypothèses, de faiblesses cachées, en éléments surveillés de votre argument causal.

6. Portez attention aux hypothèses de liens causaux. Soyez particulièrement vigilant concernant les hypothèses intégrées à chaque connexion causale de votre mécanisme. Quels sont les « sauts de foi » que vous faites ? Quelles conditions contextuelles doivent être vraies ? Documentez-les explicitement et recherchez des preuves à leur sujet.

7. Organisez les résultats en voies causales. Assurez-vous que les résultats sont structurés comme des préconditions : chaque résultat devrait être nécessaire avant que les résultats plus en aval de la chaîne ne puissent se produire. La relation entre deux niveaux de résultat doit être causalement connectée, et non simplement séquentielle dans le temps.

8. Maintenez des normes probatoires cohérentes. Utilisez la même norme pour tous les liens causaux : une connexion fiable, logique et causale aux résultats. N'acceptez pas des preuves plus faibles pour certaines étapes tout en exigeant des preuves solides pour d'autres. La cohérence des normes probatoires renforce votre argument global.

Pièges courants

1. Utiliser des connexions causales indirectes. Évitez les liens causaux qui nécessitent d'inférer des résultats intermédiaires supplémentaires pour comprendre la connexion entre deux points. Si vous devez faire plusieurs « sauts » pour connecter votre activité à votre résultat, vous n'avez pas spécifié un mécanisme causal clair. Chaque étape devrait être directement observable et testable.

2. Laisser des impasses dans votre chaîne de résultats. Chaque résultat de votre mécanisme causal devrait se connecter au suivant ; il ne devrait pas y avoir de résultats orphelins ou de lacunes inexpliquées. Si vous ne pouvez pas spécifier ce qui vient ensuite ou ce qui mène à quelque chose, vous n'avez pas pleinement articulé le mécanisme.

3. Confondre contribution et causalité. La Cartographie des Incidences et des approches similaires documentent la contribution aux résultats dans des systèmes complexes, et non des relations de cause à effet isolées. Si vous affirmez que des mécanismes causaux spécifiques ont opéré, vous avez besoin de preuves de traçage de processus, et non seulement de preuves d'implication ou d'association.

4. Accepter des preuves faibles pour les affirmations causales. Si la qualité des données est médiocre, la stratégie causale mal conçue ou la collecte de preuves incomplète, vos résultats manqueront de crédibilité. Le traçage de processus exige des preuves de haute qualité, car vous formulez des affirmations causales spécifiques, et non pas seulement une documentation des activités.

5. Traiter le traçage de processus comme une justification rétrospective. L'erreur la plus courante est d'utiliser le traçage de processus pour justifier des conclusions déjà établies, plutôt que de véritablement tester des hypothèses causales. Cela conduit à une collecte de preuves sélective et à un biais de confirmation. Abordez l'analyse avec une réelle incertitude quant au fonctionnement de vos mécanismes.

6. Surestimer la confiance. Le traçage de processus fournit rarement une preuve définitive ; il offre des degrés variables de confiance dans les affirmations causales. Ne présentez pas les conclusions comme certaines lorsque les preuves ne soutiennent que des affirmations probabilistes. Reconnaissez explicitement l'incertitude.

7. Ignorer les explications alternatives. Une analyse de traçage de processus qui teste uniquement votre hypothèse préférée est incomplète. Vous devez activement considérer et tester des explications concurrentes, en recherchant des preuves qui pourraient les falsifier. La force de votre affirmation causale dépend de la manière dont les alternatives ont été écartées.

Exemples

Réforme de la Gouvernance - Europe de l'Est

Un programme de soutien à la démocratie en Ukraine a mis en œuvre une initiative pluriannuelle pour renforcer la surveillance parlementaire de la branche exécutive. La Théorie du Changement spécifiait que la formation des députés à l'analyse budgétaire conduirait à des questions plus rigoureuses en comité, ce qui se traduirait par des approbations budgétaires améliorées, augmentant finalement la responsabilité fiscale. Le traçage de processus a été utilisé dans une évaluation à mi-parcours pour tester si ce mécanisme causal a réellement fonctionné.

Les évaluateurs ont identifié des tests probatoires spécifiques pour chaque lien : transcriptions de comité montrant des questions accrues (test du cerceau), évaluations pré/post des compétences d'analyse budgétaire des députés (arme fumante), et modèles d'approbation budgétaire montrant des résultats améliorés (doublement décisif si corrélé avec la participation à la formation). Ils ont collecté 18 mois de transcriptions de comité, mené 45 entretiens avec des députés et du personnel, et rassemblé tous les documents de formation et registres de présence.

Les preuves ont confirmé que la formation a effectivement amélioré les compétences analytiques des députés (preuves solides), mais le lien entre l'amélioration des questions et l'approbation budgétaire était plus faible que prévu : les approbations budgétaires étaient davantage influencées par la dynamique politique que par la qualité technique. Cela a conduit à une Théorie du Changement révisée, incluant l'analyse de l'économie politique comme condition nécessaire. L'exercice de traçage de processus a identifié où le mécanisme causal s'est rompu, permettant l'adaptation du programme.

Systèmes de Santé - Afrique Subsaharienne

Un programme de renforcement des systèmes de santé au Malawi visait à améliorer les résultats de santé maternelle par des interventions basées sur les établissements. La Théorie du Changement spécifiait que la formation des travailleurs de santé aux protocoles d'urgence conduirait à des temps de réponse améliorés, ce qui réduirait la mortalité maternelle. Le traçage de processus a été utilisé pour tester ce mécanisme dans trois établissements.

Les évaluateurs ont collecté des données détaillées de chronométrage pour les réponses d'urgence, mené des examens de cas rétrospectifs d'événements de quasi-mortalité maternelle, et interrogé le personnel sur l'adhésion aux protocoles. Le test du cerceau était clair : si le mécanisme a opéré, il devrait y avoir des preuves de temps de réponse plus rapides dans les établissements formés. L'arme fumante serait des cas documentés où une réponse rapide a empêché un décès maternel.

Le traçage de processus a révélé que si la formation a effectivement amélioré les connaissances (confirmé par des évaluations), le lien causal vers les temps de réponse était bloqué par des problèmes systémiques : des pénuries d'équipement et des lacunes de personnel faisaient en sorte que même le personnel formé ne pouvait pas réagir rapidement. Le mécanisme causal était plausible mais non opérationnel en raison de contraintes contextuelles. Cette découverte a déplacé le focus du programme de la formation seule vers l'adressage des goulets d'étranglement systémiques.

Conservation - Asie du Sud-Est

Un programme de conservation forestière en Indonésie a mis en œuvre une surveillance communautaire pour réduire la déforestation. La Théorie du Changement spécifiait que la formation des surveillants communautaires conduirait à une meilleure détection de l'exploitation forestière illégale, ce qui augmenterait les actions d'application, réduisant finalement les taux de déforestation. Le traçage de processus a testé si ce mécanisme a opéré à travers cinq villages.

Les évaluateurs ont rassemblé des registres de surveillance, des registres d'application, des images satellites de la couverture forestière, et mené des entretiens avec des membres de la communauté, des fonctionnaires locaux et des opérateurs d'exploitation forestière. Les tests probatoires incluaient : détection documentée d'activité illégale par les surveillants communautaires (test du cerceau), preuves que les détections ont mené à des actions d'application (arme fumante), et corrélation entre l'intensité de la surveillance et les taux de déforestation (doublement décisif si des explications alternatives sont écartées).

Le traçage de processus a trouvé des preuves solides que la surveillance communautaire a détecté l'activité illégale, mais des preuves faibles que ces détections ont mené à l'application : les fonctionnaires locaux manquaient souvent d'autorité ou de volonté politique pour agir. Le mécanisme causal s'est rompu au lien de l'application. Cela a conduit à une adaptation du programme incluant un plaidoyer pour l'autorité d'application locale, adressant le goulot d'étranglement identifié dans la chaîne causale.

Comparé à

Le traçage de processus est l'une des nombreuses méthodes d'inférence causale. Voici les principales différences :

Indicateurs pertinents

12 indicateurs issus de 4 cadres de bailleurs de fonds majeurs (USAID, DFID, World Bank, FCDO) sont pertinents pour le traçage de processus et le test des mécanismes causaux :

• Test des mécanismes causaux : « Proportion des évaluations utilisant le traçage de processus ou des méthodes similaires pour tester les mécanismes causaux » (USAID)
• Qualité des preuves : « Nombre de mécanismes causaux vérifiés empiriquement par des chaînes de preuves systématiques » (DFID)
• Confiance en l'attribution : « Degré de confiance dans l'attribution causale basée sur les preuves de traçage de processus » (World Bank)
• Test des hypothèses : « Fréquence des hypothèses de mécanisme causal testées par la collecte de preuves » (FCDO)

Sujets connexes

• Analyse de Contribution : Méthode connexe pour évaluer la contribution lorsque l'attribution est difficile.
• Théorie du Changement : Les hypothèses causales testées par le traçage de processus.
• Évaluation d'Impact : Catégorie plus large de méthodes pour établir des affirmations causales.
• Contrefactuel : Le concept de ce qui se serait produit sans l'intervention.
• Attribution vs Contribution : Comprendre la distinction entre ces affirmations causales.
• Données Qualitatives : La principale source de preuves pour le traçage de processus.
• Inférence Causale : Le domaine méthodologique plus large visant à établir des relations de cause à effet.