Indicateurs de processus vs résultats : comprendre leurs rôles et optimiser votre S&E

Quand les indicateurs de processus sont primordiaux

Utilisez les indicateurs de processus lorsque le programme est en phase initiale, lorsque la qualité de la mise en œuvre détermine si les résultats peuvent émerger, ou lorsque les cycles de gestion adaptative dépendent d'un retour d'information rapide.

Programmes en phase initiale. Avant que les résultats ne puissent être mesurés de manière significative, le programme doit être pleinement opérationnel. Les indicateurs de processus vous informent si la mise en œuvre se déroule réellement à la dose, à la fidélité et à la portée prévues. Au cours des 6 à 12 premiers mois d'un programme pluriannuel, les indicateurs de processus constituent vos principales données de suivi ; les indicateurs de résultats peuvent ne pas encore avoir produit de signal clair.

Programmes sensibles à la fidélité de la mise en œuvre. Certains programmes dépendent d'une prestation précise : une intervention basée sur des preuves pour la santé, une méthode pédagogique spécifique en éducation, un protocole standardisé dans les cas de protection. Pour ceux-ci, les indicateurs de processus mesurant la fidélité (la prestation correspondait-elle au protocole ?) sont essentiels à l'obtention des résultats. Un échec de résultat sans données de processus vous empêche de diagnostiquer si l'intervention a échoué ou si elle n'a tout simplement pas été livrée correctement.

Gestion adaptative. Les cycles adaptatifs trimestriels ou mensuels nécessitent des indicateurs qui évoluent suffisamment rapidement pour éclairer les décisions. Les indicateurs de processus se mettent à jour au fur et à mesure que les activités se déroulent ; les indicateurs de résultats ont généralement un décalage de plusieurs semaines ou mois. Les programmes utilisant des cycles d'apprentissage en temps réel ou trimestriels s'appuient fortement sur les indicateurs de processus comme flux de rétroaction.

Responsabilité de la mise en œuvre. Le personnel du programme est directement responsable des indicateurs de processus (il contrôle la prestation). Les indicateurs de résultats dépendent en partie de l'action des participants et du contexte externe, de sorte que la responsabilité est partagée. Les programmes dotés de cultures de responsabilité de mise en œuvre solides s'appuient fortement sur les indicateurs de processus pour la gestion quotidienne.

Quand les indicateurs de résultats sont primordiaux

Utilisez les indicateurs de résultats lorsque le programme fonctionne depuis suffisamment longtemps pour que le changement puisse émerger, lorsque la responsabilité des bailleurs de fonds est au niveau des résultats, ou lorsque les questions d'évaluation se concentrent sur l'efficacité.

Phases de mi-parcours et finale. Les indicateurs de résultats nécessitent généralement une situation de référence et au moins une mesure de suivi. Les examens à mi-parcours et les évaluations finales sont riches en indicateurs de résultats. Si votre rapport final contient plus de données de processus que de résultats, l'évaluation ne pourra pas répondre à la question fondamentale de savoir si le programme a fonctionné.

Responsabilité des bailleurs de fonds au niveau des résultats. La plupart des cadres logiques des bailleurs de fonds intègrent leurs indicateurs requis au niveau des résultats. Les cadres logiques de l'USAID F, du PEPFAR MER, du DFID/FCDO et les rapports alignés sur les ODD mettent tous l'accent sur la mesure des résultats. Les indicateurs de processus alimentent la gestion du programme ; les indicateurs de résultats alimentent les rapports aux bailleurs de fonds.

Contribution à l'impact. Les indicateurs de résultats constituent le pont de preuve entre ce que le programme a fait (processus/produits) et ce qui a changé à l'échelle de la population (impact). Sans indicateurs de résultats, vous ne pouvez pas affirmer que le programme a contribué au changement au niveau de l'objectif.

Apprentissage du programme sur l'efficacité. La question "quelle conception d'intervention produit les meilleurs résultats ?" nécessite des données de résultats. Les données de processus seules ne peuvent pas y répondre ; deux programmes peuvent avoir des indicateurs de processus identiques et des résultats très différents.

L'approche combinée

Les plans de S&E les plus solides utilisent des indicateurs de processus et de résultats par paires à chaque niveau de la chaîne de résultats. La structure de jumelage :

• Pour chaque résultat, spécifiez les indicateurs de processus qui l'alimentent.
• Pour chaque indicateur de processus, spécifiez le résultat que le processus est censé produire.
• Lorsque les résultats n'apparaissent pas, les données de processus vous indiquent s'il s'agissait d'un échec de mise en œuvre ou d'un échec de conception de l'intervention.

Exemple de paire : Indicateur de résultats "% d'accoucheuses formées appliquant le protocole d'hygiène aligné sur l'OMS pendant l'accouchement" (mesuré 6 mois après la formation via observation). Indicateurs de processus l'alimentant : "% d'accoucheuses ayant suivi le programme de formation complet de 5 jours", "% de sessions de formation dispensées avec une fidélité au programme ≥80 %", "% d'accoucheuses formées ayant reçu au moins une visite de supervision dans les 3 mois."

Lorsque le résultat est de 45 % et que vous visiez 75 %, les indicateurs de processus vous permettent de diagnostiquer : si la fidélité était de 95 % et la supervision de 90 %, la conception de l'intervention était plus faible que prévu ; si la fidélité était de 60 % et la supervision de 30 %, la mise en œuvre était faible et la conception de l'intervention peut encore être solide. Sans les indicateurs de processus, vous avez un résultat insatisfaisant et aucune explication.

Pour le cadre plus large de la façon de dimensionner votre portefeuille d'indicateurs, voir erreur trop d'indicateurs.

Concevoir des indicateurs de processus

De bons indicateurs de processus mesurent la mise en œuvre avec une spécificité suffisante pour qu'un contrôle ponctuel puisse les vérifier. Voici trois règles de conception.

Nommez la pratique spécifique, pas seulement l'activité. "Formations dispensées" est un indicateur faible ; "Formations dispensées avec un programme complet de 5 jours et un test pré/post administré" est mesurable et vérifiable. L'indicateur devrait échouer lorsque des raccourcis de mise en œuvre sont pris.

Liez à un protocole de mise en œuvre. Les indicateurs de processus supposent qu'un protocole défini existe. Si la formation n'a pas de programme écrit, la "fidélité au programme" ne peut pas être mesurée. Construisez l'indicateur autour du protocole, et non le protocole autour de l'indicateur.

Collectable au sein de l'activité elle-même. Les données de processus doivent être capturées au fur et à mesure que l'activité se déroule, et non reconstruites ultérieurement. L'achèvement de la formation à partir du registre de présence, la fidélité à partir d'une liste de contrôle d'observation du superviseur, l'adhésion à partir des journaux de session. La reconstruction de mémoire produit des données peu fiables.

Concevoir des indicateurs de résultats

De bons indicateurs de résultats mesurent le changement appliqué, et non les intentions déclarées. Voici trois règles de conception.

Mesurez le comportement ou le statut, pas l'intention auto-déclarée. "Les participants déclarent qu'ils prévoient d'utiliser la nouvelle compétence" est un indicateur de résultats faible. "Les participants formés démontrent leur compétence lors d'une pratique supervisée trois mois après la formation" est un indicateur fort. Les intentions ne sont pas des changements ; les comportements le sont.

Laissez suffisamment de temps pour que le changement se manifeste. Les résultats nécessitent un délai par rapport à la mise en œuvre. Mesurer les résultats une semaine après la formation capture généralement la mémorisation, pas le changement de comportement. Fenêtres typiques : 3-6 mois pour les transitions de la connaissance à la pratique, 6-18 mois pour le changement de comportement au niveau du ménage ou de l'établissement, 2-5 ans pour les changements de résultats au niveau de la population.

Liez explicitement à la Théorie du changement. Chaque indicateur de résultats doit correspondre à une affirmation spécifique de la Théorie du Changement. Si la Théorie du Changement stipule que "les travailleurs formés appliqueront le protocole d'hygiène de l'OMS lors des accouchements à domicile", l'indicateur de résultats doit mesurer exactement cette application, et non un substitut qui semble similaire.

Voir indicateurs SMART en profondeur pour les critères de qualité que chaque indicateur de résultats devrait respecter.

Exemples sectoriels

Santé : programme d'accouchement sécurisé en Afrique de l'Est

Un programme a formé 420 agents de santé communautaires aux pratiques d'accouchement sécurisé alignées sur l'OMS. Indicateurs de processus : achèvement de la formation (% ayant complété les 5 jours), fidélité (observation des sessions de formation par le superviseur), couverture de la supervision (% d'agents formés ayant reçu ≥1 visite de supervision dans les 6 mois suivant la formation). Indicateurs de résultats : % d'agents formés appliquant le protocole d'hygiène de l'OMS lors d'une observation d'accouchement supervisée 6 mois après la formation, % de femmes accouchées par un agent formé ne signalant aucune complication. L'examen à mi-parcours a révélé un achèvement de la formation à 91 % mais une application du protocole à 38 %. Le jumelage processus-résultats a montré que la couverture de la supervision n'était que de 52 %, et que les agents sans visites de supervision avaient des taux d'application de 18 % contre 61 % pour ceux ayant reçu ≥2 visites. Le programme a repensé le calendrier de supervision pour la deuxième cohorte.

Éducation : programme d'éducation des filles en asie du sud

Un programme d'éducation des filles a dispensé des sessions de mentorat hebdomadaires à 2 400 adolescentes dans 60 écoles. Indicateurs de processus : taux de présence aux sessions, fidélité du mentor au guide de session (contrôles ponctuels mensuels), achèvement du programme de 36 sessions. Indicateurs de résultats : % de filles participantes toujours inscrites à la fin de l'année scolaire, % de mères déclarant leur intention de soutenir leur fille pour qu'elle poursuive ses études secondaires, scores d'évaluation de l'alphabétisation à la fin du programme. Les données de processus ont montré une forte présence (83 %) et une fidélité raisonnable (76 %). Les résultats finaux ont montré un maintien de l'inscription à 91 % (contre 68 % pour le groupe témoin), une preuve solide que le programme a fonctionné. L'équilibre entre les indicateurs de processus et de résultats a permis à l'évaluation de confirmer l'efficacité et de diagnostiquer quelles écoles avaient la mise en œuvre la plus faible.

WASH : programme communautaire d'approvisionnement en eau en Afrique de l'Ouest

Un programme d'approvisionnement en eau en milieu rural a installé 80 points d'eau et formé des comités de l'eau à l'opération et à la maintenance. Indicateurs de processus : % de points d'eau installés selon les normes d'ingénierie, % de comités ayant suivi la formation O&M de 3 jours, % de comités ayant reçu au moins une visite technique post-formation. Indicateurs de résultats : % de points d'eau fonctionnels 12 mois après l'installation, distance moyenne des ménages à une source d'eau améliorée, pratiques de stockage de l'eau des ménages. L'évaluation finale a révélé une fonctionnalité de 85 % (cible 90 %) et a montré que les comités sans visites techniques post-formation n'avaient qu'une fonctionnalité de 56 % contre 94 % pour ceux ayant reçu ≥2 visites. Le lien processus-résultats a conduit à une refonte de l'approche de mentorat continu pour les phases ultérieures du programme.

Sécurité alimentaire : programme de moyens de subsistance en Afrique australe

Un programme de moyens de subsistance a mis en place des groupes d'épargne et des formations agricoles pour 3 200 ménages dans 28 communautés. Indicateurs de processus : % de groupes d'épargne se réunissant mensuellement, présence moyenne aux réunions, % d'agriculteurs formés appliquant au moins 3 des 5 pratiques enseignées au cours d'une saison de plantation. Indicateurs de résultats : score de sécurité alimentaire des ménages (HFIAS) à la situation de référence vs à la fin du programme, diversité alimentaire des ménages, réduction de l'écart alimentaire saisonnier. La conformité élevée des processus (taux de réunion mensuel des groupes d'épargne de 88 %) associée à un changement de résultats modéré (amélioration du HFIAS dans 62 % des ménages) a suggéré que la mise en œuvre était solide mais que la conception de l'intervention devait être renforcée pour les 38 % de ménages ne montrant aucune amélioration de la sécurité alimentaire. Le programme a commandé une étude qualitative ciblée pour comprendre les non-répondants.

Pièges courants

Piège 1 : rapporter les indicateurs de processus comme s'ils étaient des résultats. "500 femmes formées" n'est pas un résultat. "500 femmes déclarant une confiance accrue" n'est pas non plus un résultat (intention auto-déclarée). Le résultat est ce que les femmes peuvent faire ou font différemment, mesuré à un moment ultérieur.

Piège 2 : ne sélectionner que des indicateurs de processus par facilité. Les indicateurs de processus sont moins coûteux et plus faciles à collecter que les indicateurs de résultats. Cela peut biaiser la sélection des indicateurs vers ce qui est facile à mesurer, produisant un plan de S&E qui gère bien le programme mais ne peut pas démontrer si le programme fonctionne.

Piège 3 : ne sélectionner que des indicateurs de résultats et perdre le signal de mise en œuvre. Lorsque les résultats sont insatisfaisants, vous avez besoin d'indicateurs de processus pour diagnostiquer pourquoi. Un plan avec une mesure riche des résultats mais sans données de processus produit des analyses post-mortem sans diagnostic actionnable.

Piège 4 : confondre les indicateurs de produits avec les indicateurs de résultats. Les produits comptabilisent les livrables ; les résultats mesurent le changement. "Nombre de stations de lavage des mains construites" est un produit ; "Pourcentage de ménages pratiquant le lavage des mains aux moments critiques" est un résultat. Les deux ne sont pas interchangeables.

Piège 5 : mesurer les résultats trop tôt. Un programme qui mesure "l'application des compétences" une semaine après la formation mesure la rétention à court terme, pas un changement de comportement durable. Prévoyez un minimum de 3 à 6 mois pour la plupart des mesures de résultats, et plus longtemps pour un changement de comportement durable.

Piège 6 : ne pas associer les indicateurs de processus et de résultats. Lorsque les données de résultats sont décevantes, l'absence de données de processus associées signifie que vous ne pouvez pas diagnostiquer s'il s'agissait d'une faiblesse de mise en œuvre ou d'une faiblesse d'intervention. Concevez-les par paires, et non comme des listes distinctes.

Piège 7 : utiliser l'intention déclarée comme substitut de résultat. "Les participants déclarent qu'ils prévoient d'utiliser la nouvelle compétence" capture la mémorisation et la désirabilité sociale, pas le changement de comportement. Mesurez ce que les participants font, pas ce qu'ils disent qu'ils feront.

Piège 8 : prétendre que les données de processus prouvent l'efficacité. Un taux d'achèvement de formation de 95 % ne signifie pas que la formation a fonctionné. Les rapports aux bailleurs de fonds qui mettent en évidence les métriques de processus comme s'il s'agissait de preuves d'efficacité créent des problèmes de crédibilité au moment de l'évaluation.

Liste de contrôle pour la sélection des indicateurs de processus et de résultats

Passez en revue cette liste pour chaque indicateur lorsque vous construisez ou révisez votre plan de S&E.

Pour chaque indicateur de processus :

• Mesure la qualité de la mise en œuvre, pas seulement le nombre de livrables.
• Lié à un protocole documenté ou à une norme de prestation.
• Collectable pendant ou immédiatement après l'activité.
• Associé à au moins un indicateur de résultats qu'il est censé alimenter.

Pour chaque indicateur de résultats :

• Mesure le changement appliqué (comportement, compétence, statut), pas l'intention déclarée.
• Suit une mesure de référence ou permet une comparaison avant-après.
• Le calendrier de collecte permet au changement d'émerger (généralement 3-6+ mois après l'activité).
• Lié à une affirmation spécifique de la Théorie du Changement.
• Associé à au moins un indicateur de processus qui l'alimente.

Pour le portefeuille d'indicateurs :

• Le ratio correspond à la phase du programme (initiale : plus de processus ; mi-parcours/finale : plus de résultats).
• Aucune substitution des indicateurs de processus par des indicateurs de résultats dans les rapports aux bailleurs de fonds.
• La section "Pièges courants" du plan de S&E aborde l'interprétation de l'association processus-résultats.
• Le protocole d'examen à mi-parcours inclut une logique de diagnostic explicite processus-résultats.

Pour le cadre plus large de conception des indicateurs, voir indicateurs SMART en profondeur et indicateurs personnalisés vs standard. Pour savoir comment ces indicateurs s'intègrent dans un plan de S&E, voir comment rédiger un plan de S&E. Pour un flux de travail étape par étape assisté par l'IA, voir le guide de développement d'indicateurs.