Produit, résultat, Impact : comprendre les niveaux de Changement en S&E

Quelle est la distinction entre produits, résultats et impact ?

Le critère le plus simple : Pouvez-vous le contrôler directement ?

Si votre équipe peut le réaliser directement par ses activités, il s'agit d'un produit. Vous déterminez le nombre de formations à organiser, de moustiquaires à distribuer, ou de points d'eau à construire. Ces éléments sont sous votre contrôle direct. Les produits sont quantifiables, concrets et vérifiables : un nombre d'articles distribués, de personnes touchées, ou de sessions conduites. Votre cadre logique doit les lister clairement, et leur suivi est aisé.

Si sa concrétisation exige un changement de comportement de la part d'autres acteurs, il s'agit d'un résultat. Vous pouvez former 500 agriculteurs, mais l'adoption effective de nouvelles techniques dépendra d'eux. Vous pouvez distribuer des moustiquaires, mais leur utilisation quotidienne par les familles échappe à votre contrôle direct. Le résultat est le changement qui survient grâce à vos produits. C'est là que la véritable valeur de votre programme se manifeste : non pas dans ce que vous avez réalisé, mais dans ce qui a changé grâce à vos actions. La mesure des résultats demande davantage d'efforts. Elle requiert des données de situation de référence, des enquêtes de suivi et un délai suffisant pour que le changement se concrétise. Cependant, ce sont les résultats qui vous indiquent si votre programme produit un réel effet, et non pas seulement s'il est en cours d'exécution.

L'impact représente le changement à long terme et à grande échelle auquel votre programme contribue, parmi de nombreux autres facteurs. Réduction de la mortalité infantile, amélioration de la sécurité alimentaire à l'échelle d'un district, augmentation des taux d'alphabétisation : voilà des exemples d'impacts. Votre programme est un contributeur parmi d'autres, et démontrer votre contribution spécifique exige des méthodes d'évaluation rigoureuses, telles que les essais contrôlés randomisés ou l'analyse de contribution.

La plupart des programmes devraient concentrer leurs efforts de mesure sur les résultats plutôt que sur l'impact. La mesure de l'impact est coûteuse, prend du temps et la question de l'attribution est complexe. Une baisse de la malnutrition à l'échelle d'un district pourrait être due à votre programme, à des changements de politique gouvernementale, à une amélioration des précipitations, ou à une combinaison de ces facteurs. Démêler votre contribution de ces autres facteurs constitue un défi méthodologique que la plupart des budgets de projet ne peuvent pas absorber. À moins que votre bailleur de fonds n'exige spécifiquement une évaluation d'impact, il est préférable de consacrer vos ressources à une mesure robuste des résultats.

Activités et produits : une autre confusion fréquente

Avant de poursuivre, clarifions une autre confusion fréquente qui déroute tout autant les praticiens. Les activités sont les actions menées par votre équipe : organiser des formations, distribuer des fournitures, animer des réunions. Les produits sont les livrables tangibles de ces activités : le nombre de personnes formées, la quantité de fournitures distribuées, le nombre de réunions tenues.

Cette distinction est cruciale, car l'achèvement d'une activité ne garantit pas la production d'un livrable. Votre équipe peut organiser une formation (activité), mais si seulement 3 personnes y assistent, le produit est faible. Vous pouvez animer une réunion communautaire (activité), mais si celle-ci ne débouche sur aucune référence ou plan d'action concret, le produit est nul. Suivez les deux, mais gardez à l'esprit que les activités décrivent l'effort fourni, tandis que les produits décrivent les résultats concrets. Un cadre logique qui ne liste que des activités sous sa colonne "produits" révèle que l'équipe suit ce qu'elle fait, et non ce qu'elle réalise.

La chaîne de résultats

Ces trois concepts s'intègrent dans une chaîne de résultats qui illustre comment votre travail se relie au changement :

Intrants (ressources) → Activités (ce que vous faites) → Produits (ce que vous produisez) → Résultats (ce qui change) → Impact (la vue d'ensemble)

Chaque maillon de cette chaîne repose sur des hypothèses. Votre Théorie du Changement doit expliciter ce qui doit être vrai pour que les produits conduisent aux résultats, et pour que les résultats contribuent à l'impact. Ces hypothèses sont vérifiables, et votre système de S&E devrait les suivre attentivement.

Voici une illustration concrète des cinq niveaux pour un programme unique, une initiative de santé maternelle dans un district rural :

• Intrants : Financement, sages-femmes qualifiées, fournitures médicales, véhicules pour les activités de sensibilisation.
• Activités : Mener des visites de sensibilisation aux soins prénataux dans les villages isolés, former les accoucheuses traditionnelles, équiper les centres de santé en kits d'accouchement.
• Produits : 2 000 femmes ont bénéficié d'au moins quatre visites prénatales ; 50 accoucheuses traditionnelles ont achevé leur formation ; 12 centres de santé sont approvisionnés en kits d'accouchement.
• Résultats : La proportion de femmes accouchant dans des centres de santé est passée de 45 % à 72 % ; la détection précoce des complications à la naissance a augmenté de 20 % à 58 %.
• Impact : Le ratio de mortalité maternelle dans le district cible a diminué sur une période de 5 ans.

Notez comment chaque niveau s'appuie sur le précédent, et chaque transition repose sur des hypothèses. Le passage du produit au résultat suppose que les femmes ayant bénéficié de soins prénataux choisiront d'accoucher en établissement de santé. Ce n'est pas garanti. Les normes culturelles, l'éloignement de l'établissement, le coût du transport et la confiance envers les agents de santé influencent tous cette décision. Le passage du résultat à l'impact suppose que les accouchements en établissement, combinés à la détection précoce des complications, réduiront la mortalité au fil du temps. Si une hypothèse s'avère fausse, la chaîne se rompt. C'est pourquoi votre Théorie du Changement est essentielle : elle rend ces hypothèses visibles, vous permettant de les suivre et de les valider tout au long du programme.

Précisions terminologiques

Divers bailleurs de fonds emploient des termes différents pour désigner les mêmes concepts. Ce qu'un organisme appelle un "résultat", un autre le nomme "résultat intermédiaire" ou "objectif spécifique". L'UE utilise fréquemment le terme "résultats" là où l'USAID emploie "résultats intermédiaires". Le DFID (désormais FCDO) utilisait "résultat" et "impact" d'une manière qui correspondait globalement aux définitions présentées ici, sans être parfaitement identique. Ne partez pas du principe que la terminologie est universelle. Lorsque vous collaborez avec un bailleur de fonds spécifique, consultez son glossaire et alignez explicitement vos indicateurs sur son cadre de référence. Une mauvaise association peut générer de la confusion dans les rapports et donner l'impression qu'un programme pourtant solide est mal conçu.

Exemples par secteur

Santé

• Produit : 2 000 femmes ont bénéficié de consultations de soins prénataux.
• Résultat : Le pourcentage de femmes accouchant dans des centres de santé est passé de 45 % à 72 %.
• Impact : Le ratio de mortalité maternelle a diminué dans le district cible.

Éducation

• Produit : 30 enseignants ont suivi une formation de 5 jours sur les méthodes pédagogiques innovantes.
• Résultat : La proportion de salles de classe adoptant des méthodes d'enseignement centrées sur l'élève est passée de 15 % à 55 %.
• Impact : Les scores de lecture standardisés se sont améliorés à l'échelle du district.

Sécurité alimentaire

• Produit : 800 agriculteurs ont reçu des variétés de semences résistantes à la sécheresse et une formation adaptée.
• Résultat : Les ménages ayant adopté ces variétés ont augmenté leurs rendements agricoles de 35 % en moyenne.
• Impact : La prévalence de l'insécurité alimentaire dans la zone cible a diminué sur une période de 3 ans.

WASH (Eau, assainissement et hygiène)

• Produit : 15 points d'eau communautaires ont été construits et sont opérationnels.
• Résultat : La proportion de ménages utilisant des sources d'eau améliorées est passée de 40 % à 85 %.
• Impact : Réduction de l'incidence des maladies d'origine hydrique dans la zone d'intervention du programme.

Pièges courants

Piège 1 : confondre les produits avec les résultats. "Nombre de formations réalisées" est un produit, pas un résultat. Si l'énoncé commence par "nombre de [choses livrées]", il s'agit presque certainement d'un produit. C'est l'erreur la plus fréquente dans les cadres logiques et les plans de S&E. C'est crucial car les bailleurs de fonds attendent des preuves de changement, et non de simples décomptes d'activités. Une proposition qui présente des "résultats" au niveau des produits indique que l'équipe du programme n'a pas pleinement saisi la nature du changement qu'elle vise à générer.

Piège 2 : confondre les résultats avec l'impact. "Réduction de la pauvreté" est un impact, pas un résultat. Si votre programme de 3 ans prétend "réduire la pauvreté", il s'agit d'un objectif d'impact, non d'un résultat réaliste. Un résultat réaliste serait "le revenu des ménages des bénéficiaires cibles augmente de 20 %".

Piège 3 : négliger le lien entre produit et résultat. Distribuer 5 000 moustiquaires (produit) ne signifie pas automatiquement une diminution des cas de paludisme (résultat). Le lien dépend de l'utilisation effective des moustiquaires par les populations, et de leur bonne utilisation. Votre système de S&E doit mesurer à la fois le produit (moustiquaires distribuées) et le résultat (taux d'utilisation des moustiquaires, incidence du paludisme). Si vous ne mesurez que le produit, vous ne saurez jamais si la Théorie du Changement de votre programme est réellement pertinente.

Piège 4 : définir des indicateurs d'impact pour un programme de courte durée. Un projet de 2 ans ne peut pas mesurer de manière significative l'impact à l'échelle de la population. Le changement à l'échelle de la population prend du temps à se manifester, à être mesuré et à être attribué. Concentrez vos efforts de mesure sur les résultats que vous pouvez observer et attribuer de manière réaliste à votre travail, dans le cadre temporel de votre programme.

Piège 5 : ne disposer que d'indicateurs de produit. Si votre cadre logique ou votre plan de S&E ne contient que des indicateurs de produit, votre système de suivi se limite à l'activité et ne peut vous informer sur l'impact réel de votre programme. Vous avez besoin d'indicateurs de niveau résultat pour démontrer que votre travail génère un réel changement. Consultez Indicateur vs Cible vs Jalon pour plus d'informations sur la structuration de votre cadre d'indicateurs.

Guide de décision rapide

Utilisez ce guide rapide pour tout indicateur ou énoncé de résultat :

1. Votre équipe peut-elle le réaliser directement par ses activités ? → C'est un produit
2. Cela implique-t-il un changement de comportement, de connaissances ou de pratiques de la part d'autres acteurs ? → C'est un résultat
3. S'agit-il d'un changement à long terme, à l'échelle de la population, influencé par de nombreux programmes et facteurs ? → C'est un impact
4. Vous hésitez encore ? Posez-vous la question : "Si notre programme fonctionnait parfaitement, mais que le groupe cible n'opérait aucun changement, ce résultat se produirait-il quand même ?" Si oui, c'est un produit. Si non, c'est un résultat ou un impact.

Appliquez ce test à chaque énoncé de résultat dans votre cadre logique. Si vous constatez que tous vos résultats se classent dans une seule catégorie, votre cadre de résultats présente une lacune. Un cadre solide intègre les produits que vous réaliserez, les résultats que vous espérez observer, et une logique claire les reliant.

Ressources complémentaires

Pour élaborer votre propre chaîne de résultats en cartographiant correctement les produits, les résultats et l'impact, consultez le guide de référence sur la théorie du changement. Il explique chaque niveau et vous aide à articuler les hypothèses qui les relient. Pour approfondir chaque concept, consultez les entrées de référence associées dans la barre latérale.