Les indicateurs de processus évaluent la qualité de la mise en œuvre d'un programme, au-delà du simple décompte des activités. Ils permettent de comprendre comment le programme fonctionne, une question distincte de combien il produit.
Champ d'application des indicateurs de processus
Les indicateurs de processus se concentrent sur la dimension qualitative de la prestation d'un programme. Ils couvrent généralement les catégories suivantes :
- Fidélité. Mesure la conformité de la mise en œuvre par rapport au protocole ou au programme tel que documenté. Exemple : pourcentage de sessions de formation réalisées en couvrant tous les modules requis.
- Couverture. La proportion de la population éligible effectivement atteinte. Exemple : proportion des ménages ciblés ayant reçu au moins une visite à domicile par trimestre.
- Dose. La quantité ou la durée d'exposition des participants au programme. Exemple : nombre moyen de séances de conseil complétées par client inscrit.
- Adhésion. L'achèvement complet du protocole prévu. Exemple : pourcentage de participants ayant suivi l'intégralité du programme de 12 semaines.
- Marqueurs de qualité. Indicateurs de la qualité de la prestation perçue par les participants et observée par la supervision. Exemple : scores d'observation des superviseurs, taux de satisfaction des participants.
Il s'agit de mesures opérationnelles qui analysent le fonctionnement interne de la prestation du programme, plutôt que ses résultats finaux.
Indicateurs de processus vs indicateurs de produits : quelle différence ?
La distinction entre ces deux types d'indicateurs est plus claire lorsqu'on les compare.
Un indicateur de produit quantifie ce qui a été livré : « 5 formations organisées, 120 participants formés ».
Un indicateur de processus, lui, décrit la qualité de cette prestation : « 5 formations organisées avec 94 % de fidélité au programme, 87 % des participants ont assisté à toutes les sessions, et une note de fidélité du superviseur de 4,2 sur 5 ».
Les indicateurs de processus complètent ceux de produits en y ajoutant la dimension qualitative qu'un simple décompte ne peut pas saisir. Un programme peut en effet atteindre tous ses objectifs de produits tout en les réalisant de manière insatisfaisante ; seule une analyse des processus permettra de le révéler.
Principes clés pour la conception des indicateurs de processus
Pour qu'ils soient efficaces, les indicateurs de processus doivent respecter trois principes :
- S'appuyer sur un protocole ou une norme de prestation documentée. Un indicateur de processus est inopérant sans un protocole clair à mesurer. Si vous ne pouvez pas vous référer à un programme, une procédure opérationnelle standard (POS) ou une liste de contrôle de fidélité, c'est que vous mesurez autre chose.
- Collecter les données pendant l'activité, et non après. La fidélité, la présence et la dose doivent être enregistrées en temps réel, par le biais de journaux de session, de formulaires d'observation ou de listes de présence. Tenter de les reconstituer a posteriori mènera à des données erronées.
- Associer chaque indicateur de processus au produit qu'il qualifie. Les indicateurs de processus ne sont pas des entités autonomes. Ils servent à qualifier un produit spécifique. Il est donc recommandé de les concevoir par paires.
L'importance des indicateurs de processus dans la conception de programmes
Les indicateurs de processus enrichissent considérablement un plan de S&E. Ils permettent au programme de faire la distinction entre un échec de mise en œuvre et un échec de conception lorsque les résultats sont en deçà des attentes. Si les indicateurs de résultat progressent moins que prévu, les données de processus révèlent si la Théorie du Changement était erronée ou si la prestation n'a tout simplement pas été réalisée comme elle aurait dû l'être. Les évaluateurs des bailleurs de fonds sont de plus en plus attentifs aux indicateurs de processus, notamment pour les programmes exigeant une haute fidélité : interventions sanitaires fondées sur des preuves, programmes éducatifs à forte composante pédagogique, ou travail social de protection très protocolisé. Une erreur fréquente dans les propositions est de se limiter aux décomptes de produits sans y associer de qualificatifs de fidélité, ce qui aboutit à un plan de S&E incapable de diagnostiquer si la prestation est la cause des résultats observés. L'équilibre est essentiel : un plan de S&E robuste devrait inclure 15 à 30 % d'indicateurs de processus, qui viennent alimenter la mesure des résultats. À l'inverse, une surcharge d'indicateurs de processus au détriment des résultats constitue une autre erreur.
Contexte de la proposition
Les indicateurs de processus renforcent un plan de S&E en permettant au programme de distinguer un échec de mise en œuvre d'un échec de conception lorsque les résultats déçoivent. Si les indicateurs de résultat progressent moins qu'attendu, les données de processus indiquent si la théorie était fausse ou si la livraison n'a jamais eu lieu comme prévu. Les évaluateurs des bailleurs recherchent de plus en plus des indicateurs de processus dans les programmes à haute fidélité : interventions fondées sur des données probantes en santé, programmes éducatifs à pédagogie spécifique, gestion de cas de protection à protocole intensif. Un piège courant en proposition consiste à lister uniquement des comptages de produits sans le qualificatif de fidélité, produisant un plan de S&E incapable de diagnostiquer si la livraison génère les résultats. L'équilibre compte : 15 à 30 % des indicateurs d'un bon plan de S&E sont des indicateurs de processus alimentant la mesure des résultats. Surcharger le plan en processus au détriment du résultat est l'erreur inverse.
Pièges à éviter lors de l'utilisation des indicateurs de processus
- Concevoir un indicateur de processus sans protocole documenté. L'expression « pourcentage de sessions réalisées avec fidélité » n'a aucun sens si la notion de fidélité n'a pas été clairement définie. Le protocole doit précéder l'indicateur.
- Considérer le processus comme un substitut aux résultats. Une fidélité élevée et une participation complète ne suffisent pas à prouver l'efficacité d'un programme. Elles attestent uniquement que le programme s'est déroulé comme prévu. Il est impératif d'associer les indicateurs de processus aux indicateurs de résultat ; la mesure des processus ne doit jamais remplacer celle des résultats.
Pour aller plus loin : concepts associés
- Indicateur : Le concept général et sa définition fondamentale.
- Indicateur de produit : Ce qui a été produit ou livré (les indicateurs de processus en qualifient la réalisation).
- Indicateur de résultat : Les changements observés suite à la prestation.
- Sélection d'indicateurs : Comment choisir la combinaison appropriée d'indicateurs selon leur type.
- Gestion adaptative : L'utilisation des données de processus pour ajuster la prestation en temps réel.