L'erreur
Le problème : trop d'indicateurs
Vous ouvrez le modèle d'appel à propositions. Il contient 25 lignes pour les indicateurs. Vous les remplissez toutes. Ou l'équipe de programme vous remet un document de conception avec 40 métriques de niveau produit et vous demande de les "intégrer au cadre logique". Ou encore, vous héritez d'une proposition antérieure avec 35 indicateurs et une échéance serrée, alors vous les laissez tels quels.
Le résultat est un cadre logique où chaque activité a deux ou trois indicateurs, chaque résultat en a quatre, et la ligne d'impact présente trois mesures qui se chevauchent pour la même chose. Le plan de S&E qui en découle prétend collecter des données sur tous ces indicateurs. Le budget de S&E ne peut pas réellement financer une telle ambition. L'équipe le sait, elle a vu des projets antérieurs où la moitié des indicateurs n'ont jamais été rapportés. Elle soumet quand même.
Nombre d'indicateurs raisonnable par taille de programme
| Taille du programme | Fourchette raisonnable | Zone d'alerte |
|---|---|---|
| Petit (250 K-1 M $, 1-2 ans) | 6-12 indicateurs | 15+ |
| Moyen (1 M-5 M $, 2-3 ans) | 8-18 indicateurs | 22+ |
| Grand (5 M-15 M $, 3-5 ans) | 12-22 indicateurs | 28+ |
| Très grand (15 M+ $, 5+ ans) | 15-25 indicateurs | 30+ |
La colonne "zone d'alerte" n'est pas une limite stricte. C'est le seuil à partir duquel un évaluateur typique signalera la section pour un examen de faisabilité. Rester dans la fourchette raisonnable ne garantit pas la qualité de votre cadre logique, mais cela élimine une raison facile de vous pénaliser.
Les causes de cette erreur
Quatre facteurs sont à l'origine de cette erreur. Premièrement, la pression du modèle : si le bailleur de fonds vous a fourni 25 lignes, il semble risqué d'en laisser certaines vides. Deuxièmement, la prudence des parties prenantes : chaque membre de l'équipe contribue "son" indicateur, et personne ne souhaite supprimer la contribution d'un collègue. Troisièmement, la fausse exhaustivité : les équipes confondent une longue liste d'indicateurs avec un plan de S&E approfondi, alors que les deux sont presque opposés. Quatrièmement, les propositions héritées : les équipes reprennent des cadres logiques de soumissions antérieures sans les réduire, ajoutant les indicateurs du nouveau programme par-dessus les anciens.
Le problème sous-jacent est qu'une liste d'indicateurs donne l'impression d'une couverture exhaustive. Plus d'indicateurs semblent signifier plus de responsabilisation. En pratique, une liste plus longue signifie que chaque indicateur est moins bien mesuré, que davantage de données ne sont pas collectées, et que le système perd en crédibilité lorsque des résultats partiels sont rapportés comme complets. Un cadre logique de 15 indicateurs que chaque responsable S&E rapporte clairement a plus de valeur pour un bailleur de fonds qu'un cadre logique de 30 indicateurs avec des lacunes trimestrielles.
Pourquoi c'est important
La perception des évaluateurs
Les évaluateurs de propositions expérimentés comptent les indicateurs dans les 30 premières secondes. Un nombre supérieur à 25 pour un programme de taille moyenne est un signal d'alarme avant même qu'ils n'aient lu un seul texte d'indicateur. Ils en déduisent trois choses :
- L'équipe n'a pas su prioriser. Si tout est un indicateur clé, alors rien ne l'est vraiment.
- Le budget de S&E est sous-dimensionné. Trente indicateurs exigent plus de personnel, plus de cycles de collecte de données et plus de temps d'analyse que la plupart des budgets de proposition ne peuvent absorber. Si le plan de S&E prétend le contraire, l'équipe est trop optimiste.
- Les données ne seront pas utiles. Trop d'indicateurs génèrent trop de bruit pour que quiconque puisse les interpréter. Les bailleurs de fonds veulent un tableau de bord, pas une feuille de calcul.
Aucune de ces impressions ne nécessite de lire le narratif. Le simple nombre les crée.
L'impact budgétaire
Le nombre d'indicateurs influence le coût du S&E de manière quasi linéaire, mais les budgets de S&E s'adaptent rarement en conséquence. Un coût plancher raisonnable par indicateur dans un programme typique de santé ou d'éducation (enquêtes, développement des moyens de vérification, analyse, rapports) est de 1 à 2 % du budget de S&E. Trente indicateurs impliquent un budget de S&E qui peut couvrir 30 à 60 % de son coût juste pour les données instrumentées. Cela laisse peu de place pour les évaluations, les AQD, les événements d'apprentissage ou le temps du personnel.
Les évaluateurs qui ont géré des programmes comprennent immédiatement ce calcul. Lorsque votre budget de S&E se situe entre 5 et 10 % du total (ce qui est typique) et que votre nombre d'indicateurs est supérieur à 30, le ratio ne fonctionne pas. Ils pénalisent la faisabilité.
La solution
Quatre questions clés pour la sélection
Avant de conserver un indicateur, soumettez-le à quatre questions :
- Quelle décision cela éclaire-t-il ? Nommez la décision spécifique : "Cet indicateur nous dit s'il faut étendre l'intervention à un nouveau district en Année 3." Si vous ne pouvez pas nommer une décision, supprimez-le.
- Un autre indicateur mesure-t-il déjà cela ? Souvent, deux ou trois indicateurs tournent autour du même changement de comportement. Conservez celui qui a les moyens de vérification les plus solides et supprimez les autres.
- Pouvons-nous collecter ces données de manière faisable ? Si les moyens de vérification exigent des enquêtes ménages mensuelles mais que votre budget ne couvre que des situations de référence annuelles, l'indicateur est un fardeau. Supprimez-le ou repensez-le.
- Cet indicateur a-t-il sa place dans le cadre logique, ou dans un plan de travail ? Les comptabilisations d'activités ("nombre de formations dispensées", "réunions tenues") appartiennent souvent au suivi du plan de travail, et non à un cadre logique que les bailleurs de fonds lisent.
La plupart des équipes réduisent de 30 à 50 % leur liste initiale d'indicateurs lorsqu'elles appliquent ces tests honnêtement. Utilisez la liste de contrôle des indicateurs SMART pour identifier des problèmes supplémentaires dans les indicateurs que vous conservez ; elle détecte les problèmes de spécificité et de mesurabilité que les tests de décision peuvent manquer.
Que faire des indicateurs non retenus ?
Les indicateurs supprimés ne disparaissent pas. Ils sont déplacés vers trois endroits :
- Suivi du plan de travail : les comptabilisations au niveau des activités vont dans votre diagramme de Gantt ou votre outil de suivi du plan de travail, pas dans le cadre logique. Votre responsable S&E les suit toujours ; les bailleurs de fonds ne les voient pas dans le rapport formel.
- Annexe du plan de S&E : des indicateurs secondaires intéressants peuvent figurer dans une annexe signalée comme "indicateurs supplémentaires, suivis si les ressources le permettent". Cela indique que vous les avez considérés sans encombrer la matrice principale.
- Questions d'apprentissage : certains indicateurs sont en réalité des questions déguisées. Déplacez-les vers une section d'agenda d'apprentissage où ils éclairent l'adaptation plutôt que le rapport trimestriel.
Le cadre logique qui en résulte devrait contenir 8 à 20 indicateurs au total, regroupés dans une hiérarchie claire : 1 à 3 indicateurs d'impact, 3 à 6 indicateurs de résultats, et le reste en produits. C'est ce que les évaluateurs attendent. C'est ce que votre équipe peut réellement livrer. Pour le formatage spécifique aux bailleurs de fonds, consultez le guide de la section S&E de la proposition.
Pièges courants à éviter
Un nombre excessif d'indicateurs est rarement un problème isolé. Il s'accompagne généralement de ces erreurs connexes :
- Regrouper les métriques d'activité avec les métriques de résultats. Les comptabilisations de formations, les décomptes de réunions et les journaux de distribution sont des activités, pas des résultats. Ils gonflent le nombre d'indicateurs et diluent le cadre de résultats. Voir produit vs résultat vs impact pour la distinction que les évaluateurs appliquent.
- Le volume comme substitut à la conception SMART. Les équipes ajoutent parfois des indicateurs parce que les existants sont faibles, plutôt que de corriger les faiblesses. Le résultat est plus d'indicateurs faibles. Corrigez la conception, ne la masquez pas.
- Ignorer la faisabilité des moyens de vérification. Un indicateur avec des moyens de vérification infaisables n'est pas un indicateur mesurable. Les évaluateurs le repèrent en examinant la colonne des moyens de vérification ; une proposition avec 30 indicateurs et 10 méthodes d'enquête différentes échoue à cette vérification seule.
- Indicateurs hérités jamais supprimés. Si vous avez copié le cadre logique de la proposition de l'année dernière, supposez que la moitié des indicateurs ne s'appliquent pas à ce programme. Supprimez délibérément, n'ajoutez pas simplement.
- Traiter le cadre logique comme un inventaire. Le cadre logique est ce pour quoi vous serez tenu responsable, pas un catalogue de tout ce que vous pourriez suivre. Tout ce que vous ne pouvez pas vous engager à rapporter trimestriellement n'a pas sa place.
Exemples
Exemple : une proposition surchargée
Une proposition de santé de 600 000 $ sur trois ans avec 32 indicateurs :
- 5 indicateurs d'impact, dont 3 sont des taux de prévalence nationaux que le programme ne peut pas faire évoluer de manière mesurable.
- 9 indicateurs de résultats, dont trois mesurent tous la "connaissance des signes de danger" avec des formulations différentes.
- 18 indicateurs de produits, dont 11 sont des comptabilisations d'activités (formations dispensées, réunions tenues, matériels distribués).
Le plan de S&E promet des enquêtes trimestrielles pour suivre les résultats. Le budget de S&E représente 6 % du total. Un seul responsable S&E. Pas d'évaluation sous-traitée. Les évaluateurs pénalisent la faisabilité.
Exemple : une proposition optimisée
Le même programme de 600 000 $ révisé à 12 indicateurs :
- 2 indicateurs d'impact : contribution à la mortalité des moins de 5 ans (données MICS externes, Année 5) et adoption durable des services (enquête finale, Année 3).
- 4 indicateurs de résultats : connaissance des signes de danger (enquête ménages de situation de référence et finale), recherche de soins dans les 48 heures, achèvement de l'orientation, couverture des consultations mère-nouveau-né.
- 6 indicateurs de produits : agents de santé communautaires (ASC) formés et actifs, visites à domicile effectuées par ASC par mois, orientations pour signes de danger enregistrées, visites prénatales dans les établissements soutenus, visites de supervision, sessions de dialogue communautaire.
Chaque indicateur a des moyens de vérification spécifiques. Les 20 indicateurs qui ont été supprimés se trouvent dans un outil de suivi du plan de travail ou une annexe d'indicateurs supplémentaires. Le budget de S&E couvre la collecte de données promise par le cadre logique. Les évaluateurs jugent cette section excellente pour sa faisabilité et sa priorisation.