Indicateurs standards et personnalisés en S&E : Guide de choix et d'utilisation

Quand privilégier les indicateurs standards

Les indicateurs standards sont à privilégier lorsque l'une ou plusieurs des conditions suivantes sont réunies.

La conformité est impérative. La liste d'indicateurs de votre bailleur de fonds figure dans le contrat. Vous devez les rapporter, qu'ils correspondent ou non parfaitement à votre programme. C'est la raison la plus fréquente ; pour les financements bilatéraux ou multilatéraux importants, la conformité aux exigences des bailleurs de fonds dicte généralement 30 à 50 % d'un plan S&É&A.

La comparabilité est analytiquement pertinente. Vous mettez en œuvre un programme dans un contexte où d'autres ont déjà mesuré des éléments similaires, et vous souhaitez que vos résultats soient comparables. Cette comparabilité est essentielle pour la crédibilité de l'évaluation, les décisions de mise à l'échelle et l'enrichissement de la base de données probantes.

Le cadre propose une méthodologie validée que vous devriez autrement élaborer. Les échelles de services JMP, les échelles d'insécurité alimentaire HFIAS et les indicateurs de ménage de type EDS sont fournis avec des questionnaires éprouvés, des formulations d'éléments prétestées et des propriétés psychométriques reconnues. Les recréer vous-même serait coûteux et potentiellement moins fiable.

Le programme s'aligne sur les hypothèses du cadre. Si votre programme WASH vise à fournir un accès à l'eau aux ménages d'une manière que le JMP est conçu pour mesurer, utilisez les indicateurs JMP. De même, si votre programme de sécurité alimentaire cible la consommation au niveau des ménages d'une manière que le HFIAS évalue, utilisez le HFIAS.

Des données de référence externes sont disponibles. Les indicateurs standards sont souvent associés à des valeurs de référence (moyennes nationales, normes minimales SPHERE, taux de couverture JMP). Ces références sont précieuses pour l'analyse et impossibles à reproduire pour un indicateur personnalisé sans mener des études comparatives.

Quand privilégier les indicateurs personnalisés

Recourez aux indicateurs personnalisés lorsque les indicateurs standards ne parviennent pas à saisir la réalité de l'action de votre programme.

Votre programme dépasse le champ d'application du cadre standard. Une entreprise sociale générant des moyens de subsistance via des chaînes de valeur de niche, un modèle innovant de prestation éducative, ou un programme sensible aux conflits dans une nouvelle région, peut produire des résultats qu'aucun cadre standard ne mesure adéquatement. Tenter d'intégrer ces résultats dans l'indicateur standard le plus proche génère des données techniquement collectables mais, au fond, peu informatives.

Votre Théorie du Changement est spécifique au parcours. Les indicateurs standards se situent généralement aux niveaux des résultats ou de l'impact. Si le parcours causal de votre programme inclut des changements intermédiaires (modifications d'attitudes, acquisition de compétences, précurseurs comportementaux) que les indicateurs standards ne mesurent pas, des indicateurs personnalisés sont nécessaires pour ces étapes. Pour la logique niveau par niveau, consultez produits vs résultats vs impacts.

Le coût de mesure de l'indicateur standard est disproportionné. Un indicateur ODD exigeant une enquête nationale auprès des ménages ne peut pas être collecté par un programme de 2 millions de dollars opérant dans trois districts. L'utilisation d'un indicateur personnalisé à l'échelle du programme est justifiable, même si un indicateur standard existe en principe.

La définition de l'indicateur standard ne correspond pas au contexte local. Le terme "ménage" peut désigner une famille nucléaire dans un contexte, et un complexe familial élargi dans un autre. Une "source d'eau améliorée" peut exclure les forages dans un cadre, et les inclure dans un autre. Si la définition standard ne correspond pas à la réalité opérationnelle de votre programme, son utilisation générera des données invalides. Il est préférable de concevoir un indicateur personnalisé avec une définition adaptée localement et d'en documenter la justification.

Vous avez besoin d'une résolution plus fine que celle offerte par la norme. Les indicateurs standards mesurent souvent des résultats binaires (a eu accès / n'a pas eu, a atteint / n'a pas atteint). Un programme dont la Théorie du Changement requiert une mesure graduée (quelle quantité d'accès, avec quelle cohérence, pour quels sous-groupes) aura besoin d'indicateurs personnalisés offrant une résolution plus fine.

L'approche hybride

Les plans S&É&A les plus robustes intègrent les deux types d'indicateurs. La question n'est pas "lequel choisir", mais "dans quelle proportion et comment les aligner".

Structure type :

• Volet conformité : 5 à 15 indicateurs standards exigés par le bailleur de fonds ou le cadre réglementaire. Ils sont rapportés aux intervalles et dans le format requis. L'effort de collecte de données est proportionné à l'exigence de rapportage, sans la dépasser.
• Volet comparabilité : 3 à 8 indicateurs standards supplémentaires, sélectionnés pour leur valeur de référence externe (ODD, SPHERE, JMP ou norme sectorielle). Bien que non obligatoires pour la conformité, ils permettent d'ancrer vos résultats par rapport à des repères reconnus.
• Volet personnalisé : 8 à 20 indicateurs spécifiques au programme, mesurant ce que le programme réalise de manière unique. Ils suivent la Théorie du Changement à des niveaux que les indicateurs standards ne peuvent pas atteindre.

Un programme de développement de taille moyenne compte généralement 20 à 40 indicateurs au total, répartis sur ces différents volets : environ 40 à 60 % d'indicateurs standards (conformité + comparabilité) et 40 à 60 % d'indicateurs personnalisés. Les programmes humanitaires tendent à privilégier les standards (normes de cluster), tandis que les programmes innovants s'orientent davantage vers les indicateurs personnalisés.

Consultez erreur trop d'indicateurs pour comprendre pourquoi le simple respect d'un ratio ne vous prémunit pas contre l'inflation des indicateurs.

Établir une matrice d'alignement

Pour chaque indicateur personnalisé, documentez sa relation avec l'indicateur standard pertinent (le cas échéant). Cette matrice d'alignement est l'artefact le plus crucial de l'approche hybride.

Structure :

Ce que la matrice permet :

• Les analystes et évaluateurs peuvent reconstituer la logique de chaque indicateur.
• Le personnel de S&E successeur comprend la logique sans repartir de zéro.
• Les bailleurs de fonds comprennent comment les données spécifiques au programme complètent le rapportage de conformité.
• La comparabilité est atteinte de manière délibérée, et non fortuite.

Intégrez la matrice directement dans le plan S&É&A, plutôt que dans un fichier séparé susceptible d'être égaré. Revoyez-la et mettez-la à jour à chaque révision du plan S&É&A.

Gérer l'évolution des définitions

Les définitions des indicateurs standards peuvent évoluer. SPHERE a révisé plusieurs normes en 2018 et de nouveau lors du cycle de révision de 2024. Le cadre F de l'USAID est mis à jour annuellement. Les indicateurs ODD ont également fait l'objet de révisions techniques la plupart des années de rapportage.

L'évolution des définitions pose deux problèmes spécifiques :

La comparabilité historique est compromise. Vos données de fin de programme de 2022, basées sur l'ancienne définition, ne sont pas directement comparables à celles de 2026, qui utiliseront la nouvelle. Documentez la version de chaque indicateur standard dans votre plan S&É&A (par exemple, "ODD 3.8.1 tel que révisé en 2024") afin que les analystes puissent identifier les ruptures de comparabilité.

Le rapportage aux bailleurs de fonds évolue en cours de programme. Un programme pluriannuel peut, en sa troisième année, constater que la liste d'indicateurs obligatoires du bailleur de fonds a changé. Intégrez une clause de révision dans le plan S&É&A : un examen de la pertinence des indicateurs à chaque cycle de plan de travail annuel.

Les indicateurs personnalisés n'évoluent pas, sauf si vous les modifiez. C'est un avantage pour la gestion interne du programme, mais un inconvénient pour la comparabilité externe.

Exemples par secteur

Santé : équilibrer les indicateurs MER du PEPFAR et les résultats spécifiques au programme, Afrique de l'Est

Un programme VIH opéré sous l'égide du PEPFAR exigeait 12 indicateurs MER pour le rapportage de conformité trimestriel. La Théorie du Changement du programme incluait des améliorations de la qualité des soins centrés sur le client, non mesurées par les indicateurs MER. L'équipe de S&E a donc ajouté 8 indicateurs personnalisés couvrant : le respect perçu par le prestataire (échelle de 3 éléments), la continuité des soins entre les types de services (proxy : visites trimestrielles consécutives) et la réduction de la stigmatisation dans la communauté au sens large (enquête d'attitude auprès des ménages). La matrice d'alignement a montré que les 12 indicateurs standards couvraient les produits et les résultats de couverture des services, tandis que les 8 indicateurs personnalisés couvraient la qualité des processus et les résultats au niveau communautaire que les standards ne captaient pas. Les rapports distinguaient clairement les deux catégories pour garantir la conformité aux exigences des bailleurs de fonds.

WASH : alignement sur l'échelle JMP pour un programme d'eau en milieu rural, Afrique de l'Ouest

Un programme d'accès à l'eau en milieu rural a utilisé les catégories de l'échelle de services JMP pour s'aligner sur l'ODD 6.1 ("service de base", "service limité", "pas de service"). La gestion du programme nécessitait une résolution plus fine : la Théorie du Changement du programme incluait la capacité du comité de l'eau comme précurseur de la durabilité du service. Le plan S&É&A a donc ajouté un score personnalisé de capacité du comité de l'eau (0-20, 10 éléments) comme indicateur précurseur. Lorsque la couverture des services de base JMP a stagné en année 2, le score de capacité signalait déjà des faiblesses spécifiques au sein des comités, permettant au programme d'intervenir à temps. Les indicateurs standards mesuraient les résultats, tandis que l'indicateur personnalisé servait de précurseur.

Éducation : normes INEE et indicateurs d'apprentissage personnalisés, Asie du Sud

Un programme d'éducation en situations d'urgence a mis en œuvre les Normes minimales de l'INEE pour assurer la conformité et la comparabilité (accès, qualité, coordination). Cependant, les normes INEE ne mesuraient pas les résultats d'apprentissage spécifiques au niveau scolaire ciblé par le programme. Le plan S&É&A a donc intégré des indicateurs d'apprentissage personnalisés : scores d'évaluation de l'alphabétisation en 3e année (EGRA adapté), numératie en 5e année (EGMA adapté) et temps d'allocation de lecture au niveau de l'école. Cette combinaison a permis au bailleur de fonds d'obtenir une comparabilité avec d'autres programmes d'éducation en situations d'urgence, tout en fournissant à la gestion du programme des données précises sur les résultats d'apprentissage en classe.

Sécurité alimentaire : HFIAS pour la conformité, diversité alimentaire pour la gestion de programme, Sahel

Un programme de sécurité alimentaire a rapporté les scores HFIAS trimestriellement pour la conformité aux exigences des bailleurs de fonds et la comparabilité entre programmes. Le contexte pastoral du programme impliquait des schémas de migration saisonnière que le HFIAS ne captait que partiellement. L'équipe de S&E a donc ajouté deux indicateurs personnalisés : un score de diversité alimentaire des ménages désagrégé par phase de migration (transhumance vs sédentaire) et un indicateur de cession d'actifs des ménages (suivi des ventes de détresse comme système d'alerte précoce). Le HFIAS est resté l'indicateur standard comparable, tandis que les indicateurs personnalisés ont permis de saisir des dynamiques contextuelles spécifiques que le standard ne pouvait pas couvrir.

Pièges courants

Erreur 1 : choisir des indicateurs standards sans en lire les définitions. Le nom de l'indicateur semble correspondre, mais la spécification technique dit autre chose. "Ménages ayant un accès amélioré à l'eau" dans le JMP a une définition précise (géré en toute sécurité, de base, limité, non amélioré) qui ne correspond pas au sens courant. Lisez la définition complète avant de vous engager.

Erreur 2 : modifier silencieusement les indicateurs standards. Si votre définition opérationnelle diffère de celle du cadre, vous n'utilisez plus l'indicateur standard. Soit vous l'employez sans modification, soit vous l'identifiez comme un indicateur personnalisé en notant clairement l'écart. Utiliser le nom d'un indicateur standard avec une définition modifiée produit des données qui semblent comparables mais ne le sont pas.

Erreur 3 : supposer que les indicateurs personnalisés n'ont pas besoin de validation. Les indicateurs personnalisés ne sont pas des raccourcis. Ils requièrent des méthodes de mesure définies, des questionnaires testés, des contrôles de fiabilité inter-évaluateurs pour les mesures complexes, et une justification claire documentée dans le plan S&É&A. "Nous l'avons inventé" n'est pas une méthodologie.

Erreur 4 : absence de matrice d'alignement entre indicateurs personnalisés et standards. Sans matrice, les indicateurs personnalisés et standards évoluent en parallèle sans jamais être utilisés conjointement. La matrice oblige à poser la question : pourquoi cet indicateur personnalisé existe-t-il si l'indicateur standard mesure déjà la même chose ?

Erreur 5 : trop d'indicateurs standards sans tenir compte de l'adéquation au programme. Un programme opérant dans trois districts n'a pas besoin de 15 indicateurs ODD au niveau national. La conformité est obligatoire, mais la sur-déclaration ne l'est pas. Refusez les indicateurs standards excédentaires lorsque l'exigence de conformité ne les impose pas.

Erreur 6 : trop d'indicateurs personnalisés sans considération pour la comparabilité. Un programme comportant 20 indicateurs personnalisés et seulement 2 standards ne peut être comparé à rien. Les évaluateurs externes peinent à contextualiser les résultats. Ajoutez 3 à 5 indicateurs standards pour leur valeur de référence, même lorsque la conformité ne l'exige pas.

Erreur 7 : ignorer les mises à jour des cadres des bailleurs de fonds en cours de programme. Les indicateurs standards évoluent. Vérifiez la version en vigueur à chaque révision annuelle du plan de travail. Signalez explicitement les ruptures de comparabilité dans le rapport annuel.

Erreur 8 : mener la collecte de données standards et personnalisées comme des opérations parallèles. Lorsque les concepts se recoupent, intégrez la mesure dans une seule série d'enquêtes ou visite de collecte. Mener deux enquêtes trimestrielles distinctes pour les indicateurs standards et personnalisés double les coûts pour un gain de qualité marginal.

Liste de contrôle : choisir entre indicateurs personnalisés et standards

Parcourez cette liste lors de l'élaboration du plan S&É&A, pour chaque indicateur candidat.

Un indicateur standard est-il disponible ?

• Liste des indicateurs obligatoires du bailleur de fonds consultée
• Cadres sectoriels vérifiés (SPHERE, ODD, normes sectorielles spécifiques)
• Bibliothèque du bailleur de fonds consultée pour les indicateurs recommandés complémentaires
• Définition complète de l'indicateur standard examinée, pas seulement son nom

L'indicateur standard convient-il au programme ?

• Concept correspondant à la Théorie du Changement du programme au bon niveau
• Méthode de mesure réalisable compte tenu de l'envergure et du budget du programme
• Définition correspondant au contexte local et à la réalité opérationnelle
• Fréquence de collecte de données correspondant au cycle de décision

Si vous utilisez un indicateur personnalisé à la place :

• Raison documentée (standard indisponible, mauvaise adéquation, coût prohibitif, résolution insuffisante)
• Méthode de mesure définie et testée (prétest cognitif + pilote)
• Alignement avec l'indicateur standard le plus proche cartographié
• Approche de validation précisée (fiabilité inter-évaluateurs, validité conceptuelle ou revue par expert)

Vérifications au niveau du portefeuille :

• Ratio standard/personnalisé correspondant au type de programme (40 à 60 % chacun pour la plupart des programmes de développement)
• Aucune mesure en double (même concept mesuré en standard et personnalisé sans raison explicite)
• Matrice d'alignement complète dans le plan S&É&A
• Exigences de conformité du bailleur de fonds toutes satisfaites par des indicateurs standards non modifiés

Pour le flux de travail complet de conception d'indicateurs, consultez SMART indicators deep-dive et indicator vs target vs milestone. Pour l'application à la rédaction de propositions, consultez how to write the M&E proposal section. Pour un flux de travail étape par étape assisté par IA, consultez le guide pratique Développement d'indicateurs.