Sélection et Développement des Indicateurs

Quand y recourir ?

La sélection des indicateurs est une étape cruciale lors de la conception d'un nouveau programme ou de la révision d'un programme existant. Elle est particulièrement pertinente dans les situations suivantes :

• Élaboration de propositions de projets : Les bailleurs de fonds exigent des indicateurs de performance assortis de définitions claires, de méthodes de mesure et de cibles. L'USAID, par exemple, demande des Fiches de Référence des Indicateurs de Performance (PIRS) pour tous les indicateurs.
• Élaboration du plan de S&E : La sélection des indicateurs constitue une composante essentielle de la création d'un plan de Suivi, Évaluation et Apprentissage.
• Révisions à mi-parcours : Les données de suivi peuvent révéler que certains indicateurs ne mesurent pas adéquatement les changements attendus, qu'ils sont trop coûteux ou irréalisables. C'est le moment opportun pour les affiner ou les remplacer.
• Mises à jour de conformité des bailleurs de fonds : Lorsque les bailleurs introduisent de nouveaux indicateurs standards ou modifient leurs exigences de rapportage.
• Consultations des parties prenantes : L'implication des bénéficiaires et du personnel de terrain peut révéler des mesures localement pertinentes que les concepteurs externes risqueraient d'omettre.

La sélection d'indicateurs est moins pertinente lorsque l'objectif est simplement de collecter des données sans but précis (préférez alors les méthodes de collecte de données) ou lorsque vous devez évaluer si les changements observés sont directement attribuables à votre programme (dans ce cas, utilisez plutôt l'analyse de contribution).

Le processus de sélection

La sélection des indicateurs repose sur un processus structuré, garantissant que les mesures choisies éclaireront efficacement la prise de décision.

1. Commencez par votre chaîne de résultats. Cartographiez le chemin causal, des activités aux produits, résultats et impacts. Chaque niveau requiert au moins un indicateur pour suivre les progrès, assurant ainsi l'alignement de vos indicateurs avec la logique de votre programme.

2. Appliquez les critères SMART à chaque indicateur potentiel. Chaque indicateur doit être Spécifique (quantité, qualité, lieu, population cible), Mesurable (permettant une évaluation précise), Atteignable (réalisable compte tenu du budget, du temps et des ressources), Pertinent (mesurant le changement que vous souhaitez suivre) et Temporellement défini (avec une échéance claire). Utilisez la liste de contrôle des indicateurs SMART pour évaluer chaque proposition.

3. Définissez chaque terme de manière non ambiguë. Pour chaque indicateur, rédigez une définition détaillée qui assure que deux personnes différentes le mesureraient de la même manière. Des termes tels que « en sécurité alimentaire » ou « accès amélioré » sont dénués de sens sans définitions opérationnelles. Documentez la signification de chaque terme, la méthode de mesure et les sources de données à utiliser.

4. Sélectionnez le nombre minimal requis. Ne choisissez que les indicateurs nécessaires pour rendre compte adéquatement des progrès vers chaque objectif ou résultat. Ce nombre est souvent d'un seul, et généralement pas plus de deux ou trois par objectif ou résultat. Un trop grand nombre d'indicateurs génère une charge de collecte de données excessive sans apporter de valeur ajoutée à la prise de décision.

5. Impliquez les parties prenantes dans le processus de sélection. Lorsque les principales parties prenantes sont invitées à sélectionner des indicateurs, proposez une session de formation sur ce qu'est un indicateur, son utilité, ainsi que les avantages et inconvénients de divers exemples, avant qu'elles ne fassent leur choix. Cette démarche est particulièrement importante pour les objectifs ambigus, où différentes parties prenantes peuvent avoir des interprétations divergentes.

6. Assurez la faisabilité et l'efficience. Pour chaque indicateur, évaluez si les données nécessaires peuvent réellement être collectées, compte tenu de vos ressources. Si les données de plusieurs indicateurs sont collectées à partir d'un même cadre d'échantillonnage, calculez la taille d'échantillon requise pour chacun et optez pour la plus grande taille calculée, dans la mesure du raisonnable. Ne vous engagez pas sur des indicateurs que vous ne pouvez pas mesurer de manière réaliste.

7. Documentez et validez. Créez des Fiches de Référence des Indicateurs de Performance (PIRS) ou une documentation équivalente pour tous les indicateurs. Cette documentation doit inclure la définition de l'indicateur, la méthode de mesure, la source de données, la fréquence, la partie responsable, ainsi que les valeurs de situation de référence et les cibles. Passez en revue ces éléments avec les parties prenantes pour garantir une compréhension partagée avant la finalisation.

Éléments clés

Un processus de sélection des indicateurs bien mené aboutit à la production de ces éléments essentiels :

• Énoncé de l'indicateur : Une phrase claire et concise, axée sur une seule question et fournissant des informations pertinentes sur une situation donnée. Les bons indicateurs sont suffisamment spécifiques pour offrir des aperçus stratégiques, essentiels à une planification efficace et à une prise de décision éclairée.
• Définitions opérationnelles : Des explications détaillées de chaque terme de l'indicateur, visant à éliminer toute ambiguïté. Deux collecteurs de données différents devraient parvenir à la même mesure en utilisant vos définitions.
• Méthode de mesure : L'approche spécifique pour collecter les données (enquête, observation, examen des registres, auto-déclaration, etc.), avec suffisamment de détails pour permettre sa réplication.
• Source de données : L'origine des données (enquêtes ménages, registres d'établissements, registres de bénéficiaires, etc.) et la méthode de sélection de l'échantillon, le cas échéant.
• Exigences de désagrégation : Les variables démographiques (genre, âge, lieu, statut de handicap, etc.) selon lesquelles l'indicateur sera désagrégé, afin de permettre une analyse d'équité.
• Situation de référence et cibles : Le point de départ et le niveau d'atteinte attendu à des échéances spécifiques, ancrés dans l'analyse du contexte et réalistes compte tenu de la capacité du programme.
• Fréquence et responsabilité : La périodicité de la mesure de l'indicateur et l'identification de la personne ou de l'entité responsable de la collecte et du rapportage des données.
• Alignement avec le bailleur de fonds : Le lien avec tout indicateur standard requis par votre bailleur, accompagné d'une documentation claire expliquant comment les indicateurs personnalisés complètent les standards.

Bonnes pratiques

Adoptez les critères SMART comme filtre de qualité. Chaque indicateur doit satisfaire aux critères SMART : Spécifique (quantité, qualité, lieu, population cible), Mesurable (permettant une évaluation précise), Atteignable (réalisable compte tenu du budget, du temps et des ressources), Pertinent (mesurant le changement que vous souhaitez suivre) et Temporellement défini (avec une échéance claire). C'est la norme minimale pour garantir la qualité des indicateurs.

Restez concis. Sélectionnez le nombre minimal d'indicateurs de performance nécessaires pour rendre compte adéquatement des progrès vers un objectif ou un résultat. Ce nombre peut souvent se limiter à un seul et ne dépasse généralement pas deux ou trois par objectif ou résultat. Un plus grand nombre d'indicateurs ne garantit pas un meilleur suivi ; il entraîne plutôt une charge de travail accrue et une dilution de l'attention.

Définissez les termes sans ambiguïté. Définissez chaque terme de l'indicateur de manière à éviter tout malentendu quant à sa signification. La définition doit être suffisamment détaillée pour garantir que si différentes personnes, à différents moments, étaient chargées de collecter des données, elles recueilleraient toutes les mêmes informations.

Impliquez les parties prenantes dès le début. Organisez des groupes de discussion avec le personnel clé, les groupes cibles et les parties prenantes pour élaborer des indicateurs et des objectifs SMART pertinents pour des contextes spécifiques, en particulier pour les objectifs ambigus. La connaissance locale peut révéler des indicateurs que les concepteurs externes n'auraient jamais envisagé d'inclure.

Testez la faisabilité avant de vous engager. Avant de sélectionner un indicateur qui repose sur un index ou une liste de contrôle comportant plusieurs mesures, identifiez tous les aspects à mesurer et déterminez si la mesure est réalisable. Calculez la taille d'échantillon requise pour chaque indicateur et choisissez la plus grande taille calculée, dans la mesure du raisonnable.

Documentez tout. Établissez des Fiches de Référence des Indicateurs de Performance pour tous les indicateurs afin d'assurer une définition et une mesure cohérentes par le personnel. Pour les cadres et de nombreux indicateurs standards, les PIRS sont souvent déjà fournis par les bailleurs de fonds ; utilisez-les. Pour les indicateurs personnalisés, créez votre propre documentation.

Pièges à éviter

Utiliser des termes vagues et non mesurables. Des expressions telles que « en sécurité alimentaire », « accès amélioré » ou « capacité accrue » sont dénuées de sens sans définitions opérationnelles. Différentes personnes les interpréteront différemment, rendant la collecte de données peu fiable et les résultats ininterprétables. Des indicateurs mal définis empêchent toute action appropriée.

Ne pas définir clairement les termes. L'utilisation d'indicateurs de performance sans définir clairement tous les termes qui les composent, ni établir de sources de données et de protocoles de collecte, conduit à une mesure incohérente. Si la signification de « en sécurité alimentaire » n'est pas définie, un enquêteur pourrait comptabiliser les ménages consommant trois repas par jour, tandis qu'un autre exigerait une diversité nutritionnelle.

S'engager sur des indicateurs non mesurables. Sélectionner des indicateurs pour lesquels les données requises ne peuvent pas être collectées constitue une erreur fondamentale. Si les données nécessaires à un indicateur ne peuvent être recueillies, cet indicateur est inutile et doit être supprimé ou redéfini. Ne cédez pas à la pression des bailleurs ou aux contraintes des modèles de propositions qui vous inciteraient à vous engager sur des mesures irréalisables.

Sélectionner un trop grand nombre d'indicateurs. Établir un cadre d'indicateurs avec plus de 20 mesures par objectif génère une charge de collecte de données insoutenable, sans apporter de valeur ajoutée à la prise de décision. L'erreur la plus fréquente est de croire qu'un plus grand nombre d'indicateurs équivaut à un meilleur suivi ; en réalité, cela conduit à des données de moindre qualité, à des coûts accrus et à une paralysie de l'analyse.

Considérer la sélection des indicateurs comme un exercice ponctuel. La sélection des indicateurs ne doit pas être perçue comme un simple exercice de rédaction de proposition qui prend fin une fois la subvention signée. Au fur et à mesure que la mise en œuvre génère des données, vous découvrirez que certains indicateurs ne sont pas pertinents, sont trop coûteux ou irréalisables. Prévoyez des points de révision réguliers des indicateurs (au minimum, annuellement) pour affiner votre cadre en fonction des apprentissages.

Exemples concrets

Santé - Afrique subsaharienne

Un programme de santé maternelle d'une durée de 5 ans avait initialement sélectionné 12 indicateurs pour son cadre de S&E, dont le « pourcentage de femmes ayant un accès amélioré aux services de santé maternelle ». Après six mois de collecte de données, l'équipe a constaté que l'expression « accès amélioré » était interprétée différemment par les enquêteurs : certains prenaient en compte la distance aux établissements, d'autres la qualité perçue, et d'autres encore la capacité à payer les services. L'équipe a alors révisé l'indicateur pour devenir le « pourcentage de femmes résidant à moins de 5 km d'un établissement offrant une assistance qualifiée à l'accouchement », avec une définition opérationnelle claire. Ce seul changement a permis de réduire les erreurs de collecte de données de 40 % et a rendu l'indicateur réellement pertinent pour la prise de décision.

Éducation - Asie du Sud

Un programme d'éducation primaire a été mis en œuvre en Asie du Sud. Initialement, l'un des indicateurs clés était le « nombre d'enseignants formés ». Cependant, lors de la première révision annuelle, il est apparu que cet indicateur ne mesurait pas l'impact réel sur la qualité de l'enseignement, car de nombreux enseignants formés ne mettaient pas en pratique les nouvelles méthodes. L'équipe a décidé de le remplacer par deux indicateurs plus pertinents : « pourcentage d'enseignants appliquant les nouvelles méthodes pédagogiques en classe » et « taux de réussite des élèves aux évaluations standardisées ». Cette modification a permis de mieux évaluer l'efficacité de la formation et d'orienter les efforts vers un soutien plus ciblé aux enseignants.