En un coup d'œil
Ce que SMART teste réellement
Le cadre SMART propose cinq critères de qualité essentiels pour tout indicateur. Un indicateur qui ne satisfait pas l'un de ces cinq tests générera inévitablement des problèmes en aval : collecte de données incohérente, absence de sources de données, objectifs irréalistes, informations ne permettant pas la prise de décision, ou des cycles de rapport désynchronisés avec ceux du programme.
| Critère | Le test de validation | Écueil fréquent |
|---|---|---|
| Spécifique | Deux personnes lisant l'indicateur l'interprètent-elles de la même manière ? | Terminologie imprécise (« amélioré », « renforcé », « sensibilisation ») |
| Mesurable | Une source de données réalisable et une méthode de collecte définie existent-elles ? | Source non identifiée ou nécessitant des capacités inexistantes |
| Atteignable | L'objectif est-il réaliste au regard des ressources, du calendrier et de la situation de référence ? | Objectif repris d'une proposition sans données de situation de référence |
| Pertinent | Le résultat est-il lié à une décision, une question d'apprentissage ou une exigence de rapport ? | Indicateur de conformité uniquement, sans utilisation interne des données |
| Temporellement défini | L'intervalle de mesure et les délais de rapport sont-ils définis ? | Fréquence de collecte non spécifiée ; « en continu » utilisé à tort |
Les cinq critères ne présentent pas la même propension à l'échec. Les critères Spécifique et Mesurable sont les plus fréquemment non respectés. Atteignable et Temporellement défini échouent selon des schémas spécifiques, tandis que Pertinent est le plus délicat à identifier, car les indicateurs de conformité s'insinuent souvent lors de la rédaction des propositions et ne sont jamais éliminés. Appliquez ces cinq critères séquentiellement lors de la conception de nouveaux indicateurs, puis réexaminez-les lors de la validation du plan de S&E avant sa soumission. Pour une définition formelle et un alignement du cadre d'indicateurs, consultez l'entrée de référence sur les indicateurs SMART.
Spécifique et Mesurable
Spécifique : Le test d'absence d'ambiguïté
Le critère Spécifique est celui qui pose le plus de problèmes dans la pratique du S&E. L'échec ne se manifeste généralement pas par une ambiguïté flagrante, mais plutôt par une imprécision subtile. Des formulations telles que « ménages ayant un accès amélioré à l'eau » ou « jeunes ayant des compétences renforcées » peuvent sembler claires à première vue. Cependant, elles sont suffisamment ambiguës pour que différents enquêteurs classent les ménages de manière divergente, ou que deux analystes rapportent des résultats distincts à partir du même ensemble de données.
Le test est simple et concret : rédigez l'indicateur, puis soumettez-le à une personne n'ayant pas participé à sa conception. Demandez-lui de décrire précisément les données qu'elle collecterait et la manière dont elle comptabiliserait un cas. Si sa compréhension diffère de votre intention initiale, l'indicateur manque de spécificité.
Trois types d'erreurs fréquentes :
Ambiguïté d'attribut. L'expression « accès amélioré à l'eau » ne précise pas ce que recouvre le terme « amélioré ». S'agit-il de la proximité (distance à la source), du temps (minutes nécessaires pour la collecte), de la qualité (eau gérée en toute sécurité selon les définitions du JMP) ou de la fiabilité (nombre de jours de fonctionnement par mois) ? Chacune de ces dimensions représente un indicateur distinct et requiert un exercice de collecte de données différent. Il est impératif de choisir une dimension et de la nommer explicitement.
Ambiguïté de population. L'expression « jeunes formés » ne définit pas clairement la population concernée. Un programme ciblant les 15-24 ans et un autre les 18-35 ans forment tous deux des jeunes, mais leurs données ne sont pas comparables. Il est essentiel d'indiquer explicitement la tranche d'âge, et de préciser si le décompte concerne des individus uniques ou le nombre total de formations suivies par personne.
Ambiguïté d'unité. L'indicateur « ménages atteints » ne précise pas si un ménage est compté une seule fois ou à chaque prestation de service du programme. Un ménage ayant participé à trois sessions pourrait être comptabilisé comme 3 ou comme 1. La définition de l'indicateur doit impérativement spécifier l'unité de comptage.
Un indicateur spécifique doit être formulé comme des instructions claires qu'un enquêteur pourrait suivre sans avoir à poser de questions. Si une clarification est nécessaire dans une note de bas de page, son contenu doit être intégré directement au texte de l'indicateur.
Mesurable : Le test de la source de données
Le critère Mesurable évalue votre capacité réelle à collecter les données. Ce test se décompose en deux volets : l'existence d'une source de données et la faisabilité de la méthode de collecte pour le programme concerné.
L'existence de la source de données constitue le premier filtre. L'indicateur « Pourcentage de ménages se sentant plus en sécurité » n'est mesurable que si une enquête de perception auprès des ménages est planifiée. Si le programme ne dispose ni du budget ni des capacités pour mener une telle enquête, l'indicateur est inmesurable, quelle que soit sa spécificité. Il n'est pas possible de pallier l'absence d'une source de données au stade de l'analyse ; il faut soit abandonner l'indicateur, soit intégrer une activité de collecte de données.
La faisabilité de la méthode de collecte représente le second filtre. Une enquête trimestrielle auprès des ménages dans 40 villages est mesurable en théorie, mais peut s'avérer irréalisable pour un programme de 24 mois doté d'un budget de S&E de 150 000 $. Un indicateur n'est véritablement mesurable que s'il est associé à une méthode de collecte de données que le programme est concrètement en mesure d'exécuter. Cela implique généralement de spécifier la source dans la description de l'indicateur : par exemple, « tel que rapporté dans l'enquête trimestrielle auprès des ménages » ou « tel que consigné dans le registre de présence aux activités ».
Trois catégories de sources de données, classées par leur fiabilité dans la pratique du S&E :
- Registres administratifs ou d'activités (registres de présence, journaux de distribution, registres de construction) : haute fiabilité, faible coût, mais limités aux activités directes du programme.
- Enquêtes et évaluations menées par le programme (situation de référence, évaluation à mi-parcours, évaluation finale, AQD) : fiabilité moyenne, coût modéré, mais limitées aux aspects mesurés par le programme.
- Données secondaires (statistiques gouvernementales, EDS, MICS, registres d'établissements) : fiabilité variable, faible coût, mais souvent obsolètes ou d'une granularité inadaptée.
L'utilisation de deux catégories de sources est plus robuste que celle d'une seule. La triangulation d'un indicateur de résultat, par exemple avec une estimation d'enquête et un registre administratif, permet de déceler des problèmes de qualité des données qu'une source unique ne pourrait pas identifier. Pour comprendre comment l'évaluation de la qualité des données s'applique à la mesurabilité des indicateurs, consultez comment mener une AQD.
A, P, T
Atteignable : Le test de faisabilité
Le critère Atteignable s'applique au niveau de l'objectif, et non à celui de l'indicateur. L'indicateur (la mesure) peut être parfaitement spécifié, mais l'objectif (la valeur à atteindre) peut néanmoins s'avérer irréaliste.
L'erreur la plus fréquente concernant le critère Atteignable en S&E est la suivante : un objectif formulé lors de l'élaboration de la proposition, sans données de situation de référence, puis repris tel quel dans le plan de S&E. Une proposition peut ainsi s'engager à ce que « 80 % des ménages pratiquent un stockage sûr de l'eau d'ici la fin du projet » sans jamais avoir mesuré la situation de référence. Si cette dernière s'avère être de 22 %, un objectif d'amélioration de 58 points devient irréalisable au regard du calendrier ou du budget du programme. Or, l'objectif est déjà inscrit dans la proposition, l'exigence de rapport dans le contrat, et le programme est alors voué à manquer sa cible avant même le début de la collecte des données.
Trois points de contrôle pour le critère Atteignable :
Objectif ancré à la situation de référence. L'objectif doit être formulé comme un changement par rapport à la situation de référence, et non comme une valeur absolue déconnectée des conditions initiales. Par exemple, « augmenter de 22 % à 50 % » est plus explicite que « atteindre 50 % », car cela prend en compte le point de départ.
Taux de changement cohérent avec les données antérieures. Si des programmes comparables ont généré des améliorations de 5 à 10 points de pourcentage sur 24 mois, une proposition visant 30 points en 18 mois ne sera pas atteignable sans des ressources considérablement accrues. Il est crucial de consulter les évaluations d'impact publiées pour des interventions similaires dans des contextes comparables avant de fixer l'objectif.
Vérification du budget et des capacités. L'objectif peut être atteignable en théorie, mais pas avec le budget alloué. Une réduction de 15 % de la sous-nutrition, par exemple, exige des activités de programme spécifiques et des interventions dosées avec précision. Comparez l'objectif à ce que le programme peut réellement offrir ; les objectifs ne doivent pas excéder ce que la conception du programme peut produire de manière plausible.
Les défaillances du critère Atteignable deviennent politiquement complexes à corriger une fois qu'une proposition est signée. Il est préférable de fixer des objectifs conservateurs, solidement ancrés à la situation de référence dès le départ. Pour des approches basées sur des formules, consultez fixer des objectifs.
Pertinent : Le test de décision
Le critère Pertinent vise à déterminer si les données de cet indicateur seront réellement utilisées. Si la réponse est négative, l'indicateur représente un coût de collecte inutile, car il ne contribue pas à la prise de décision, et devrait donc être abandonné.
Trois types d'impertinence se manifestent fréquemment dans les plans de S&E :
Indicateurs de conformité uniquement. Cet indicateur a été inclus uniquement parce qu'il était exigé par un modèle de bailleur de fonds. En interne, personne n'utilisera ces données. Le programme est néanmoins contraint de les collecter, de les nettoyer et de les rapporter. Bien que difficiles à abandonner, ces indicateurs doivent être minimisés : incluez le champ requis, collectez-les à la fréquence minimale et n'investissez pas de ressources supplémentaires dans leur analyse.
Indicateurs orphelins. L'indicateur a été initialement intégré pour mesurer une activité qui a été par la suite supprimée ou réduite, mais le plan de S&E n'a pas été mis à jour. L'indicateur continue d'être rapporté, alors que l'activité qu'il décrit n'est plus significative au sein du programme. Il est essentiel de procéder à un examen annuel du plan de S&E et de supprimer ces indicateurs orphelins.
Indicateurs de curiosité. Cet indicateur a été ajouté par simple curiosité du concepteur, et non parce qu'il éclaire une décision. Les indicateurs de curiosité n'ont pas de finalité de rapport ni de règle de décision associée. Supprimez-les, à moins qu'ils ne soient explicitement requis par l'agenda d'apprentissage.
Le test de Pertinence, à appliquer à chaque indicateur, est le suivant : « Qui consultera ces données, et quelle décision prendra-t-il différemment grâce à elles ? » Si la réponse est « personne » ou « incertain », l'indicateur ne satisfait pas le critère Pertinent. La plupart des plans de S&E contiennent 20 à 40 % d'indicateurs qui échouent à ce test ; les élaguer permet d'économiser des ressources et de libérer des capacités pour les indicateurs qui guident réellement les décisions.
Temporellement défini : Le test d'intervalle
Le critère Temporellement défini vérifie si l'intervalle de mesure est clairement établi et s'il s'aligne avec les cycles de rapport et de décision que l'indicateur est censé éclairer.
L'échec le plus courant du critère Temporellement défini ne réside pas dans l'absence de délais, mais plutôt dans des délais qui ne correspondent pas au cycle de décision. Un indicateur de couverture trimestriel qui n'est rapporté qu'à mi-parcours et en fin de projet ne peut pas éclairer les réunions trimestrielles de gestion adaptative. De même, un indicateur de résultat annuel, censé alimenter un rapport de bailleur de fonds en milieu d'année, manquera sa date limite de soumission.
Deux points de contrôle pour le critère Temporellement défini :
Intervalle spécifié. Les fréquences telles que « annuellement », « trimestriellement » ou « à la situation de référence, à mi-parcours et en fin de projet » sont toutes des spécifications claires. En revanche, « en continu » et « au besoin » ne le sont pas. Si la description de l'indicateur mentionne une collecte de données « au besoin », cela signifie qu'aucun calendrier n'a été défini, et la collecte des données manquera de rigueur.
L'intervalle correspond à l'utilisation. La fréquence de mesure ne doit pas être inférieure à celle du cycle de rapport ou de décision. Si le programme organise des réunions trimestrielles du comité de pilotage qui s'appuient sur cet indicateur, la mesure doit être trimestrielle. Si l'indicateur ne sert qu'à un rapport annuel du bailleur de fonds, une mesure annuelle est suffisante. Mesurer plus fréquemment que nécessaire engendre des coûts superflus ; mesurer moins fréquemment rend les données inutilisables au moment de la décision.
Consultez l'entrée de référence sur la situation de référence et les articles connexes sur la synchronisation des mesures pour apprendre à coordonner les indicateurs avec les enquêtes de situation de référence, de mi-parcours et de fin de projet.
Exemples de révisions
Six révisions commentées
Voici des exemples concrets d'indicateurs non conformes aux critères SMART, et leurs révisions pour les rendre opérationnels.
1. Indicateur de couverture WASH, Afrique de l'Est
Avant : Nombre de personnes ayant un accès amélioré à l'eau. Échec : Spécifique (que signifie « amélioré » ?), Mesurable (aucune source identifiée), Temporellement défini (aucun intervalle). Après : Nombre de personnes utilisant une source d'eau potable gérée en toute sécurité (selon la définition JMP), tel que mesuré par l'enquête annuelle auprès des ménages, réalisée en septembre de chaque année de projet.
2. Indicateur de résultat en éducation, asie du sud
Avant : Amélioration des résultats d'apprentissage chez les participants au programme. Échec : Spécifique (quel type d'apprentissage ? quelle unité de mesure ?), Mesurable (aucune évaluation spécifiée), Atteignable (absence de situation de référence ou d'objectif). Après : Pourcentage d'élèves de 3e année atteignant ou dépassant le seuil national lors de l'évaluation annuelle de littératie de fin d'année, mesuré annuellement en mai. Situation de référence (Année 0) : 48 %. Objectif (Année 3) : 62 %.
3. Indicateur de produit en moyens de subsistance, Afrique de l'Ouest
Avant : Bénéficiaires recevant une formation sur les moyens de subsistance. Échec : Spécifique (bénéficiaires de quelle catégorie ? quelle formation ?), Pertinent (comptabilise les personnes, pas les compétences acquises ou le changement de revenu). Après : Nombre de femmes adultes (18-49 ans) ayant achevé les cinq sessions du module de formation à la production maraîchère, tel qu'enregistré dans le registre de présence. Comptabilisé une fois par participante unique sur toute la période du projet.
4. Indicateur de prestation de services de santé, amérique centrale
Avant : Capacité renforcée des travailleurs de la santé. Échec : Spécifique (renforcée comment ?), Mesurable (aucune source identifiée), Atteignable (aucun objectif défini), Temporellement défini (aucun intervalle). Après : Pourcentage de travailleurs de la santé communautaires formés démontrant une maîtrise de la liste de contrôle de compétences post-formation (12 éléments), évalué à la fin de chaque cohorte de formation. Objectif : 80 % des ASC formés par cohorte.
5. Indicateur de résultat en matière de genre, Afrique australe
Avant : Amélioration de l'égalité des genres dans les communautés du programme. Échec : Spécifique (égalité des genres dans quel domaine ?), Mesurable (aucune source identifiée), Pertinent (incertitude quant aux utilisateurs des données). Après : Pourcentage de femmes du programme déclarant participer aux décisions ménagères concernant l'éducation des enfants et les dépenses familiales au cours du dernier mois, mesuré par l'enquête annuelle auprès des ménages axée sur le genre, réalisée en novembre.
6. Indicateur de résultat en sécurité alimentaire, sahel
Avant : Réduction de l'insécurité alimentaire parmi les ménages cibles. Échec : Spécifique (quelle mesure de l'insécurité alimentaire ?), Temporellement défini (aucun intervalle), Atteignable (aucun objectif défini). Après : Score moyen de l'échelle de faim des ménages (HHS) parmi les ménages du programme, mesuré trimestriellement. Situation de référence Année 0 : 2,8 (modérée). Objectif Année 2 : 1,5 (faible à nulle).
Le point commun à ces six exemples est le suivant : la version « avant » peut sembler acceptable dans une proposition, mais elle échoue à au moins deux des cinq critères SMART, ce qui entraînerait des données incohérentes ou inutilisables. La version « après », bien que plus détaillée, est collectable par tout enquêteur formé, comparable sur différentes périodes, et directement liée à une décision spécifique.
Erreurs et liste de contrôle
Erreurs courantes
Erreur 1 : considérer SMART comme une échelle de notation plutôt qu'un filtre éliminatoire. Certaines équipes attribuent des scores aux indicateurs selon les critères SMART (par exemple, 4 sur 5) et retiennent ceux qui satisfont la majorité des critères. C'est une mauvaise approche : un indicateur qui échoue à un seul critère sera inopérant dans la pratique. SMART doit être traité comme un filtre éliminatoire, et non comme un système de notation.
Erreur 2 : valider le critère spécifique sans le test du collègue. Lire votre propre indicateur et le juger clair ne prouve pas qu'il satisfait le critère Spécifique. Vous connaissez votre intention. Un collègue n'ayant pas participé à la réunion de conception doit être en mesure de lire l'indicateur et de collecter les données sans nécessiter de clarifications.
Erreur 3 : déclarer un indicateur mesurable sans identifier sa source de données. Un indicateur n'est mesurable que si une source et une méthode spécifiques sont clairement désignées. « Enquête auprès des ménages » n'est pas suffisant ; « l'enquête trimestrielle auprès des ménages menée par l'équipe S&E en septembre, à l'aide du module CAP » l'est.
Erreur 4 : reprendre les objectifs des propositions sans données de situation de référence. Les objectifs formulés dans les propositions avant la collecte des données de situation de référence sont souvent irréalistes. Refusez d'intégrer ces objectifs dans le plan de S&E sans un examen et un ajustement basés sur la situation de référence.
Erreur 5 : maintenir les indicateurs de conformité au-delà de leur pertinence. Les indicateurs de conformité purement formels persistent souvent dans les plans de S&E bien après la disparition de l'exigence initiale. Il est essentiel de réviser l'ensemble des indicateurs annuellement et d'éliminer ceux qui ne sont plus utilisés.
Erreur 6 : utiliser « en continu » comme intervalle de mesure. L'expression « en continu » indique qu'aucune planification de collecte de données n'a été établie. Cela conduit inévitablement à un manque de rigueur. Optez pour une fréquence spécifique, même si elle est peu fréquente.
Erreur 7 : considérer SMART comme un exercice ponctuel. Le cadre SMART doit être réappliqué chaque fois que la conception du programme évolue, que des activités sont supprimées ou que des sources de données deviennent inaccessibles. Un indicateur jugé SMART lors de la phase de conception peut ne plus l'être 18 mois plus tard si sa source de données a été abandonnée. Pour une discipline d'élagage complémentaire, consultez erreur trop d'indicateurs.
Erreur 8 : formuler des indicateurs avant de définir les décisions. En pratique, le test de Pertinence devrait être prioritaire. Identifiez d'abord les décisions à prendre et les exigences de rapport, puis concevez les indicateurs nécessaires pour les éclairer. Formuler des indicateurs pour ensuite chercher des décisions à y associer est la cause principale des échecs de pertinence.
Liste de contrôle de l'examen SMART
Appliquez cette liste de contrôle à chaque indicateur avant de l'intégrer au plan de S&E ou à la proposition.
Spécifique :
- Un collègue n'ayant pas participé à la conception peut lire l'indicateur et décrire les données à collecter.
- L'attribut mesuré (qualité, quantité, statut) est nommé sans ambiguïté.
- La population est clairement définie (tranche d'âge, sexe, géographie, groupe cible du programme).
- L'unité de comptage est précisée (individus uniques vs événements par personne, ménage vs individu).
Mesurable :
- Une source de données spécifique est désignée.
- La méthode de collecte est spécifiée (enquête, registre, examen des dossiers).
- La fréquence de collecte est réalisable au regard du budget et des capacités du programme.
- Au moins un mécanisme d'assurance qualité des données est spécifié (formation des enquêteurs, vérifications ponctuelles par le superviseur, cycle d'AQD).
Atteignable :
- La valeur de la situation de référence est connue ou une étude de situation de référence est prévue avant la finalisation de l'objectif.
- L'objectif est formulé comme un changement par rapport à la situation de référence, et non comme une valeur absolue déconnectée des conditions initiales.
- Le taux de changement est cohérent avec les données publiées de programmes comparables.
- Le budget et la conception du programme peuvent plausiblement générer le changement ciblé.
Pertinent :
- La décision ou l'exigence de rapport que l'indicateur doit éclairer est nommée.
- Une personne ou un comité est responsable d'agir sur la base de ces données.
- L'indicateur ne fait pas double emploi avec un autre déjà présent dans le plan.
Temporellement défini :
- La fréquence de collecte est indiquée (pas « en continu » ou « au besoin »).
- La date limite de rapport est précisée.
- L'intervalle de mesure correspond au cycle de décision ou de rapport qu'il est censé alimenter.
Utilisez la liste de contrôle des indicateurs SMART pour valider chaque indicateur par rapport à l'ensemble des critères avant la soumission du plan de S&E. Pour une approche plus globale de la conception d'indicateurs, consultez indicateur vs objectif vs jalon et erreur trop d'indicateurs. Pour consulter les espaces de travail actuels, voir le catalogue des playbooks.