Le S&E (suivi et évaluation) est la pratique consistant à suivre ce que fait un programme pendant son exécution, et à juger s'il a fonctionné une fois que les éléments de preuve sont suffisants. Le suivi indique si la mise en œuvre est conforme au plan. L'évaluation indique si le programme a produit un changement, et pourquoi. Un système de S&E est ce qui rend les deux possibles.
Qu'est-ce que le suivi et l'évaluation ?
Le S&E est la façon dont un programme sait ce qu'il fait et s'il fonctionne. Les deux volets répondent à des questions différentes selon des calendriers différents.
Le suivi est continu. Il suit les activités, les produits et l'avancement par rapport au plan, généralement chaque mois ou chaque trimestre, et sa finalité est la gestion : détecter les problèmes assez tôt pour agir.
L'évaluation est périodique et plus approfondie. Elle demande si le programme a atteint ce qu'il visait, si le changement peut raisonnablement lui être attribué, et ce qu'il faudrait faire autrement. Elle a généralement lieu à mi-parcours et en fin de programme, parfois des années plus tard.
Aucune ne remplace l'autre. Le suivi sans évaluation produit un programme qui rend compte de son activité indéfiniment sans savoir si quoi que ce soit a compté. L'évaluation sans suivi laisse l'évaluateur sans données exploitables. Pour le détail, voir suivi vs évaluation.
Que signifie S&E, et que sont MEL et MEAL ?
S&E signifie suivi et évaluation. Deux sigles plus longs sont d'usage courant et recouvrent des réalités légèrement différentes.
| Sigle | Signification | Ce qu'ajoute la lettre supplémentaire |
|---|---|---|
| S&E | Suivi et Évaluation | Le socle |
| MEL | Suivi, Évaluation et Apprentissage | Rend explicite que les constats doivent changer des décisions, et pas seulement être rapportés |
| MEAL | Suivi, Évaluation, Redevabilité et Apprentissage | Ajoute des obligations envers les personnes que le programme sert, y compris des mécanismes de retour et de plainte |
Le choix relève le plus souvent d'une convention organisationnelle plutôt que d'une différence réelle de méthode. Ce qui compte est de savoir si les fonctions d'apprentissage et de redevabilité existent réellement, et non quelles lettres figurent dans le nom de l'équipe. Voir terminologie MEL, S&E et MEAL.
Que contient un système de S&E ?
Un système de S&E réunit les éléments qui doivent exister avant que le suivi ou l'évaluation ne soient possibles. La plupart des systèmes comportent les mêmes composantes, quel que soit leur nom local.
| Composante | Ce que c'est | Où en lire plus |
|---|---|---|
| Logique des résultats | La chaîne des activités aux produits, résultats et impact, qui énonce ce que le programme entend changer | Chaîne de résultats |
| Cadre | Le document précisant ce qui sera mesuré, comment, par qui et à quelle fréquence | Cadre de S&E |
| Indicateurs | Les variables mesurables qui suivent l'avancement de chaque résultat | Indicateur |
| Collecte de données | Les instruments, l'échantillonnage et le processus de terrain qui produisent les chiffres | Conception d'enquête |
| Gestion des données | Où résident les données, qui peut les modifier et comment leur qualité est vérifiée | Assurance qualité des données |
| Rapports et utilisation | Les rapports, revues et points de décision où les constats changent quelque chose | Plans de S&E |
| Plan d'évaluation | Ce qui sera évalué, quand, par qui et selon quelles questions | Termes de référence d'évaluation |
Les programmes disposent souvent des trois premières composantes et sont faibles sur les trois dernières. Un cadre doté de bons indicateurs mais sans point de décision où les constats servent est un système de reporting, pas un système de S&E.
Quels outils de S&E sont utilisés ?
L'expression « outils de S&E » recouvre trois choses distinctes, et cette ambiguïté crée une confusion réelle.
Les outils de collecte de données sont les instruments eux-mêmes : questionnaires, guides d'entretien, grilles d'observation et plateformes mobiles utilisées pour les administrer sur le terrain.
Les outils d'analyse et de suivi sont ceux qui accueillent les données une fois collectées : tableaux de suivi des indicateurs, tableaux de bord, logiciels statistiques et les tableurs sur lesquels fonctionnent réellement la plupart des programmes.
Les outils de planification sont les documents qui structurent le système : le cadre logique, le cadre de résultats, la fiche de référence des indicateurs et le plan MEL.
Un programme qui demande quel outil de S&E acheter a généralement besoin du deuxième type. Celui qui demande quel outil utiliser a généralement besoin du premier ou du troisième.
Qui réalise le S&E dans un programme ?
La responsabilité est normalement partagée, et ce partage compte davantage que les intitulés de poste.
Le personnel de programme collecte la majeure partie des données, car il est en contact avec les activités et les personnes participantes. Sa charge de reporting est la raison la plus fréquente de l'échec des systèmes de S&E en pratique.
Un chargé ou une équipe de S&E conçoit le système, contrôle la qualité, agrège et rend compte. Dans les petits programmes, il s'agit d'une fraction du temps d'une personne, non d'un poste.
Les évaluateurs externes conduisent les évaluations formelles. Ils sont mandatés délibérément, sur des termes de référence écrits, et l'indépendance est la raison d'y recourir.
La direction du programme décide de ce qui en découle. C'est le rôle le plus souvent laissé indéfini, et celui qui détermine si le système vaut la peine d'être maintenu.
Comment mettre en place le S&E d'un programme ?
Dans l'ordre approximatif, chaque étape dépendant de la précédente.
- Énoncer d'abord la logique des résultats. Ce qui doit changer, pour qui, et par quel mécanisme. Tout le reste en découle, et sauter cette étape produit des indicateurs que personne ne sait interpréter.
- Choisir les indicateurs à partir de la logique, non d'une liste. Chacun doit dire si un résultat précis se produit. Peu d'indicateurs bien définis valent mieux qu'une couverture exhaustive.
- Définir correctement chaque indicateur avant toute collecte : formulation exacte, unité, désagrégation, source et fréquence. C'est l'objet d'une fiche de référence des indicateurs.
- Concevoir la collecte à partir de l'analyse prévue, en remontant depuis ce qui sera rapporté plutôt qu'en partant de ce qui semble intéressant à demander.
- Décider où les constats seront utilisés. Nommer la réunion, le rapport ou la revue où chaque information change une décision. Ce qui ne change aucune décision doit être supprimé.
- Planifier l'évaluation séparément. Elle a des questions, un calendrier et généralement un auteur différents de ceux du système de suivi.
L'outil Evaluation Readiness vérifie si un programme est prêt pour l'étape 6, et le Method Selector aide pour l'étape 4.
En quoi le S&E diffère de travaux voisins
Le terme est employé de façon imprécise, et trois activités voisines lui sont couramment confondues.
| Ce que c'est | En quoi cela diffère du S&E | |
|---|---|---|
| Recherche | Produit des connaissances généralisables au-delà d'un programme | Le S&E répond à des questions sur ce programme, pour les décisions de ce programme. La recherche demande ce qui est vrai en général |
| Audit | Vérifie que les fonds et les procédures ont respecté les règles | Le S&E demande si le travail a produit quelque chose. Un programme peut réussir un audit sans avoir rien accompli |
| Gestion de la performance | Gère la performance du personnel et de l'organisation | Le S&E mesure le programme. Les deux emploient un vocabulaire proche et rendent compte à des personnes différentes |
Le test pratique est de savoir à qui la réponse est destinée. Si un constat ne peut changer une décision que quelqu'un du programme va prendre, il ne relève probablement pas du S&E.
À quoi ressemble le S&E en pratique
Un programme de moyens de subsistance sur trois ans. Le suivi est mensuel : ménages touchés, sessions de formation dispensées, intrants distribués, rapportés au plan par le personnel de terrain et agrégés par un chargé de S&E. Une enquête de situation de référence au démarrage et une enquête de fin mesurent les revenus et la sécurité alimentaire par rapport aux cibles. Une revue à mi-parcours, interne, demande si la mise en œuvre est conforme et ce qu'il faut ajuster. Une évaluation finale externe demande si les revenus ont réellement augmenté, si le programme peut se l'attribuer, et ce qu'il faudrait faire autrement.
Un projet de plaidoyer d'un an. Le suivi est plus léger : réunions tenues, contributions déposées, membres ralliés à la coalition. Il n'y a pas d'enquête de situation de référence pertinente, car le résultat visé est un changement de politique et non une caractéristique mesurable d'une population. L'évaluation est donc qualitative et centrée sur la contribution : ce qui a changé dans l'environnement politique et avec quelle plausibilité le projet y a contribué. Forcer ce programme dans un dispositif expérimental produirait une réponse moins bonne, non meilleure.
La différence entre les deux ne tient ni au budget ni à l'ambition. Elle tient à savoir si le résultat est dénombrable et si un contrefactuel est disponible.
Erreurs courantes
Tout mesurer. Les listes d'indicateurs s'allongent parce qu'en ajouter un est plus facile que d'en défendre le retrait. Le coût retombe sur le personnel de terrain et la qualité des données baisse partout.
Confondre produits et résultats. Compter les formations dispensées relève du suivi. Savoir si quelqu'un a changé sa pratique relève de l'évaluation. Les programmes qui ne rapportent que le premier croient souvent détenir la preuve du second.
Construire le système après le démarrage du programme. La situation de référence ne se documente pas rétrospectivement, et sans elles la plupart des questions d'évaluation deviennent sans réponse possible.
Traiter le S&E comme une obligation de reporting. Un système conçu pour satisfaire le rapport d'un bailleur satisfera ce rapport et n'éclairera rien d'autre. Le test est de savoir si une décision aurait été prise autrement sans lui.
Sujets connexes
L'entrée suivi vs évaluation traite la distinction en détail. Cadre de S&E et conception de systèmes de S&E couvrent respectivement le document et l'infrastructure. Pour construire le plan, commencez par plans de S&E.