L'évaluation formative se déroule en cours de mise en œuvre d'un programme et vise principalement son amélioration. Elle cherche à répondre à des questions clés : Qu'est-ce qui fonctionne ? Qu'est-ce qui ne fonctionne pas ? Et quels ajustements sont nécessaires tant qu'il est encore possible d'agir ?
Les objectifs de l'évaluation formative
L'évaluation formative se concentre sur des questions concrètes et directement exploitables pour un programme en cours :
- Le programme atteint-il les participants ciblés, dans les proportions et avec l'intensité prévues ?
- Les activités sont-elles mises en œuvre conformément au plan, ou des écarts par rapport au modèle original sont-ils observés ?
- Des signes de résultats précoces sont-ils visibles, même si les résultats finaux ne sont pas encore mesurables ?
- Quels ajustements de mise en œuvre permettraient d'améliorer les résultats sur la période restante du programme ?
Ces questions diffèrent fondamentalement de celles de l'évaluation sommative, qui cherche à déterminer si le programme a globalement fonctionné et s'il en valait la peine. L'évaluation formative s'apparente à la réparation d'une voiture en mouvement, tandis que l'évaluation sommative vise à déterminer si le voyage en valait la peine.
Quand recourir à l'évaluation formative
L'évaluation formative est particulièrement précieuse dans cinq situations :
- Programmes en phase de démarrage, lorsque les modalités de mise en œuvre sont encore en cours de stabilisation et que les ajustements sont peu coûteux.
- Théories du Changement complexes, dont le cheminement causal repose sur de multiples hypothèses nécessitant des vérifications sur le terrain.
- Innovations et projets pilotes, où le modèle de programme lui-même est en phase de test, et non seulement d'exécution.
- Contextes de gestion adaptative, où le programme est explicitement conçu pour l'apprentissage et l'ajustement continu.
- Programmes pluriannuels incluant des cycles d'examen à mi-parcours intégrés aux accords de financement.
Si un programme est court, simple et à faible risque, une évaluation formative pourrait ne pas justifier son coût. Cependant, dans la plupart des autres cas, l'ignorer constitue généralement une fausse économie.
Caractéristiques de conception
Les évaluations formatives sont conçues pour être utiles, et non pour leur seule rigueur académique. Quatre caractéristiques sont essentielles :
- Le calendrier se situe à mi-parcours de la mise en œuvre, généralement après un volume suffisant d'activités pour générer des données, mais suffisamment tôt pour que les conclusions puissent influencer la période restante du programme.
- La méthodologie est rapide et pragmatique. Il ne s'agit pas de mener un essai contrôlé randomisé. Les méthodes mixtes, combinant un travail de terrain qualitatif léger et l'analyse des données de suivi de routine, constituent le modèle courant.
- La priorité est la réactivité plutôt que la généralisabilité. Le public cible est l'équipe du programme, et non la communauté universitaire.
- Les conclusions alimentent le cycle de programme qui les a générées. Si le rapport est publié après la fin du programme, il s'agit alors d'une évaluation sommative, même si elle est étiquetée comme formative.
Formative vs. sommative
| Caractéristique | Formative | Sommative |
|---|---|---|
| Période | Pendant la mise en œuvre | À la fin ou après la fin du programme |
| Objectif | Amélioration | Jugement |
| Public cible | Équipe du programme | Bailleur de fonds, direction, public |
| Méthodologie typique | Méthodes mixtes, rapides | Rigoureuse, souvent comparative |
| Utilisation des conclusions | Ajuster le programme en cours | Rendre compte des résultats, éclairer les programmes futurs |
La plupart des programmes d'une certaine envergure nécessitent les deux types d'évaluation tout au long de leur cycle de vie. Elles répondent à des questions distinctes et éclairent des décisions différentes.
Contexte de la proposition
Les programmes pluriannuels devraient systématiquement inclure une évaluation formative (par exemple, un examen à mi-parcours ou une évaluation de processus) et une évaluation sommative (une évaluation finale) dans leur plan d'évaluation. Une proposition qui ne prévoirait qu'une évaluation finale manquerait les opportunités de gestion adaptative et d'apprentissage, de plus en plus valorisées par les bailleurs de fonds. Elle donnerait également l'impression qu'une équipe ne prévoit pas d'apprendre en cours de mise en œuvre.
Le calendrier est crucial. Trop tôt, le programme ne sera pas suffisamment stabilisé pour générer des informations utiles ; les données risquent d'être du bruit. Trop tard, et les conclusions ne pourront pas réellement éclairer le cycle de programme en cours. Pour un programme de 3 à 5 ans, un examen à mi-parcours entre les mois 18 et 24 est un positionnement courant et généralement approprié.
Prévoyez un budget d'environ 1,5 à 2 % du budget total du programme pour l'évaluation formative, et de 2 à 4 % pour l'évaluation sommative. Sous-estimer le coût de l'évaluation est un signe fréquent dans les propositions.
Pièges courants
- Planifiée trop tôt, avant que le programme ne soit suffisamment stabilisé pour produire des données interprétables. On risque alors d'évaluer principalement les difficultés de démarrage.
- Conclusions non réintégrées dans le cycle du programme. Le rapport est rédigé, classé, et aucune modification n'est apportée. Une évaluation formative sans plan d'utilisation est une évaluation sommative déguisée.
Sujets connexes
- Évaluation Sommative : Évaluation de fin de programme axée sur le jugement et la redevabilité.
- Évaluation axée sur l'utilisation : Évaluation conçue en fonction de l'utilisation réelle des conclusions.
- Évaluation : Concept général englobant les évaluations formatives, sommatives et autres types d'évaluation.
- Évaluation basée sur la Théorie du Changement : Tester la logique causale sous-jacente à un programme.
- Gestion adaptative : Approche de gestion qui repose sur l'apprentissage formatif.