L'évaluation sommative est menée à la fin ou après l'achèvement d'un programme afin de juger de ses résultats globaux. Elle vise à répondre aux questions clés : « Le programme a-t-il fonctionné ? Pour qui ? À quel coût ? Et quel a été son impact réel ? » Tandis que l'évaluation formative permet d'ajuster le programme en cours de route, l'évaluation sommative en établit le bilan définitif.
Les questions clés de l'évaluation sommative
Les évaluations sommatives s'articulent généralement autour de cinq questions fondamentales :
- Les objectifs et les cibles définis ont-ils été atteints ?
- Quels résultats peuvent être attribués au programme, et quelle proportion se serait produite indépendamment de son intervention ?
- Comment les résultats ont-ils varié selon les sous-groupes (genre, zone géographique, vulnérabilité, intensité de l'intervention) ?
- Le programme a-t-il été efficient et rentable par rapport à d'autres approches ou aux standards sectoriels ?
- Quelles leçons peuvent être tirées et transférées aux futurs programmes, qu'ils soient menés par votre organisation ou par d'autres acteurs du secteur ?
Une évaluation sommative de qualité apporte des réponses claires à ces cinq questions. À l'inverse, une évaluation moins rigoureuse risque de confondre l'achèvement des activités avec l'atteinte des résultats, ou de se contenter de reformuler le cadre logique sans en vérifier la validité.
Quand recourir à l'évaluation sommative ?
L'évaluation sommative est quasi obligatoire pour tout programme pluriannuel financé par un bailleur de fonds, dès lors qu'il dépasse un certain seuil budgétaire. Plus précisément, elle est particulièrement pertinente dans les situations suivantes :
- Le programme touche à sa fin et des rapports de redevabilité doivent être soumis au bailleur de fonds et aux parties prenantes.
- Une décision d'extension, de reproduction ou de renouvellement du programme repose sur des preuves concrètes de son efficacité.
- Le secteur manque de données probantes et une évaluation finale rigoureuse pourrait enrichir la base de connaissances publiques.
- La Théorie du Changement inclut des hypothèses au niveau des résultats qui ne peuvent être validées par les seules données de suivi.
Pour les projets de courte durée (moins de 12 mois), un examen après action plus léger est souvent privilégié en remplacement.
Principes de conception
Le calendrier est un élément crucial. Les évaluations sommatives sont généralement menées à la fin du programme ou dans les trois à six mois suivant sa clôture. La collecte de données doit être planifiée de manière à laisser aux résultats le temps de se manifester pleinement, sans pour autant compromettre la mémoire des répondants ou la traçabilité des cohortes.
Sur le plan méthodologique, une évaluation sommative exige une rigueur absolue : le recours à un évaluateur externe pour les programmes d'une certaine envergure, une conception comparative ou contrefactuelle lorsque cela est réalisable, l'utilisation de méthodes mixtes pour trianguler les affirmations potentiellement contestées, et un échantillonnage permettant une analyse fine par sous-groupes. La généralisabilité des résultats est plus importante que dans le cadre d'une évaluation formative ; les conclusions sont destinées à être transférables. Les exigences d'indépendance sont généralement impératives, l'évaluateur étant recruté indépendamment de l'entité de mise en œuvre et rendant compte directement au bailleur de fonds ou à un comité de pilotage.
Évaluation sommative et évaluation d'impact
L'évaluation sommative porte sur les résultats globaux d'un programme. L'évaluation d'impact, quant à elle, se concentre spécifiquement sur l'attribution : elle cherche à déterminer quel changement a été directement causé par le programme, par opposition à ce qui se serait produit en son absence. L'évaluation d'impact est donc un type spécifique d'évaluation sommative qui repose sur une conception contrefactuelle, qu'il s'agisse d'un essai contrôlé randomisé, d'une comparaison quasi-expérimentale ou d'une analyse de contribution robuste.
Toutes les évaluations sommatives ne sont pas des évaluations d'impact. Une évaluation sommative menée sans contrefactuel peut néanmoins déterminer si les cibles ont été atteintes, comment les parties prenantes ont perçu le programme et si la Théorie du Changement s'est avérée valide, mais elle ne pourra pas établir d'affirmations d'attribution claires.
Contexte de la proposition
La quasi-totalité des programmes pluriannuels financés par des bailleurs de fonds bilatéraux et des fondations exigent une évaluation sommative. Les propositions qui abordent ce point de manière vague sont souvent pénalisées. Il est donc essentiel de spécifier cinq éléments clés :
- Calendrier : Préciser la période (fin de projet ou trois à six mois après la clôture) et la fenêtre de collecte de données envisagée.
- Indépendance de l'évaluateur : L'externalisation est la norme pour les programmes d'une certaine envergure. Décrire l'approche d'approvisionnement (appel d'offres concurrentiel, panel pré-qualifié), même si le cabinet n'est pas encore sélectionné.
- Approche méthodologique : Bien que la conception finale soit affinée lors de la phase d'inception, il est crucial de nommer l'approche envisagée dès la proposition (quasi-expérimentale avec groupe de comparaison, basée sur la Théorie du Changement, analyse de contribution par méthodes mixtes).
- Budget : Prévoir généralement 2 à 4 % du budget total du programme, ce pourcentage étant plus élevé pour les évaluations d'impact nécessitant des conceptions contrefactuelles.
- Utilisation prévue : Préciser la redevabilité envers le bailleur de fonds, les décisions d'extension ou de reproduction du programme, et la contribution à l'apprentissage sectoriel. Identifier clairement les publics cibles.
Les propositions qui intègrent ces cinq points sont considérées comme sérieuses et bien structurées. Celles qui se contentent d'une mention vague comme « une évaluation finale sera menée » sont perçues comme insuffisantes.
Pièges courants à éviter
- Calendrier trop rapproché de la fin du projet. Si l'évaluation sommative est livrée après que toutes les décisions clés ont été prises, son utilité est compromise. Il est essentiel de prévoir une fenêtre de décision d'au moins six à huit semaines entre la remise du rapport et la date butoir de clôture du programme.
- Manque de clarté sur l'indépendance de l'évaluateur. Le fait que le personnel interne évalue son propre programme soulève des préoccupations légitimes de partialité de la part des bailleurs de fonds. Il est impératif de détailler les modalités garantissant l'indépendance de l'évaluation dès la proposition, et non seulement lors de la phase d'inception.
Sujets connexes
- Évaluation formative : L'évaluation complémentaire, menée en cours de programme.
- Évaluation d'impact : Un type d'évaluation sommative utilisant une conception contrefactuelle.
- Évaluation : Le concept général englobant tous les types d'évaluation.
- Évaluation basée sur la Théorie du Changement : Une approche fréquente pour la conception d'évaluations sommatives.
- Contrefactuel : Un concept central dans les évaluations sommatives axées sur l'attribution.