Types d'évaluation comparés

Une famille d'approches, des questions différentes

L'« évaluation » n'est pas une méthode unique. C'est une famille d'approches, et chacune répond à une question différente à un moment différent de la vie d'un programme. Choisir le mauvais type est une erreur fréquente et coûteuse. L'évaluation ne peut alors pas répondre aux questions pour lesquelles elle avait été prévue, faute d'avoir collecté les bonnes données au bon moment.

Cette page compare sept types d'évaluation, puis trois options pour savoir qui conduit l'évaluation. L'évaluation de processus et l'évaluation des résultats sont les deux dont la plupart des programmes ont besoin. Les autres méritent d'être connues, pour reconnaître les cas où elles s'appliquent et ceux où elles ne s'appliquent pas.

Les sept types côte à côte

Termes utilisés sur cette page :

• Fidélité : mesure dans laquelle un programme est exécuté tel qu'il a été conçu.
• Attribution : démonstration que le programme a causé un changement, et non autre chose.
• Quasi expérimental : plan d'évaluation qui constitue un groupe de comparaison sans affectation aléatoire.

Les coûts sont des niveaux relatifs, non des prix, et varient selon le contexte. Les méthodes et les meilleurs usages diffèrent selon le type :

• Processus : examen documentaire, entretiens, observation et grilles de contrôle de la fidélité. Convient surtout aux nouveaux programmes, aux interventions complexes et à la vérification de la capacité de passage à l'échelle.
• Résultats : comparaison avant et après, enquêtes et méthodes mixtes. Convient à la plupart des programmes ; répond à la question « cela a-t-il fonctionné ? »
• Impact : plans aléatoires ou quasi expérimentaux, ou analyse de contribution. Convient aux grands programmes qui ont besoin d'une preuve causale pour décider d'un passage à l'échelle.
• Formative : évaluations rapides, méthodes participatives et retour d'information en temps réel. Convient aux projets pilotes, aux programmes adaptatifs et aux innovations à tester.
• Sommative : méthodes mixtes, méta-analyse et analyse coût-efficacité. Convient aux programmes qui s'achèvent, à la redevabilité et aux décisions de financement futur.
• Développementale : évaluateur intégré et méthodes adaptées à la complexité. Convient à l'innovation et au changement systémique. Elle exige un évaluateur intégré sur le long terme ; ce n'est donc pas une option courante pour la plupart des programmes financés par subvention.
• En temps réel : enquêtes rapides, télédétection et réseaux d'informateurs clés. Convient à la réponse humanitaire et aux programmes d'urgence.

Quatre questions avant de choisir

Répondez d'abord à ces questions. Les réponses désignent en général un ou deux types.

1. Quelle décision l'évaluation doit-elle éclairer : passage à l'échelle, renouvellement du financement, apprentissage ou redevabilité ?
2. Quand aura-t-elle lieu : à mi-parcours, à la fin, ou après la fin des activités ?
3. Faut-il prouver l'attribution, ou une contribution plausible suffit-elle ?
4. Quel est le budget, et quel niveau d'indépendance le bailleur exige-t-il ?

Quel que soit le type retenu, il doit couvrir les questions que le bailleur formule. Beaucoup de bailleurs utilisent les critères du CAD de l'OCDE (révisés en 2019) : pertinence, cohérence, efficacité, efficience, impact et durabilité.

Si les réponses restent floues, commencez par une évaluation des résultats. Elle convient à la plupart des programmes, des étapes et des exigences de bailleurs.

Les trois paires les plus souvent confondues

Processus et résultats. Une évaluation de processus examine si le programme fournit ce qu'il devait fournir, de la manière prévue. Une évaluation des résultats examine si les changements attendus se sont produits chez les personnes que le programme dessert. Un programme peut avoir une excellente fidélité sans qu'aucun changement n'apparaisse. Il peut aussi produire un changement alors que l'exécution s'écarte de la conception. Corrigez d'abord le processus, puis mesurez les résultats.

Résultats et impact. Une évaluation des résultats établit que ces changements se sont produits dans la population cible. Une évaluation d'impact établit que le programme les a causés, et non d'autres facteurs. Cette affirmation exige une comparaison crédible : un groupe témoin, un groupe de comparaison ou une approche analytique rigoureuse. La plupart des programmes n'ont ni la taille d'échantillon, ni le budget, ni le groupe de comparaison nécessaires. Une évaluation des résultats solide, appuyée par un argument de contribution plausible, est en général la bonne réponse.

Formative et sommative. Ces termes décrivent un but, non une méthode. Une évaluation formative nourrit l'amélioration pendant que le programme se déroule. Une évaluation sommative juge la valeur globale à la fin. Une même évaluation peut jouer les deux rôles. Une évaluation à mi-parcours rend souvent compte de l'avancement au bailleur (sommative) et éclaire les ajustements de l'année suivante (formative).

La plupart des petites et moyennes organisations n'ont pas besoin d'une évaluation d'impact coûteuse. Une évaluation de processus solide en année 1 et une évaluation des résultats à la fin couvrent la plupart des besoins. Réservez l'évaluation d'impact aux cas où le budget, la taille d'échantillon et un vrai besoin de preuve de causalité sont tous réunis.

Qui conduit l'évaluation : interne, externe ou hybride

Toute évaluation suppose aussi un choix sur la personne qui fait le travail. Les options vont du tout interne au tout externe, avec un modèle hybride entre les deux.

Chaque option a sa place :

• Interne : petits projets pilotes, évaluation formative et revues d'apprentissage dont l'enjeu de redevabilité est faible.
• Externe : évaluations exigées par un bailleur, évaluations sommatives à fort enjeu et programmes sensibles.
• Hybride : évaluations à mi-parcours et finales lorsque l'équipe a la capacité de s'y associer et que le coût est une contrainte.

Lorsque les conclusions portent des décisions à fort enjeu, ou que le bailleur l'exige, faites appel à un évaluateur externe dont l'indépendance est documentée, c'est-à-dire sans lien antérieur avec le programme ou son bailleur. Inscrivez le coût dans le budget de S&E dès le départ. Aucun pourcentage du coût du programme ne convient à toutes les évaluations ; fondez donc la ligne budgétaire sur un plan chiffré de la conception, du travail de terrain, de l'analyse et de la rédaction du rapport. Sans ligne budgétaire, la facture arrive en année 2 sans de quoi la payer.

Note sectorielle, éducation. Les évaluations utilisent souvent les résultats aux tests comme indicateurs de résultat. Une hausse des notes peut refléter un enseignement centré sur le test plutôt qu'un apprentissage réel. Ajoutez un volet de processus qui vérifie si les enseignants ont réellement changé leurs pratiques.

Note sectorielle, gouvernance. Les changements de politique et les réformes institutionnelles ont de nombreuses causes autres qu'un seul programme. L'analyse de contribution, qui évalue la contribution plausible du programme plutôt que son attribution exclusive, convient souvent mieux à la gouvernance qu'un plan expérimental. Demandez « qu'est-ce que ce programme a apporté au changement ? » et non « a-t-il causé le changement ? »

Exemple pratique : Healthy Futures

Healthy Futures est un programme fictif de nutrition infantile dans le district de Kasenda. Il dure 36 mois et est financé par un bailleur qui attend une évaluation à mi-parcours, avec un rapport final dû au mois 24.

Le responsable S&E part des questions auxquelles le bailleur veut des réponses, non d'un type. Le programme est-il exécuté comme prévu ? C'est une question de processus. Les premiers résultats apparaissent-ils ? C'est une question de résultats. Que faut-il changer en année 3 ? C'est une question formative. Une évaluation d'impact est écartée : à mi-parcours d'un programme de 36 mois, le recul est trop court pour répondre à une question d'attribution.

La recommandation est une évaluation combinée de processus et de résultats, avec un angle formatif. Ce n'est pas une évaluation d'impact, car le but est d'apprécier l'avancement et de tirer des leçons, non de prouver la causalité.

Pour l'indépendance, l'équipe choisit un évaluateur externe, parce que les conclusions de mi-parcours orienteront les décisions de l'année 3 et seront transmises au bailleur. L'évaluateur externe dirige l'évaluation et rédige le rapport ; l'équipe donne accès aux données de suivi et assure la logistique de terrain. Le plafond de coût est de 35 000 $, et le contrat de l'évaluateur est de 28 000 $.

En remontant depuis le mois 24 : les termes de référence sont rédigés au mois 16 et diffusés au mois 17, mois de la signature du contrat. La phase de démarrage a lieu au mois 18, le travail de terrain aux mois 20 à 21, le projet de rapport au mois 22 et le rapport final au mois 24.

Le type a suivi les questions, et l'évaluateur a suivi les enjeux et le budget.

Pour aller plus loin

Inscrivez le type et l'évaluateur retenus dans les termes de référence de l'évaluation. Pour chaque type, voir l'évaluation de processus, l'évaluation d'impact, l'évaluation formative et sommative et l'évaluation développementale.