Rapport d'évaluation : définition et contenu

Qu'est-ce qu'un rapport d'évaluation ?

Un rapport d'évaluation est le principal produit écrit d'une évaluation. L'équipe d'évaluation le rédige à l'intention de l'organisation qui a commandité l'évaluation et des autres utilisateurs visés, tels que le partenaire de mise en œuvre, le bailleur et le personnel du programme. Il présente l'objet de l'évaluation, les méthodes utilisées, les constatations, les conclusions qui en découlent et les recommandations qui s'ensuivent. Le rapport d'évaluation final est la version remise à la fin de l'évaluation, généralement après examen de la version provisoire par le commanditaire et les principales parties prenantes.

Dans l'usage courant, « rapport d'évaluation » désigne le plus souvent le rapport d'une évaluation de fin de projet : un document qui indique au commanditaire si le programme a fait ce qu'il avait prévu, pourquoi il l'a fait ou non, et ce qu'il convient de faire ensuite.

Pourquoi c'est important

Pour la plupart des évaluations, le rapport est la seule partie que voient les personnes extérieures à l'évaluation. Les entretiens, les enquêtes et les analyses qui le sous-tendent ne sont utiles que si le rapport les consigne assez clairement pour qu'on puisse y croire, les vérifier et s'en servir.

Il répond aussi à une exigence de redevabilité. Les Normes et standards du Groupe des Nations Unies pour l'évaluation (UNEG) indiquent que les rapports d'évaluation doivent être accessibles au public, et que les lecteurs doivent pouvoir comprendre ce qui a été évalué et pourquoi, comment l'évaluation a été menée, ce qui a été constaté et sur quelles preuves, ce qui a été conclu, ce qui a été recommandé et ce qu'on peut en retenir.

Que contient un rapport d'évaluation ?

Un rapport d'évaluation final comprend généralement les parties suivantes, à peu près dans cet ordre :

1. Résumé analytique. Un résumé autonome, généralement de 2 à 3 pages, qui couvre le programme, les objectifs et le public de l'évaluation, la méthodologie, les constatations et conclusions les plus importantes et les principales recommandations. Beaucoup de lecteurs ne lisent que cette partie.

2. Introduction et objet de l'évaluation. Pourquoi l'évaluation a été menée à ce moment, qui avait besoin de l'information, comment elle sera utilisée, et ce que l'évaluation a couvert ou non.

3. Description du programme et contexte. Les objectifs, les activités, la zone géographique, le budget, le calendrier, les partenaires de mise en œuvre et les participants visés du programme, ainsi que sa théorie du changement ou sa chaîne de résultats. Il faut y inclure le contexte politique, économique et institutionnel qui a influencé les résultats, ainsi que les changements importants apportés en cours de mise en œuvre.

4. Questions et critères d'évaluation. Les questions auxquelles l'évaluation devait répondre, tirées des termes de référence et de toute révision convenue à la phase de démarrage, et les critères utilisés, le plus souvent les critères du CAD de l'OCDE. Les standards de qualité de l'OCDE attendent du rapport qu'il réponde à chaque question des TdR ou qu'il explique pourquoi il n'a pas pu le faire.

5. Méthodologie et limites. La conception, les sources de données, l'échantillonnage, les méthodes de collecte et d'analyse des données, et la raison du choix de chacune. Il faut indiquer ce qui s'est mal passé ou n'a pas pu être fait (par exemple, des sites inaccessibles, de faibles taux de réponse, l'absence de données de référence) et son effet sur les constatations.

6. Constatations. Les preuves, organisées par question ou par critère d'évaluation afin que les lecteurs trouvent la réponse à chacune. Les constatations rendent compte de ce que montrent les données, avec chiffres, citations et sources, et signalent les cas où les preuves sont minces ou les sources divergent.

7. Conclusions. Les jugements des évaluateurs sur le programme, fondés sur les constatations : sa performance au regard de chaque critère, ses principaux points forts et points faibles, et les raisons de ceux-ci.

8. Recommandations. Des actions précises à l'intention de destinataires nommés, hiérarchisées et rattachées aux conclusions qui les justifient.

9. Leçons apprises. Les enseignements qui s'appliquent au-delà de ce programme, comme les choix de conception ou les approches que d'autres programmes pourraient reprendre ou éviter. Voir Leçons apprises.

10. Annexes. Les TdR, la matrice d'évaluation, les outils de collecte de données, la liste des personnes consultées et des sites visités, les documents examinés, les notices biographiques des évaluateurs et les tableaux de données détaillés.

Comment les constatations mènent aux conclusions et aux recommandations. C'est cet enchaînement qui fait le plus souvent défaut aux rapports d'évaluation, et les standards de qualité de l'OCDE demandent que les constatations, les conclusions, les recommandations et les leçons soient présentées séparément, avec une distinction logique claire entre elles. Une constatation est un énoncé de fait appuyé par des preuves. Une conclusion est un jugement tiré d'une ou de plusieurs constatations. Une recommandation est une action qui découle d'une conclusion. Voici un exemple d'enchaînement :

• Constatation : Sur 400 agriculteurs enquêtés, 31 % utilisaient la méthode de stockage enseignée lors de la formation, et la plupart des non-utilisateurs ont dit que les séances avaient lieu pendant la période des semis.
• Conclusion : La formation a touché son groupe cible, mais son calendrier a limité l'adoption, de sorte que la cible d'adoption n'a pas été atteinte.
• Recommandation : Programmer les prochaines formations après la récolte, et demander au partenaire de mise en œuvre de rendre compte de la participation et de l'adoption à chaque saison.

Si un lecteur ne peut pas remonter d'une recommandation à une conclusion, puis d'une conclusion aux preuves, le rapport comporte une lacune.

Exemple de plan

Un rapport d'évaluation final pour l'évaluation d'un programme de taille moyenne suit souvent le plan ci-dessous (environ 45 pages de texte principal) :

1. Résumé analytique (2 à 3 pages)
2. Introduction : objet, portée et utilisateurs visés (2 pages)
3. Description du programme et contexte (4 pages)
4. Questions et critères d'évaluation (2 pages)
5. Méthodologie et limites (5 pages)
6. Constatations par question d'évaluation (18 pages)
7. Conclusions (3 pages)
8. Recommandations (3 pages)
9. Leçons apprises (2 pages)

La page de titre et les premières pages doivent indiquer l'objet de l'évaluation, la période couverte et la date du rapport, le lieu, les évaluateurs et l'organisation commanditaire, et comprendre une table des matières et une liste des sigles.

Annexes (généralement de 20 à 60 pages supplémentaires) : termes de référence, matrice d'évaluation, outils de collecte de données, liste des personnes interrogées et des sites visités, liste des documents consultés, tableaux de données détaillés et notices biographiques des évaluateurs.

Rapport d'évaluation, rapport d'avancement et rapport de démarrage

Ces trois documents sont rédigés à des moments différents et répondent à des questions différentes.

Erreurs courantes

Constatations, conclusions et recommandations mélangées. Lorsqu'un même paragraphe énonce un fait, un jugement et une action, les lecteurs ne peuvent pas savoir quelles preuves appuient quoi. Il faut séparer les trois et les numéroter pour que chaque recommandation renvoie à la conclusion qui la fonde.

Constatations organisées par source de données plutôt que par question. Une section sur l'enquête, puis une sur les entretiens, puis une sur l'examen documentaire oblige le lecteur à reconstituer la réponse. Il faut organiser par question d'évaluation et rassembler les sources sous chacune.

Des recommandations que personne ne peut mettre en œuvre. « Renforcer la coordination » ne dit pas qui doit faire quoi, ni pour quand. Il faut nommer le destinataire de chaque recommandation, la rendre assez précise pour qu'on puisse agir et la hiérarchiser. Les orientations de l'UNEG précisent aussi de consulter les futurs responsables de la mise en œuvre afin que les recommandations soient réalistes.

Passer les limites sous silence. Un rapport qui ne dit pas quels sites n'ont pas été atteints, ni quelle était la taille réduite de l'échantillon, surestime ses preuves. Il faut exposer les limites dans la méthodologie et les rappeler là où elles touchent une constatation.

Résumé analytique rédigé en dernier et dans la précipitation. Beaucoup de lecteurs ne lisent rien d'autre. Il doit se suffire à lui-même et porter les principales constatations, conclusions et recommandations.

Variations selon le type d'évaluation

La structure de base reste la même d'un type à l'autre, mais l'accent change.

Évaluations finales ou sommatives. Elles portent un jugement sur les résultats d'ensemble : les sections de constatations s'organisent donc autour des critères (pertinence, efficacité, efficience, durabilité et, lorsque c'est exigé, impact), et les conclusions apprécient si le programme a atteint ses objectifs. Voir Évaluation sommative.

Évaluations et revues à mi-parcours. Le rapport est tourné vers l'avenir. Les recommandations sur les changements à apporter à la période de mise en œuvre restante comptent le plus, et le rapport est plus court. Voir Revue à mi-parcours.

Évaluations d'impact. La section méthodologique s'étoffe pour justifier la manière dont les résultats sont attribués au programme, y compris le groupe de comparaison, la taille de l'échantillon et les méthodes statistiques, et le rapport présente les tailles d'effet et leur incertitude. Voir Évaluation d'impact.

Évaluations de processus ou de mise en œuvre. La description du programme et les constatations s'attardent sur le déroulement de la mise en œuvre : ce qui a été réalisé comme prévu, ce qui a changé et pourquoi. Voir Évaluation de processus.

Évaluations en temps réel. Les rapports sont courts et fréquents, souvent une note de synthèse ou un mémo remis pendant que la réponse est encore en cours, l'accent portant sur des recommandations opérationnelles immédiates. Voir Évaluation en temps réel.

Dans tous les cas, le critère est le même : un lecteur qui n'a pas participé à l'évaluation peut-il trouver la réponse à chaque question d'évaluation, voir les preuves qui la sous-tendent et voir quelle recommandation découle de quelle conclusion ?