Concevoir une Évaluation Réussie
Une évaluation est une appréciation systématique de la conception, de la mise en œuvre ou des résultats d'un programme. Contrairement au suivi régulier, qui vérifie si les activités se déroulent comme prévu, une évaluation pose des questions plus approfondies : Les résultats escomptés sont-ils atteints ? Pour quelles raisons ? Qu'est-ce qui se serait passé sans l'intervention du programme ?
Qu'est-ce qu'une évaluation ?
Les évaluations figurent parmi les activités de S&E les plus coûteuses, et malheureusement, aussi parmi les plus souvent sous-exploitées. Un scénario d'échec fréquent : une évaluation est commanditée uniquement pour répondre à une exigence de rapport, ses conclusions arrivent trop tard pour influencer les décisions, et le rapport reste lettre morte. Une conception d'évaluation efficace doit avant tout considérer son utilisation : qui exploitera les conclusions, et de quelle manière ?
Types d'évaluation
Les quatre types d'évaluation les plus courants dans la programmation de développement répondent à des objectifs distincts et requièrent des ressources variées :
| Type | When to use it |
|---|---|
| Évaluations formatives | se déroulent pendant la mise en œuvre et visent l'amélioration continue. Elles posent la question : qu'est-ce qui fonctionne, qu'est-ce qui doit être ajusté, et comment pouvons-nous optimiser nos actions ? |
| Évaluations sommatives | interviennent à la fin ou après l'achèvement du programme et se concentrent sur l'appréciation globale. Elles cherchent à savoir : le programme a-t-il atteint ses objectifs, et l'investissement était-il justifié ? |
| Évaluations de processus | se focalisent sur la manière dont les activités ont été mises en œuvre. Elles sont particulièrement utiles pour comprendre la qualité de l'exécution avant de tirer des conclusions sur les résultats obtenus. |
| Évaluations d'impact | visent à attribuer le changement observé au programme en comparant les résultats avec un contrefactuel (c'est-à-dire ce qui se serait passé sans l'intervention). Elles exigent la conception la plus rigoureuse et le budget le plus conséquent. |
Quand évaluer un programme ?
La plupart des programmes financés par des bailleurs de fonds sont tenus de réaliser au moins un examen à mi-parcours et une évaluation finale. Au-delà de la simple conformité, le moment opportun pour évaluer est lorsqu'une décision stratégique requiert des preuves : une décision de mise à l'échelle, un ajustement de cap, une demande de renouvellement de financement, ou une question d'apprentissage à laquelle les données de suivi ne peuvent pas répondre.
Les évaluations qui ne sont pas directement liées à une décision ont tendance à produire des rapports plutôt que des changements concrets. Avant de commander une évaluation, la question primordiale est : qui utilisera les conclusions, et quelles décisions seront prises différemment grâce à elles ?
Objectif de l'évaluation
Pourquoi évaluez-vous ?
- Formatif. Améliorer la mise en œuvre en cours de programme
- Sommative. Évaluer l'efficacité à la fin ou après l'achèvement
- De processus. Analyser la mise en œuvre des activités
- D'impact. Attribuer le changement observé au programme (nécessite un contrefactuel)
Type de conception
Quel niveau de rigueur la conception doit-elle avoir ?
- Expérimental (ECR). Affectation aléatoire : rigueur maximale, coût le plus élevé
- Quasi-expérimental. Groupe de comparaison sans randomisation
- Pré-post avec théorie. Avant/après avec analyse de la contribution
- Qualitatif. Analyse de processus, étude de cas, changement le plus significatif
Méthodes de collecte de données
Comment collecterez-vous les preuves ?
- Enquêtes. Données structurées à grande échelle, quantitatives ou mixtes
- Entretiens avec des informateurs clés. Approfondissement du processus, des obstacles et du contexte
- Discussions de groupe. Perspectives de groupe et partage d'expériences
- Examen de documents. Registres de programme, données de suivi, sources secondaires
Approche d'échantillonnage
Auprès de qui collecterez-vous les données ?
- Échantillonnage probabiliste. Aléatoire ou systématique, essentiel pour l'inférence statistique
- Échantillonnage raisonné. Sélection délibérée pour une analyse qualitative approfondie
- Stratifié. Strates distinctes (sexe, région) pour assurer la représentativité
- Mixte. Probabiliste (quantitatif) + raisonné (qualitatif)
Les éléments clés des TdR d'une évaluation
Les termes de référence (TdR) sont le document essentiel qui définit la portée, les questions et les exigences d'une évaluation avant le recrutement de l'évaluateur. Des TdR mal définis mènent à une évaluation de faible qualité.
Questions d'évaluation
Trois à cinq questions prioritaires qui délimitent le champ d'action de l'évaluation. C'est l'élément le plus important, car tout le reste en découle.
Portée et limites
Période couverte, zone géographique, population cible, et ce qui est explicitement exclu du champ d'action. Cela permet d'éviter l'élargissement de la portée et de concentrer le budget.
Aperçu méthodologique
Le type de conception, les méthodes de collecte de données et l'approche analytique. Ces éléments doivent correspondre aux questions d'évaluation, et non être simplement copiés d'un TdR précédent.
Budget et calendrier
Estimations réalistes pour toutes les activités d'évaluation : travail de terrain, saisie et analyse des données, rédaction des rapports et cycles de révision. Le budget doit être en adéquation avec la portée réelle.
Indépendance et éthique
Exigences relatives à l'indépendance de l'évaluateur, politique de gestion des conflits d'intérêts, dispositions pour la protection des données et processus d'examen éthique.
Livrables et utilisation
Les livrables attendus (rapport initial, brouillon, final), les parties prenantes chargées de leur examen, et, point crucial, la manière dont les conclusions seront utilisées après l'évaluation.
Liste de contrôle qualité des TdR
- Questions d'évaluation clairement énoncées et priorisées
- Méthodologie adaptée aux questions (et non l'inverse)
- Plan d'utilisation de l'évaluation élaboré avant la collecte de données
- Termes de référence examinés par les parties prenantes clés
- Le budget et le calendrier sont réalistes par rapport à la portée
- Exigences d'indépendance de l'évaluateur spécifiées
- Processus de protection des données et d'examen éthique défini
La liste de contrôle complète est disponible dans le document « Liste de contrôle des TdR d'évaluation » à télécharger ci-dessous.
Pour aller plus loin
Approfondissez vos connaissances, comparez les méthodes ou utilisez une invite pour rédiger avec l'IA.
Invites
Rédiger des TdR d'évaluation
Transformez votre note de programme en TdR prêts à être publiés : portée, questions, méthodologie.
Construire une matrice d'évaluation
Reliez les questions d'évaluation aux critères, indicateurs, sources de données et méthodes.
Examiner votre conception d'évaluation
Obtenez un retour d'information structuré sur la méthodologie, les questions, l'échantillonnage et le plan d'analyse avant le travail de terrain.
Guides de décision
Comment choisir une méthodologie d'évaluation
Passez en revue les compromis méthodologiques en fonction de vos questions et de votre budget.
ECR vs quasi-expérimental
Quand chaque méthode d'attribution est réalisable et justifiable.
Méthodes qualitatives vs quantitatives vs mixtes
Choisissez la combinaison de méthodes dont vos questions d'évaluation ont réellement besoin.