En un coup d'œil
Comparatif détaillé
| Facteur | Récolte d'effets (OH) | Changement le Plus Significatif (MSC) |
|---|---|---|
| Développé par | Ricardo Wilson-Grau (2015) | Rick Davies et Jessica Dart (2005) |
| Point de départ | Effets observés, remontant à l'attribution | Récits de changement recueillis auprès des participants |
| Dirigé par | Évaluateur/facilitateur, avec l'apport des informateurs | Participants et membres du panel de sélection |
| Format du livrable | Énoncés d'effets structurés : description, signification, contribution, preuves | Récits narratifs classés par des panels de parties prenantes |
| Durée typique | 4-8 semaines pour le cycle d'évaluation | 3-6 mois pour un cycle complet avec panels de sélection |
| Rigueur assurée par | Processus de substantiation : vérification de chaque effet avec plusieurs sources | Panels de sélection : filtrage multiniveaux par les parties prenantes qui justifient leurs choix |
| Voix des participants | Modérée (entretiens avec des informateurs, non rédigés par les participants) | Élevée (les participants rédigent les récits avec leurs propres mots) |
| Adaptation aux exigences de redevabilité | Forte (les livrables structurés conviennent aux rapports des bailleurs de fonds) | Modérée (les récits nécessitent une structuration pour les livrables des bailleurs de fonds) |
| Idéal pour | Programmes complexes/en évolution, plaidoyer, changement systémique, innovation | Programmes participatifs, autonomisation, dirigés par la communauté, contextes de changement imprévu |
| Compétences requises du facilitateur | Élevées (conception de la substantiation, triangulation des preuves) | Élevées (conception du panel de sélection, facilitation à travers les niveaux) |
| Coût | Modéré : 30-60% d'une évaluation sommative standard | Modéré à élevé : 40-80% d'une évaluation sommative standard |
Pour les définitions formelles des méthodes, voir récolte d'effets et changement le plus significatif.
Principes fondamentaux partagés
Ces deux méthodes partagent trois caractéristiques fondamentales qui les distinguent des approches d'évaluation basées sur le contrefactuel.
Ces deux méthodes sont basées sur la théorie, et non sur une approche contrefactuelle. Aucune ne tente de construire une comparaison "ce qui se serait passé sans le programme". Elles s'interrogent plutôt sur "quels changements sont observables et quelle est l'implication du programme ?". Elles sont donc toutes deux adaptées lorsque la conception contrefactuelle est irréalisable (échantillon réduit, considérations éthiques, effets émergents) ou inappropriée (programmes complexes où un groupe de contrôle n'aurait pas de sens). Voir contrefactuel et évaluation basée sur la théorie.
Ces deux méthodes sont principalement qualitatives. Elles opèrent toutes deux dans le registre narratif et descriptif, plutôt que statistique ou basé sur les tailles d'effet. Les résultats qu'elles génèrent peuvent être complétés par des données quantitatives, mais leurs conclusions principales ne reposent pas sur la mesure quantitative.
Ces deux méthodes mettent l'accent sur l'apprentissage en même temps que sur la redevabilité. Aucune de ces méthodes n'est un pur outil de conformité. Elles sont toutes deux conçues pour produire des conclusions que le programme peut réellement utiliser, y compris des effets imprévus que le S&E conventionnel manquerait.
Ces principes fondamentaux communs permettent aux deux méthodes de s'intégrer naturellement à la gestion adaptative, aux démarches d'apprentissage et au raisonnement de la Théorie du Changement. Voir théorie du changement pour le cadre plus large.
Quand utiliser chaque méthode
Quand privilégier la récolte d'effets ?
La Récolte d'effets est le meilleur choix lorsque les conditions suivantes s'appliquent.
Le programme est complexe ou en évolution. Les programmes de plaidoyer, les réformes de gouvernance, les initiatives de changement systémique et les projets d'innovation génèrent des effets qui n'étaient pas toujours entièrement prévisibles lors de leur conception. L'OH excelle dans ce contexte : elle part des événements réels plutôt que des prévisions, et retrace la contribution du programme. Les programmes dotés de Théories du Changement très spécifiques (prestation de services, changement de comportement ciblé) pourraient trouver l'OH moins pertinente que le MSC ou les méthodes conventionnelles.
Le calendrier est contraint. Un cycle d'OH typique s'étend sur 4 à 8 semaines : identification des effets, rédaction des énoncés, substantiation auprès des informateurs, puis finalisation. Les cycles MSC sont de 3 à 6 mois en raison des panels de sélection. Si l'évaluation doit alimenter un rapport de bailleur de fonds attendu dans 3 mois, l'OH est réalisable ; le MSC, en revanche, ne le sera probablement pas.
Plusieurs acteurs ont contribué aux effets. Le cadre d'analyse de la contribution de l'OH est particulièrement adapté aux programmes où la réussite est partagée avec d'autres acteurs (coalitions de plaidoyer, réformes politiques, initiatives multipartites). Le format de l'énoncé d'effet (description, contribution, preuves) encourage une évaluation honnête de la part spécifique de contribution du programme.
Le livrable principal est un rapport de redevabilité. L'OH produit des énoncés d'effets structurés qui peuvent être tabulés, comptés et agrégés. Un rapport de bailleur de fonds présentant "28 effets documentés, dont 18 avec une substantiation solide" est efficace. Le format narratif du MSC est plus complexe à synthétiser sous forme de tableau sans un travail d'analyse supplémentaire.
Quand privilégier le Changement le plus significatif ?
Le Changement le Plus Significatif est le meilleur choix lorsque les conditions suivantes s'appliquent.
La voix des participants est au cœur de la Théorie du Changement du programme. Les programmes d'autonomisation, axés sur la localisation, de développement communautaire et participatifs s'engagent explicitement à placer les perspectives des participants au centre. Le MSC concrétise cet engagement par des récits rédigés par les participants et un processus de sélection qu'ils dirigent. L'OH peut intégrer la voix des participants, mais ne l'exige pas de manière structurelle.
Des effets imprévus sont anticipés. La question ouverte du MSC (généralement "Au cours des X derniers mois, quel a été le changement le plus significatif que vous avez observé dans Y ?") encourage les participants à identifier des effets que l'évaluateur n'avait pas anticipés. L'OH est plus efficace pour structurer les effets connus ; le MSC excelle à faire émerger les effets inattendus.
L'évaluation dispose de suffisamment de temps pour les panels de sélection. La rigueur distinctive du MSC repose sur son processus de panels de sélection multiniveaux : les récits sont collectés, puis les panels de terrain effectuent une première sélection, suivis par les panels de gestion, et enfin par les panels de parties prenantes ou du conseil d'administration. Chaque niveau doit justifier ses choix. Cela prend un minimum de 3 à 6 mois et constitue le cœur de la méthode. Omettre ou compresser le processus de sélection compromet la rigueur du MSC.
L'apprentissage est l'objectif primordial. Les récits du MSC sont particulièrement évocateurs. Ils sont très efficaces lors d'événements d'apprentissage internes, pour les communications externes et le plaidoyer auprès de publics sensibles aux récits. Si l'évaluation vise à transformer la perception du programme par le personnel interne ou les publics externes, les récits du MSC y parviennent mieux que les énoncés structurés de l'OH.
Combiner les deux approches
Certains programmes combinent l'OH et le MSC. Un flux de travail combiné typique :
- Collecte de récits (phase MSC) : Solliciter des récits de changement auprès des participants et du personnel de terrain en utilisant les questions du MSC. Recueillir entre 40 et 100 récits.
- Sélection (phase MSC abrégée) : Les panels de terrain et de programme sélectionnent les 20 à 30 récits les plus significatifs. Un seul niveau de sélection est utilisé au lieu de plusieurs pour optimiser le temps.
- Récolte d'effets à partir des récits (phase OH) : Plutôt que d'interroger les informateurs sans préparation, utiliser les récits MSC sélectionnés comme point de départ. Rédiger des énoncés d'effets à partir de chaque récit (description, signification, contribution, preuves).
- Substantiation (phase OH) : Vérifier chaque énoncé d'effet avec au moins une source supplémentaire, distincte de l'auteur original du récit.
- Synthèse : Organiser les énoncés d'effets en groupes thématiques, produire un rapport.
Cycle combiné : 3-4 mois. Coût : environ 1,3 à 1,6 fois le coût d'une méthode unique. Idéal lorsque vous recherchez à la fois une voix riche des participants (point fort du MSC) et un livrable de redevabilité structuré (point fort de l'OH). Cette approche est excessive si l'une ou l'autre méthode seule est suffisante.
Les processus
Déroulement de la récolte d'effets
Le processus standard de l'OH, développé par Wilson-Grau, comprend six étapes.
- Conception (1-2 semaines) : Définir la question de la récolte (quels types d'effets sont pertinents), le cadre temporel et les informateurs à contacter. Une question de récolte typique pourrait être : "Quels changements dans les pratiques ou les politiques des acteurs clés le programme a-t-il contribué à réaliser au cours des 24 derniers mois ?".
- Collecte des descriptions d'effets (2 semaines) : Examiner les documents du programme, interviewer les informateurs et recueillir les effets potentiels. Chaque effet potentiel constitue un énoncé d'effet préliminaire.
- Formulation des énoncés d'effets (1 semaine) : Affiner chaque effet selon le format standard : description (ce qui a changé, quand, où, qui), signification (pourquoi c'est important), contribution (comment le programme est impliqué).
- Substantiation (1-2 semaines) : Vérifier chaque énoncé d'effet avec au moins une source supplémentaire, distincte de l'informateur initial. C'est à cette étape que réside la rigueur de l'OH ; les effets non substantiés sont signalés ou écartés.
- Analyse (1 semaine) : Regrouper les effets par thème, identifier les tendances et rédiger les conclusions.
- Soutien à l'utilisation (1 semaine) : Présenter les conclusions et accompagner l'équipe du programme dans la prise de décisions basées sur celles-ci.
Cycle typique total : 6-9 semaines. Dirigé par un facilitateur qualifié. Le budget alloué à la substantiation est crucial ; une OH sans substantiation rigoureuse n'est qu'une liste d'affirmations.
Déroulement du Changement le plus significatif
Le processus standard du MSC, développé par Davies et Dart, comprend huit étapes.
- Établissement des domaines de changement (2 semaines) : Identifier 3 à 5 domaines que le programme vise à influencer. Ces domaines sont des catégories larges (par exemple, "changements dans la participation des femmes aux décisions communautaires"), et non des indicateurs spécifiques.
- Collecte des récits (4-6 semaines) : Demander aux participants et aux parties prenantes de raconter le changement le plus significatif qu'ils ont observé dans chaque domaine. La question standard est : "Au cours des X derniers mois, quel a été, selon vous, le changement le plus significatif dans [domaine] ?".
- Sélection au niveau du terrain (1 semaine) : Les équipes de terrain sélectionnent le récit le plus significatif par domaine, en fournissant une justification écrite de leur choix.
- Sélection au niveau du programme (1 semaine) : Le panel au niveau du programme examine les sélections du terrain et choisit le récit le plus significatif par domaine, toujours avec justification.
- Sélection au niveau des parties prenantes (1 semaine) : Un panel de niveau supérieur (conseil d'administration, direction, bailleur de fonds si pertinent) sélectionne le récit le plus significatif.
- Boucles de rétroaction (2 semaines) : Partager les récits sélectionnés et le raisonnement de la sélection avec les participants, le personnel de terrain et les équipes du programme. C'est à cette étape que se déroule l'apprentissage participatif inhérent au MSC.
- Vérification (facultatif, 2 semaines) : Vérifier les affirmations clés des récits sélectionnés à l'aide de sources secondaires.
- Synthèse : Présenter les récits sélectionnés, le raisonnement de la sélection et les tendances thématiques.
Cycle typique total : 3-6 mois. La conception du panel de sélection est l'élément central ; une mauvaise conception de ce processus peut transformer le MSC en une simple collection de "récits préférés" plutôt qu'en une évaluation qualitative rigoureuse.
Exemples d'application par secteur
Exemples d'application par secteur
Santé : coalition de plaidoyer pour le contrôle du tabac, Afrique australe
Une coalition régionale œuvrant pour le plaidoyer en matière de politique de contrôle du tabac a eu recours à la Récolte d'effets pour son évaluation triennale. L'OH s'est avérée être le choix pertinent car : les effets observés étaient des changements politiques auxquels plusieurs coalitions et acteurs gouvernementaux avaient contribué ; des indicateurs pré-spécifiés auraient manqué les avancées politiques inattendues ; et le délai pour les rapports aux bailleurs de fonds était de 8 semaines. La récolte a permis de produire 34 énoncés d'effets répartis en 4 catégories (politique nationale, réglementation infranationale, conformité de l'industrie, sensibilisation du public). 22 d'entre eux ont été substantiés par des documents gouvernementaux, des reportages ou des entretiens avec des partenaires. Le bailleur de fonds a jugé l'OH appropriée pour l'évaluation du plaidoyer ; la coalition a ensuite utilisé les résultats pour planifier la phase suivante.
Éducation : programme d'autonomisation des filles, asie du sud
Un programme d'éducation des filles d'une durée de 4 ans a opté pour le Changement le Plus Significatif, car la voix des participantes était au cœur de la Théorie du Changement axée sur l'autonomisation du programme. La collecte de récits a impliqué 600 filles et 300 membres de familles dans 60 communautés. Les panels de sélection au niveau du terrain (comités communautaires) ont choisi 20 récits par communauté ; le panel du programme a ensuite réduit ce nombre à 60 ; et le panel des parties prenantes (conseil d'administration et évaluateurs externes) a sélectionné les 12 récits jugés les plus significatifs. Le processus a duré 5 mois. Les récits sélectionnés ont mis en lumière un effet imprévu : des mères ont fait état de leur propre changement de comportement en soutenant l'éducation de leurs filles aînées. Cet effet, absent de la Théorie du Changement initiale, a conduit à un ajustement de la conception du programme pour la 5e année.
Gouvernance : programme de redevabilité publique, Afrique de l'Ouest
Un programme de gouvernance d'une durée de 3 ans a combiné l'OH et le MSC. Le MSC a permis de recueillir 140 récits auprès de citoyens, de fonctionnaires de terrain et de partenaires de la société civile. Les panels de terrain et de programme en ont sélectionné 45 ; un panel de parties prenantes a ensuite effectué la sélection finale. Par la suite, l'équipe d'évaluation a converti les 45 récits sélectionnés en 38 énoncés d'effets OH (certains récits ayant été regroupés en un seul effet), en a substantié 30 par des sources secondaires et a produit un rapport de synthèse. Le cycle combiné a duré 4,5 mois. Cette approche combinée a fourni au bailleur de fonds des résultats prêts pour la redevabilité et a doté le programme de matériel d'apprentissage participatif pour sa prochaine phase.
Moyens de subsistance : programme de moyens de subsistance des pasteurs, sahel
Un programme de moyens de subsistance a privilégié la Récolte d'effets plutôt que le MSC, car sa Théorie du Changement était relativement spécifique (diversification des moyens de subsistance, adoption de groupes d'épargne, adoption de la vaccination du bétail) et la direction du programme avait besoin d'une évaluation rapide pour un examen du bailleur de fonds. L'OH a permis de produire 24 énoncés d'effets couvrant 3 composantes du programme en 7 semaines. 19 d'entre eux ont été substantiés par des dossiers de programme, des entretiens communautaires et des données de marché. L'équipe d'évaluation a signalé 5 effets dont la substantiation était faible et a recommandé un suivi supplémentaire. L'OH était le choix approprié pour ce programme ; le MSC aurait généré des récits plus riches mais n'aurait pas respecté les délais.
Pièges et checklist
Pièges à éviter
Piège 1 : choisir l'OH ou le MSC comme raccourci pour l'évaluation d'impact. Ces deux méthodes sont des outils distincts, conçus pour répondre à des questions différentes, et non des alternatives économiques aux conceptions d'ECR ou quasi-expérimentales. Les programmes qui optent pour l'OH ou le MSC sous prétexte que "l'évaluation d'impact est trop coûteuse" se retrouvent souvent avec des évaluations incapables de répondre à la question d'impact qu'ils cherchaient à éluder. Voir ECR vs quasi-expérimental pour savoir quand le contrefactuel est réellement requis.
Piège 2 : sous-estimer le budget alloué à la facilitation. La réussite des deux méthodes dépend de la rigueur d'un facilitateur qualifié. Une OH sans substantiation rigoureuse n'est qu'une liste d'affirmations ; un MSC sans conception rigoureuse du panel de sélection se réduit à une collection de "récits préférés". Les facilitateurs expérimentés sont plus coûteux ; ces méthodes ne peuvent pas être mises en œuvre efficacement par des facilitateurs juniors sans expérience préalable.
Piège 3 : omettre ou compresser les panels de sélection dans le cadre du MSC. Le processus de sélection multiniveaux est ce qui distingue le MSC d'une simple collecte de récits. Réduire les niveaux de sélection, ou organiser des panels sans une discipline de justification adéquate, compromet la rigueur fondamentale de la méthode.
Piège 4 : revendiquer la rigueur sans substantiation dans l'OH. Chaque énoncé d'effet dans un rapport d'OH doit être étayé par des preuves. Les effets non substantiés doivent être signalés ou écartés. Les rapports qui présentent tous les effets comme étant également vérifiés sapent la crédibilité.
Piège 5 : traiter l'OH et le MSC comme interchangeables. Elles répondent à des questions différentes. L'OH s'interroge sur "qu'est-ce qui a changé et comment le programme y a-t-il contribué ?", tandis que le MSC demande "qu'est-ce qui a eu le plus d'importance pour les participants parmi les changements observés ?". Ce sont des questions liées mais distinctes, et choisir la méthode inadaptée à la question posée conduit à un résultat insatisfaisant.
Piège 6 : ne pas contextualiser l'objectif auprès du bailleur de fonds. L'OH et le MSC ne sont pas acceptés de la même manière par tous les bailleurs de fonds. Les propositions utilisant l'une ou l'autre méthode doivent explicitement justifier pourquoi la conception contrefactuelle n'est pas adaptée (complexité, éthique, échantillon réduit, effets émergents), expliquer comment la rigueur est assurée (substantiation, panels de sélection, triangulation) et préciser la structure de production attendue. Sans cette contextualisation, l'une ou l'autre méthode peut sembler insuffisante aux yeux des bailleurs de fonds traditionnels.
Checklist : choisir entre OH et MSC
Consultez cette liste lors de la planification de votre évaluation pour déterminer la méthode la plus appropriée.
Caractéristiques du programme :
- Type de programme : prestation de services / plaidoyer / changement systémique / autonomisation / innovation (cocher ce qui est applicable)
- Théorie du Changement : spécifique et prédéfinie ou émergente et imprévisible
- Centralité de la voix des participants : au cœur de la Théorie du Changement ou complémentaire
- Contribution multi-acteurs : programme unique ou multipartite
Contraintes d'évaluation :
- Calendrier disponible : 4-8 semaines (OH réalisable) vs 3-6 mois (MSC réalisable)
- Budget pour la facilitation : facilitateur OH ou MSC expérimenté assuré
- Acceptation du bailleur de fonds : méthode pré-approuvée par le bailleur de fonds si requis
Exigences de livrable :
- Format de livrable principal requis : énoncés d'effets structurés (OH) ou récits narratifs (MSC)
- Redevabilité vs apprentissage : quel est l'objectif prioritaire
- Public des conclusions : rapport de bailleur de fonds, apprentissage interne, communication externe
Décision de méthode mixte :
- Si OH + MSC combinés : le budget permet un coût de 1,3 à 1,6 fois supérieur à une méthode unique
- Calendrier combiné de 3-4 mois disponible
Pour la sélection méthodologique plus large, voir comment choisir une méthodologie d'évaluation et qualitatif vs quantitatif vs méthodes mixtes. Pour le cadre d'évaluation basée sur la théorie dans lequel s'inscrivent les deux méthodes, voir évaluation basée sur la théorie. Pour consulter les espaces de travail actuels, voir le catalogue des playbooks.