La méthode du Changement le Plus Significatif (CMS) : Capturer l'impact qualitatif

Quand privilégier la méthode du Changement le Plus Significatif (CMS) ?

La méthode du Changement le Plus Significatif (CMS) est particulièrement pertinente lorsque vous souhaitez comprendre ce que les parties prenantes perçoivent comme les résultats les plus précieux d'un programme, surtout si ces résultats sont inattendus ou difficiles à anticiper. Le CMS est idéal dans les situations suivantes :

• Les résultats sont émergents ou imprévisibles : votre programme évolue dans des contextes complexes où les changements les plus importants risquent de ne pas être saisis par des indicateurs prédéfinis.
• Vous souhaitez recueillir les perspectives des bénéficiaires : vous voulez comprendre quel changement les participants eux-mêmes considèrent comme le plus significatif, au-delà de ce que les évaluateurs pourraient supposer.
• L'engagement des parties prenantes est une priorité : vous souhaitez impliquer les bénéficiaires, le personnel et les partenaires dans la définition et la sélection des changements significatifs.
• Vous complétez des données quantitatives : vous disposez de données d'indicateurs mais avez besoin de preuves qualitatives riches pour contextualiser et expliquer ces chiffres.
• Une gestion adaptative est nécessaire : vous souhaitez faire émerger des résultats inattendus susceptibles d'orienter l'adaptation du programme.

Le CMS est moins adapté lorsque vous devez mesurer avec précision des résultats spécifiques prédéfinis (pour cela, utilisez les indicateurs SMART) ou lorsque vous devez établir l'attribution causale d'une intervention spécifique (privilégiez alors l'analyse de contribution ou l'évaluation d'impact).

Le CMS s'intègre particulièrement bien avec d'autres méthodes. Il complète la collecte de résultats : si les deux approches recueillent des récits de changement, le CMS se distingue par la sélection du « plus significatif » via des panels participatifs, tandis que la collecte de résultats documente tous les résultats vérifiés, quelle que soit leur signification perçue. Le CMS s'associe également très bien aux approches d'évaluation participative, le processus de sélection des récits incarnant pleinement les principes participatifs.

Fonctionnement de la méthode du Changement le Plus Significatif (CMS)

La méthodologie CMS suit un processus structuré en sept étapes, garantissant une collecte systématique des récits et une sélection par délibération participative.

1. Définir les domaines de changement. Commencez par identifier les grands domaines où des changements pourraient survenir. Ces domaines ne sont pas des résultats spécifiques, mais des catégories larges comme « changements dans la participation communautaire », « changements dans l'autonomisation individuelle », « changements dans les relations institutionnelles » ou « changements dans l'influence politique ». Impliquez les parties prenantes dans cette définition pour vous assurer qu'ils reflètent ce qui pourrait être important. Cette étape établit la portée sans prédéterminer les changements spécifiques qui seront identifiés.

2. Collecter les récits de changement. Demandez aux participants au programme, au personnel, aux bénéficiaires et aux partenaires de soumettre des récits décrivant les changements significatifs qu'ils ont vécus ou observés durant la période du programme. Chaque récit doit répondre à la question : « Quel est, selon vous, le changement le plus significatif qui s'est produit ? » Les récits doivent inclure le contexte (qui, quand, où), le changement lui-même (ce qui s'est passé) et la raison pour laquelle il est considéré comme significatif (la valeur ou l'impact perçu). La collecte peut s'effectuer via des entretiens, des soumissions écrites, des discussions de groupe ou des plateformes numériques.

3. Sélectionner des échantillons représentatifs. Parmi tous les récits collectés, sélectionnez un sous-ensemble représentatif pour une analyse approfondie. Cette sélection doit garantir la diversité entre les groupes de parties prenantes, les composantes du programme, les zones géographiques et les types de changement. L'objectif n'est pas de choisir les « meilleurs » récits à ce stade, mais de constituer un échantillon qui reflète l'éventail des changements documentés. Généralement, 20 à 40 récits fournissent une matière suffisante pour une analyse significative.

4. Organiser des panels de sélection participatifs. Réunissez diverses parties prenantes, y compris les bénéficiaires, le personnel du programme, les partenaires et parfois les bailleurs de fonds, pour examiner les récits sélectionnés et décider collectivement lesquels représentent le changement le plus significatif. Chaque membre du panel examine les récits indépendamment, puis en discute en groupe. Le panel sélectionne un ou plusieurs récits comme étant les « plus significatifs » et explique pourquoi ces récits sont les plus importants. Ce processus délibératif est au cœur de la puissance de la méthode : les parties prenantes définissent conjointement ce qui est considéré comme significatif.

5. Retour d'information et vérification. Renvoyez les récits sélectionnés aux personnes qui les ont racontés et, si possible, vérifiez les événements décrits. Cette étape garantit l'exactitude et maintient la confiance avec les participants. Elle offre également l'occasion de recueillir un contexte ou des éclaircissements supplémentaires. La vérification ne signifie pas que le récit doit être corroboré indépendamment au sens de la recherche, mais plutôt que le narrateur confirme que le compte rendu est exact et consent à son utilisation.

6. Analyser et rapporter. Effectuez une analyse thématique sur l'ensemble des récits, et non uniquement sur ceux sélectionnés. Codez les récits pour identifier les modèles, les résultats inattendus et les types de changement. Rapportez les résultats de manière à valoriser la qualité narrative des données tout en faisant ressortir les modèles qui éclairent l'apprentissage du programme. Les bons rapports CMS incluent des récits complets ainsi qu'une analyse qui met en lumière ce que la collecte révèle sur l'impact du programme.

7. Utiliser pour l'adaptation du programme. L'étape finale et la plus critique est l'utilisation des résultats du CMS pour éclairer les décisions du programme. Les résultats inattendus mis en évidence par le CMS, la signification définie par les parties prenantes et les modèles qui émergent devraient alimenter directement les processus de gestion adaptative. Si le CMS révèle que les parties prenantes valorisent des changements que le programme n'avait pas anticipés, le programme devrait s'adapter en conséquence.

Éléments clés de la méthode CMS

Une approche CMS bien mise en œuvre repose sur ces éléments essentiels :

• Domaines de changement clairs : des catégories larges qui guident la collecte des récits sans prédéterminer les résultats. Ces domaines doivent être élaborés avec la contribution des parties prenantes et couvrir toute la gamme des impacts potentiels.
• Protocole structuré de collecte de récits : des directives cohérentes pour les narrateurs sur les informations à inclure : le contexte, le changement lui-même et pourquoi il est important. Des outils de collecte standardisés garantissent la comparabilité entre les récits.
• Panels de sélection participatifs : des groupes diversifiés de parties prenantes qui décident collectivement quels récits représentent le changement le plus significatif. La composition du panel doit refléter l'éventail des perspectives impactées par le programme.
• Processus de vérification : un mécanisme pour confirmer l'exactitude du récit avec les narrateurs et, le cas échéant, par des sources supplémentaires. Cela maintient l'intégrité sans imposer de normes de validation externes.
• Cadre d'analyse thématique : une approche systématique pour coder et analyser les récits afin d'identifier des modèles. Cela inclut l'élaboration d'un livre de codes, l'assurance de la fiabilité inter-codeurs et l'identification des thèmes attendus et inattendus.
• Boucles de rétroaction : des mécanismes pour renvoyer les résultats aux participants et utiliser les informations du CMS pour l'adaptation du programme. Un CMS sans adaptation n'est qu'une collecte de données, et non un outil d'apprentissage.
• Documentation du processus de sélection : des enregistrements de la manière dont les récits ont été sélectionnés, des participants aux panels et de la justification des sélections. Cette transparence permet de comprendre comment la signification a été déterminée.
• Intégration avec les systèmes de suivi : le CMS ne doit pas fonctionner de manière isolée. Il doit s'intégrer à votre système de S&E plus large pour garantir que les récits éclairent la prise de décision courante.

Bonnes pratiques pour la méthode CMS

Définir des domaines clairs, tout en restant ouvert aux surprises. Définissez des domaines de changement larges pour guider la collecte, mais ne prédéterminez pas les changements spécifiques qui seront identifiés. La puissance du CMS réside dans la mise en évidence de résultats inattendus que les parties prenantes elles-mêmes considèrent comme significatifs.

Assurer une participation diversifiée des parties prenantes aux panels de sélection. Le processus de sélection doit inclure les bénéficiaires, le personnel du programme, les partenaires et, le cas échéant, les bailleurs de fonds. Chaque perspective apporte des valeurs différentes à la question de ce qui est considéré comme significatif. Évitez les panels dominés par un seul type de partie prenante, car cela biaiserait la sélection.

Investir dans une analyse thématique rigoureuse. L'analyse thématique doit suivre les méthodes qualitatives établies : développer un schéma de codage gérable, créer un livre de codes avec des définitions claires et évaluer la fiabilité inter-codeurs. Examinez les matériaux collectés pour identifier les modèles et les relations au sein et entre les collections.

Utiliser des approches de codage structurées pour la cohérence. Lors de l'analyse des récits, utilisez des méthodes de codage systématiques qui vous permettent de construire des ensembles de mots et de concepts révélant des modèles thématiques. Conservez un livre de codes avec les noms et définitions des codes comme éléments essentiels durant l'analyse qualitative.

Évaluer la cohérence des codes durant l'analyse. Dans le processus analytique, évaluez périodiquement la cohérence interne de chaque code pour vous assurer que tout le texte se rapporte au même thème ou à la même idée. Cette étape de contrôle qualité prévient la dérive thématique et garantit des résultats fiables.

Rendre le CMS participatif tout au long du processus. Pour que le S&E participatif soit utile, les parties prenantes doivent pouvoir participer de manière significative. Cela implique que le personnel du projet et les partenaires aient les compétences nécessaires en méthodes participatives, et qu'un temps suffisant soit alloué pour un engagement authentique.

Connecter le CMS à la gestion adaptative. La valeur ultime du CMS ne réside pas dans les récits eux-mêmes, mais dans ce qu'ils révèlent et qui devrait orienter la conception ou la mise en œuvre du programme. Établissez des processus clairs pour intégrer les résultats du CMS dans les décisions d'adaptation. Sans ce lien, le CMS devient un simple exercice de narration plutôt qu'un véritable outil d'apprentissage.

Pièges courants à éviter avec le CMS

Traiter le CMS comme un exercice ponctuel. L'erreur la plus courante est de ne mener qu'un seul cycle CMS à mi-parcours ou en fin de programme, puis de classer les résultats. Le CMS est bien plus précieux en tant que processus continu qui fait régulièrement émerger de nouvelles perspectives. Planifiez des cycles CMS à intervalles réguliers (trimestriels ou semestriels) tout au long de la mise en œuvre du programme.

Prédéterminer ce qui est considéré comme significatif. Si vous définissez les domaines trop étroitement ou si vous signalez implicitement les changements que vous vous attendez à trouver, vous manquerez les résultats inattendus qui rendent le CMS précieux. Gardez les domaines larges et véritablement ouverts aux surprises.

Utiliser le CMS sans sélection participative. Le processus de sélection est l'endroit où le CMS tire sa légitimité : les parties prenantes définissent conjointement ce qui compte. Si les évaluateurs ou les gestionnaires de programme sélectionnent les récits « significatifs » sans panels de parties prenantes, vous avez simplement collecté des récits, mais vous n'avez pas mené de CMS.

Temps insuffisant pour les processus participatifs. Les processus d'apprentissage participatifs sont plus longs que ceux qui n'impliquent que quelques personnes. Davantage de temps est nécessaire pour organiser des réunions, engager diverses parties prenantes et faciliter une délibération significative. Sous-estimer cette exigence de temps conduit à des processus de sélection précipités et superficiels.

Analyse thématique de mauvaise qualité. Le processus d'analyse de contenu est circulaire plutôt que linéaire. Les étapes sont presque toujours répétées à mesure que le chercheur affine les thèmes importants. Ne pas itérer l'analyse, ne pas revoir les codes et ne pas évaluer la cohérence des codes produit des résultats peu fiables.

Collecter des récits sans but précis. Ne collectez que des informations utiles à l'organisation. Ne collectez pas d'informations simplement parce que vous le pouvez ! Le CMS exige un effort significatif de la part des participants et des analystes ; assurez-vous qu'il y a une utilisation claire des données avant de lancer la collecte.

Ne pas renvoyer les résultats aux participants. Les participants au CMS investissent du temps à partager des récits personnels. Ne pas leur renvoyer les résultats, ou pire, utiliser leurs récits sans leur consentement continu, viole l'éthique participative de la méthode. Il est impératif de toujours renvoyer les résultats et de maintenir un consentement continu.

Exemples concrets d'application du CMS

Programme de subsistance agricole - Afrique de l'Est

Un programme de résilience agricole de 5 ans au Kenya et en Ouganda a mis en œuvre des cycles CMS tous les six mois pour capturer les résultats que les indicateurs prédéfinis n'avaient pas saisis. Le programme avait initialement défini des domaines autour du « revenu agricole », de l'« adoption de pratiques » et de la « sécurité alimentaire ». Cependant, les récits CMS ont constamment révélé que le changement le plus significatif pour les femmes participantes n'était pas économique mais social : une confiance accrue pour prendre la parole lors des réunions communautaires et une plus grande influence dans les décisions ménagères. Ces résultats d'autonomisation ne figuraient pas dans les domaines originaux, mais les panels de sélection CMS les ont identifiés comme les plus significatifs. Le programme s'est adapté pour inclure des activités explicites d'autonomisation des femmes et a ajouté des indicateurs connexes. Cet exemple démontre comment le CMS peut faire émerger des résultats que les concepteurs du programme n'avaient pas anticipés mais que les parties prenantes valorisent fortement.

Programme de gouvernance - Afrique de l'Ouest

Un programme de renforcement de la gouvernance en Sierra Leone a utilisé le CMS pour comprendre comment les organisations de la société civile influençaient les politiques. Le processus CMS a révélé que les changements les plus significatifs se produisaient par le biais de réseaux informels et de relations personnelles, plutôt que par les canaux de plaidoyer formels que le programme avait conçus. Les récits décrivaient des dirigeants d'OSC influençant les politiques par des conversations lors de dîners avec des ministres et par des intermédiaires de confiance. Les panels de sélection CMS ont identifié ces voies d'influence informelles comme les plus significatives, car elles produisaient réellement des changements. Le programme a révisé sa Théorie du Changement pour inclure des mécanismes d'influence informels et a ajusté son suivi pour capturer ces voies. Cet exemple montre comment le CMS peut révéler les mécanismes réels de changement qui diffèrent des hypothèses du programme.

Programme WASH - Asie du Sud

Un programme d'eau et d'assainissement au Bangladesh a mis en œuvre le CMS parallèlement au suivi de routine. Les cycles CMS ont recueilli des récits de bénéficiaires sur les changements dans leur vie. Le changement le plus significatif sélectionné à plusieurs reprises n'était pas l'accès aux infrastructures d'eau (le principal résultat du programme), mais la réduction du temps de travail pour les femmes et les filles qui n'avaient plus besoin de parcourir de longues distances pour l'eau. Ce gain de temps s'est traduit par une augmentation de la fréquentation scolaire pour les filles et davantage de temps pour les activités génératrices de revenus. Les résultats du CMS ont incité le programme à ajouter des indicateurs d'utilisation du temps et à articuler plus explicitement ce résultat dans son cadre de résultats. Cet exemple illustre comment le CMS peut identifier des résultats secondaires qui ont un impact significatif mais peuvent ne pas être capturés par les indicateurs de résultats primaires.

CMS : Comparaison avec d'autres méthodes

Le CMS est l'une des nombreuses approches qualitatives de suivi et évaluation. Voici les principales différences :

Le CMS et la collecte de résultats sont souvent confondus car les deux collectent des récits de changement. La différence clé : la collecte de résultats documente tous les résultats vérifiés pour répondre à la question « qu'est-ce qui a changé ? » Le CMS sélectionne les récits les plus significatifs pour répondre à la question « qu'est-ce qui compte le plus ? » Le CMS peut utiliser la collecte de résultats comme méthode de collecte de récits, mais la sélection participative le distingue.

Indicateurs pertinents pour le CMS

23 indicateurs répartis dans 5 cadres de bailleurs de fonds majeurs (DFID, UNDP, Banque Mondiale, UE, Sida) sont liés au CMS et aux approches de suivi participatif :

• Suivi participatif : « Proportion des activités de suivi qui impliquent activement les bénéficiaires et les parties prenantes locales » (DFID)
• Mise en œuvre du CMS : « Fréquence des cycles du Changement le Plus Significatif réalisés pendant la mise en œuvre du programme » (PNUD)
• Résultats inattendus : « Proportion des récits de changement du programme documentant des résultats inattendus » (Banque Mondiale)
• Engagement des parties prenantes : « Nombre de groupes de parties prenantes participant aux panels de sélection des récits CMS » (UE)
• Utilisation adaptative : « Pourcentage des changements significatifs sélectionnés qui orientent les décisions d'adaptation du programme » (Sida)

Intégrer le CMS dans une proposition de projet

L'inclusion du CMS dans une proposition signale un engagement envers une évaluation participative basée sur des récits. L'acceptation des bailleurs de fonds varie : ceux familiarisés avec l'évaluation (FCDO, CRDI, certaines fondations, agences de l'ONU avec des cadres de S&E flexibles) acceptent facilement le CMS ; d'autres attendent une justification expliquant pourquoi une conception contrefactuelle n'est pas appropriée. Pièges courants des propositions : (a) nommer le CMS sans budgétiser le cycle de 3 à 6 mois, (b) absence de conception de panel de sélection (le processus de sélection est là où réside la rigueur du CMS ; le sauter ou le compresser sape la méthode), (c) facilitateur sans expérience du CMS (le CMS nécessite une facilitation qualifiée à plusieurs niveaux organisationnels), (d) le CMS présenté comme un substitut à l'évaluation d'impact plutôt qu'une méthode distincte pour des questions différentes, (e) aucun plan pour traduire les récits CMS en produits de responsabilisation que les rapports des bailleurs de fonds peuvent utiliser. Associez-le à la collecte de résultats et à l'évaluation basée sur la théorie pour signaler la famille méthodologique plus large.

Ressources et sujets associés

• Collecte de Résultats : Approche similaire basée sur des récits qui documente tous les résultats, plutôt que de sélectionner les plus significatifs.
• Évaluation Participative : Approche plus large pour engager les parties prenantes tout au long de l'évaluation, que le CMS illustre.
• Analyse de Contribution : Méthode pour évaluer si les parcours du programme ont réellement causé les changements observés.
• Données Qualitatives : Comprendre la nature et l'analyse des preuves non numériques.
• Analyse Thématique : Approche systématique pour coder et analyser le texte qualitatif.
• Gestion Adaptative : Utiliser les informations de suivi pour éclairer l'adaptation du programme.
• Suivi vs Évaluation : Comprendre comment le CMS fonctionne comme une approche de suivi.