L'évaluation par méthodes mixtes : principes et applications

Comment cela fonctionne

L'évaluation par méthodes mixtes repose sur une conception structurée qui détermine la manière dont les données quantitatives et qualitatives seront intégrées. Voici les trois approches de conception les plus courantes :

1. Conception convergente (parallèle). Collecte simultanée et indépendante de données quantitatives et qualitatives, suivie d'une fusion des ensembles de données lors de l'analyse pour comparer les résultats. Idéale pour la triangulation, elle permet de vérifier si les différentes sources de données convergent vers les mêmes conclusions.

2. Conception séquentielle explicative. Collecte et analyse des données quantitatives en premier lieu, dont les résultats éclairent ensuite une phase qualitative visant à expliquer des modèles ou des mécanismes inattendus. La phase quantitative identifie ce qui s'est produit (par exemple, quels sous-groupes ont obtenu les meilleurs résultats), tandis que la phase qualitative explore pourquoi (par exemple, par des entretiens avec le personnel du programme et les bénéficiaires de ces sous-groupes). Particulièrement utile pour élucider des résultats surprenants.

3. Conception séquentielle exploratoire. Réalisation d'une étude qualitative initiale pour explorer un phénomène, dont les enseignements sont ensuite utilisés pour développer des mesures quantitatives. Cette approche est pertinente lors de l'évaluation d'une nouvelle intervention, lorsqu'il est nécessaire de comprendre les thèmes clés avant de concevoir des outils d'enquête.

L'élément crucial de toutes ces conceptions est l'intégration : un processus délibéré visant à relier les résultats quantitatifs et qualitatifs afin de générer des compréhensions qu'aucune approche ne pourrait produire isolément. Cette intégration peut intervenir à plusieurs étapes : durant la collecte de données (en utilisant les résultats qualitatifs pour affiner les questions d'enquête), pendant l'analyse (en reliant les thèmes qualitatifs aux résultats quantitatifs), ou lors de l'interprétation (en s'appuyant sur des preuves qualitatives pour expliquer les tendances quantitatives).

Composantes Clés

Une évaluation par méthodes mixtes bien conçue intègre les éléments essentiels suivants :

• Plan d'intégration explicite : une stratégie documentée expliquant comment les données quantitatives et qualitatives seront connectées, incluant des points d'intégration précis (par exemple, "les entretiens qualitatifs approfondiront les résultats de l'enquête concernant le résultat X").
• Collecte de données complémentaire : des méthodes quantitatives et qualitatives qui répondent aux mêmes questions d'évaluation sous différents angles, avec une justification claire du choix des méthodes.
• Protocole de triangulation : des procédures systématiques pour comparer les résultats des différentes sources de données, documenter les convergences et les divergences, et résoudre les éventuels écarts.
• Pondération et priorisation : des critères explicites pour gérer les résultats contradictoires (par exemple, accorder plus de poids aux données quantitatives pour les questions de prévalence, et aux données qualitatives pour les questions de mécanisme).
• Visualisations conjointes : des présentations visuelles ou tabulaires affichant côte à côte les résultats quantitatifs et qualitatifs afin de faciliter une interprétation intégrée.
• Méta-inférences : des conclusions qui s'appuient explicitement sur les deux types de données, démontrant comment l'intégration a modifié ou renforcé la compréhension par rapport à chaque approche prise isolément.
• Documentation de la transparence : un rapportage clair du choix de la conception, des procédures d'intégration et des limites inhérentes à l'approche par méthodes mixtes.

Meilleures Pratiques

Équilibrer les données quantitatives et qualitatives. L'évaluation doit adopter une approche par méthodes mixtes avec un véritable équilibre entre les données quantitatives et qualitatives, et non de simples composantes qualitatives symboliques ajoutées à des études principalement quantitatives. Si les données quantitatives peuvent provenir des activités de suivi, les données qualitatives doivent être collectées et analysées de manière systématique, et non de façon anecdotique.

Utiliser des approches par méthodes mixtes avec une intégration explicite. Adopter une approche par méthodes mixtes dans l'évaluation, avec un équilibre entre les données quantitatives et qualitatives. Les données quantitatives peuvent provenir des activités de suivi. L'essentiel est que les deux types de données soient collectés de manière systématique et intégrés lors de l'analyse, plutôt que d'être simplement rapportés séparément.

Exploiter les forces de chaque méthode. Il est souvent recommandé d'adopter une approche par méthodes mixtes qui tire parti des avantages des deux types de données : mesurer ce qui s'est produit avec des données quantitatives et explorer comment et pourquoi cela s'est produit avec des données qualitatives. Les données quantitatives offrent une portée et une généralisabilité ; les données qualitatives apportent une profondeur et une explication des mécanismes.

Planifier l'intégration dès le début. Le Plan de S&E doit intégrer l'approche par méthodes mixtes et l'équilibre entre données quantitatives et qualitatives, en planifiant l'intégration dès la phase de conception, et non comme une réflexion a posteriori. Il est crucial de définir des points d'intégration spécifiques : où les données seront-elles comparées ? Comment les résultats contradictoires seront-ils résolus ? Quels tableaux conjoints seront utilisés ?

Utiliser des méthodes d'analyse appropriées pour chaque type de données. Identifier le type d'analyse le plus approprié pour chaque indicateur, comme des tableaux récapitulatifs, un examen approfondi des données et des matrices qualitatives, dans la méthodologie d'analyse. Les données quantitatives requièrent une analyse statistique adaptée au plan d'échantillonnage ; les données qualitatives exigent un codage systématique et une analyse thématique.

Suivre une approche d'évaluation structurée. L'approche d'évaluation suit cinq étapes principales : 1) conceptualiser les besoins en données, 2) développer les outils et processus de collecte et de gestion des données, 3) collecter et gérer les données, 4) analyser et interpréter les données, et 5) rapporter et utiliser les résultats. Chaque étape doit prendre en compte les dimensions quantitatives et qualitatives.

Pièges Courants

Traiter les méthodes mixtes comme une simple addition du qualitatif au quantitatif. L'erreur consiste à mener une évaluation principalement quantitative à laquelle on ajoute quelques groupes de discussion sans réelle intégration. Il ne s'agit pas de méthodes mixtes, mais d'une évaluation quantitative complétée par des données qualitatives. Les méthodes mixtes exigent une intégration délibérée où les deux types de données s'enrichissent mutuellement.

Ne pas planifier l'intégration. De nombreuses évaluations collectent les deux types de données sans jamais les relier lors de l'analyse. Les résultats quantitatifs sont présentés dans une section, les constatations qualitatives dans une autre, sans explication de leur relation. Cela réduit la valeur ajoutée des méthodes mixtes et conduit à des conclusions fragmentées.

Utiliser les données qualitatives comme du tokenisme. Ajouter un petit nombre d'entretiens ou de groupes de discussion sans collecte ou analyse systématique, puis rejeter les constatations qualitatives comme "anecdotiques" lorsqu'elles sont en contradiction avec les données quantitatives. Les deux types de données exigent des méthodes rigoureuses adaptées à leur nature.

Ne pas résoudre les constatations contradictoires. Lorsque les données quantitatives et qualitatives semblent se contredire, certaines évaluations se contentent de signaler la divergence sans l'expliquer. Pourtant, ces constatations contradictoires sont de précieuses sources d'information : elles révèlent des mécanismes contextuels, des problèmes de mesure ou des différences entre sous-groupes qui nécessitent une explication.

Pondération inappropriée. Accorder un poids égal à de petits échantillons qualitatifs non représentatifs et à de grandes enquêtes quantitatives rigoureuses lors de l'élaboration des conclusions. L'évaluation devrait spécifier comment les différents types de données seront pondérés en fonction des questions posées (par exemple, le quantitatif pour la prévalence, le qualitatif pour les mécanismes).

Exemples

Résilience Agricole - Afrique de l'Est

Un programme de résilience agricole de 5 ans mené au Kenya et en Ouganda a eu recours à une conception séquentielle explicative pour comprendre pourquoi certains groupes d'agriculteurs ont enregistré de meilleurs gains de revenus que d'autres. La phase quantitative (enquête auprès de 600 agriculteurs) a révélé que les groupes dirigés par des femmes affichaient des gains de revenus supérieurs de 40 %. La phase qualitative (groupes de discussion et entretiens avec 12 groupes d'agriculteurs) a exploré les mécanismes sous-jacents, montrant que les groupes féminins bénéficiaient de réseaux d'apprentissage par les pairs plus solides et d'une répartition plus équitable des ressources. La conclusion intégrée, selon laquelle le leadership féminin opère via des mécanismes sociaux spécifiques, a guidé les adaptations du programme visant à renforcer le développement du leadership féminin, au-delà de la simple participation.

WASH - Asie du Sud

Un programme WASH au Bangladesh a employé une conception convergente pour trianguler les résultats en matière de santé. Les données quantitatives (registres sanitaires) n'ont montré aucune amélioration des taux de diarrhée, tandis que les données qualitatives (entretiens auprès des ménages) suggéraient une amélioration de l'hygiène. La triangulation a révélé que si l'hygiène s'était effectivement améliorée, la contamination de l'eau au niveau des ménages (eau stockée) constituait le principal obstacle. L'approche par méthodes mixtes a ainsi identifié une lacune dans l'intervention, le traitement de l'eau, que les données quantitatives seules n'auraient pu révéler.

Gouvernance - Afrique de l'Ouest

Un programme de gouvernance en Sierra Leone a eu recours à une conception séquentielle exploratoire pour élaborer des mesures d'évaluation pour une intervention de plaidoyer complexe. Les travaux qualitatifs initiaux (entretiens avec des informateurs clés auprès de 30 parties prenantes) ont identifié trois voies d'influence informelles qui n'étaient pas prises en compte dans la théorie du programme. Ces voies ont ensuite été opérationnalisées en indicateurs quantitatifs et mesurées lors d'une enquête de suivi. L'approche par méthodes mixtes a permis de saisir à la fois les résultats formels du plaidoyer et les mécanismes d'influence informels émergents, offrant ainsi une image plus complète de l'impact du programme.

Comparé à

L'évaluation par méthodes mixtes est l'une des nombreuses approches de collecte et d'analyse de données. Voici les principales différences :

Outils Connexes

• Visualisation des Données pour le S&E : Essentielle pour créer des représentations conjointes intégrant les résultats quantitatifs et qualitatifs.
• Méthodes d'Échantillonnage : Les méthodes mixtes nécessitent souvent des stratégies d'échantillonnage multi-étapes pour les phases quantitative et qualitative.
• Conception d'Enquête : Composante quantitative essentielle des évaluations par méthodes mixtes.
• Groupes de Discussion : Méthode qualitative courante dans les conceptions par méthodes mixtes.
• Entretiens avec Informateurs Clés : Méthode qualitative pour l'exploration des mécanismes.

Sujets Connexes

• Évaluation d'Impact : Les méthodes mixtes servent souvent de fondement à une attribution rigoureuse de l'impact.
• Analyse de Contribution : Les méthodes mixtes fournissent la base probante des affirmations de contribution.
• Assurance Qualité des Données : Essentielle pour les données quantitatives et qualitatives dans les méthodes mixtes.
• Triangulation : Processus central de comparaison des résultats entre différentes sources.
• Données Quantitatives et Données Qualitatives : Les deux types de données intégrés dans les méthodes mixtes.
• Analyse Thématique : Méthode d'analyse qualitative centrale des évaluations par méthodes mixtes.