Évaluation par Méthodes Mixtes

Comment cela fonctionne

L'évaluation par méthodes mixtes suit une conception structurée déterminant l'intégration des données quantitatives et qualitatives. Les trois conceptions les plus courantes :

1. Conception convergente (parallèle). Collecter des données quantitatives et qualitatives simultanément et indépendamment, puis fusionner les ensembles de données lors de l'analyse pour comparer les résultats. Idéale pour la triangulation — vérifier si les sources de données racontent la même histoire.

2. Conception séquentielle explicative. Collecter et analyser les données quantitatives en premier, puis utiliser ces résultats pour éclairer une phase qualitative expliquant des modèles ou mécanismes inattendus. La phase quantitative identifie ce qui s'est produit (par exemple, quels sous-groupes ont montré les meilleurs résultats), tandis que la phase qualitative explore pourquoi (par exemple, via des entretiens avec le personnel du programme et les bénéficiaires de ces sous-groupes). Utile pour expliquer des résultats surprenants.

3. Conception séquentielle exploratoire. Mener une enquête qualitative en premier pour explorer un phénomène, puis utiliser ces éclairages pour développer des mesures quantitatives. Utile lors de l'évaluation d'une nouvelle approche de programme nécessitant de comprendre les thèmes clés avant de développer des instruments d'enquête.

L'élément critique dans toutes les conceptions est l'intégration — le processus délibéré de relier les résultats quantitatifs et qualitatifs pour produire des éclairages qu'aucune approche ne pourrait générer seule. L'intégration peut survenir à plusieurs étapes : pendant la collecte de données (en utilisant les résultats qualitatifs pour affiner les questions d'enquête), pendant l'analyse (cartographier les thèmes qualitatifs aux résultats quantitatifs), ou pendant l'interprétation (en utilisant des preuves qualitatives pour expliquer les modèles quantitatifs).

Composantes Clés

Une évaluation par méthodes mixtes bien conçue comprend ces éléments essentiels :

• Plan d'intégration explicite — une stratégie documentée de la connexion des données quantitatives et qualitatives, incluant des points d'intégration précis (par ex., "les entretiens qualitatifs exploreront les résultats de l'enquête sur le résultat X")
• Collecte de données complémentaire — méthodes quantitatives et qualitatives répondant aux mêmes questions d'évaluation de différents angles, avec justification claire de la sélection des méthodes
• Protocole de triangulation — procédures systématiques pour comparer les résultats des sources de données, documenter convergence et divergence, et résoudre les écarts
• Pondération et priorisation — critères explicites pour résoudre les résultats contradictoires (par ex., donner plus de poids aux données quantitatives pour les questions de prévalence, aux données qualitatives pour les questions de mécanisme)
• Visualisations conjointes — présentations visuelles ou tabulaires affichant côte à côte les résultats quantitatifs et qualitatifs pour faciliter l'interprétation intégrée
• Méta-inférences — conclusions s'appuyant explicitement sur les deux types de données, indiquant comment l'intégration a modifié ou renforcé la compréhension par rapport à chaque approche seule
• Documentation de la transparence — rapportage clair du choix de conception, des procédures d'intégration et des limites dans l'approche par méthodes mixtes

Meilleures Pratiques

Équilibrer les données quantitatives et qualitatives. L'évaluation doit utiliser une approche de méthodes mixtes avec un équilibre réel de données quantitatives et qualitatives, et non des composants qualitatifs symboliques ajoutés à des études principalement quantitatives. Les données quantitatives peuvent provenir d'efforts de suivi, mais les données qualitatives doivent être collectées et analysées de manière systématique, et non anecdotiques.

Utiliser des approches de méthodes mixtes avec une intégration explicite. Utiliser une approche de méthodes mixtes dans l'évaluation avec un équilibre de données quantitatives et qualitatives, où les données quantitatives peuvent provenir d'efforts de suivi. L'essentiel est que les deux types de données soient collectés de manière systématique et intégrés lors de l'analyse, et non simplement rapportés séparément.

Exploiter les forces de chaque méthode. Une approche de méthodes mixtes est souvent recommandée qui peut utiliser les avantages des deux, mesurant ce qui s'est produit avec des données quantitatives et examinant comment et pourquoi cela s'est produit avec des données qualitatives. Les données quantitatives fournissent une portée et une généralisabilité ; les données qualitatives fournissent une profondeur et une explication mécanistique.

Planifier l'intégration dès le début. Le Plan d'Évaluation doit refléter l'approche de méthodes mixtes/équilibre de données quantitatives et qualitatives, avec l'intégration planifiée lors de la conception, et non ajoutée comme une pensée après-coup. Définir des points d'intégration spécifiques : où les données seront-elles comparées ? Comment les résultats conflictuels seront-ils résolus ? Quels tableaux conjoints seront utilisés ?

Utiliser des méthodes d'analyse appropriées pour chaque type de données. Identifier le type d'analyse le plus approprié pour l'indicateur, tel que des tableaux récapitulatifs, un examen des données et des matrices qualitatives, dans la méthode d'analyse. Les données quantitatives nécessitent une analyse statistique appropriée au plan d'échantillonnage ; les données qualitatives nécessitent un codage systématique et une analyse thématique.

Suivre une approche d'évaluation structurée. L'approche d'évaluation implique cinq étapes principales : 1) conceptualiser les besoins en données, 2) développer les outils et processus de collecte et de gestion des données, 3) collecter et gérer les données, 4) analyser et interpréter les données, et 5) rapportage et utilisation des résultats. Chaque étape doit considérer à la fois les dimensions quantitatives et qualitatives.

Erreurs Courantes

Traiter les méthodes mixtes comme une simple addition du qualitatif au quantitatif. L'échec est de mener une évaluation quantitative avec quelques groupes de discussion ajoutés sans intégration. Ce n'est pas des méthodes mixtes — c'est une évaluation quantitative avec des données qualitatives supplémentaires. Les méthodes mixtes nécessitent une intégration délibérée où les deux types de données s'informent.

Ne pas planifier l'intégration. De nombreuses évaluations collectent les deux types de données mais ne les connectent jamais lors de l'analyse. Les résultats quantitatifs sont présentés dans une section, les constatations qualitatives dans une autre sans expliquer leur relation. Cela gaspille la valeur des méthodes mixtes et produit des conclusions fragmentées.

Utiliser les données qualitatives comme du tokenisme. Ajouter un petit nombre d'entretiens ou de groupes de discussion sans collecte ou analyse systématique, puis rejeter les constatations qualitatives comme "anecdotiques" lorsqu'elles conflictent avec les quantitatifs. Les deux types de données nécessitent des méthodes rigoureuses adaptées à leur nature.

Ne pas résoudre les constatations contradictoires. Lorsque les données quantitatives et qualitatives semblent se contredire, certaines évaluations signalent la divergence sans l'expliquer. Les constatations contradictoires sont les aperçus précieux — elles révèlent des mécanismes contextuels, des problèmes de mesure ou des différences de sous-groupes nécessitant une explication.

Pondération inappropriée. Accorder un poids égal à de petits échantillons qualitatifs non représentatifs et à de grandes enquêtes quantitatives rigoureuses lors de conclusions. L'évaluation devrait spécifier comment les types de données seront pondérés pour différents types de questions (ex: quantitatif pour la prévalence, qualitatif pour les mécanismes).

Exemples

Résilience Agricole — Afrique de l'Est

Un programme de résilience agricole de 5 ans au Kenya et en Ouganda a utilisé un design séquentiel explicatif pour comprendre pourquoi certains groupes d'agriculteurs ont montré de meilleurs gains de revenus que d'autres. La phase quantitative (enquête de 600 agriculteurs) a identifié que les groupes avec leadership féminin ont montré 40% de gains de revenus en plus. La phase qualitative (groupes de discussion et entretiens avec 12 groupes d'agriculteurs) a exploré les mécanismes, révélant que les groupes féminins avaient des réseaux d'apprentissage par les pairs plus solides et une répartition des ressources plus équitable. La conclusion intégrée — que le leadership féminin opère via des mécanismes sociaux spécifiques — a informé les adaptations du programme pour renforcer le développement du leadership féminin, pas seulement la participation.

WASH — Asie du Sud

Un programme WASH au Bangladesh a utilisé un design convergent pour trianguler les résultats sanitaires. Les données quantitatives (registres sanitaires) ont montré aucune amélioration des taux de diarrhée, tandis que les données qualitatives (entretiens ménagers) suggéraient une hygiène améliorée. La triangulation a révélé que si l'hygiène s'était améliorée, la contamination de l'eau au niveau des ménages (eau stockée) était le frein principal. L'approche de méthodes mixtes a identifié la lacune d'intervention — traitement de l'eau — que les données quantitatives seules ne pouvaient révéler.

Gouvernance — Afrique de l'Ouest

Un programme de gouvernance en Sierra Leone a utilisé un design séquentiel exploratoire pour développer des mesures d'évaluation pour une intervention de plaidoyer complexe. Les travaux qualitatifs initiaux (entretiens avec informateurs clés auprès de 30 parties prenantes) ont identifié trois voies d'influence informelles non capturées dans la théorie du programme. Ces voies ont ensuite été opérationnalisées en indicateurs quantitatifs et mesurées dans une enquête de suivi. L'approche de méthodes mixtes a capturé à la fois les résultats formels de plaidoyer et les mécanismes d'influence informels émergents, offrant une image plus complète de l'impact du programme.

Comparé à

L'évaluation par méthodes mixtes est l'une des plusieurs approches de collecte et d'analyse de données. Les principales différences :

Outils Connexes

• Visualisation des Données pour S&E — Essentiel pour créer des affichages conjoints intégrant résultats quantitatifs et qualitatifs
• Méthodes d'Échantillonnage — Les Méthodes Mixtes nécessitent souvent des stratégies d'échantillonnage multi-étapes pour les phases quantitatives et qualitatives
• Conception d'Enquête — Composante quantitative des évaluations de Méthodes Mixtes
• Groupes de Discussion — Méthode qualitative courante dans les conceptions de Méthodes Mixtes
• Entretiens avec Informateurs Clés — Méthode qualitative pour l'exploration des mécanismes

Sujets Connexes

• Évaluation d'Impact — Les méthodes mixtes servent souvent de fondement à l'attribution rigoureuse de l'impact
• Analyse de Contribution — Les méthodes mixtes fournissent la base probante des affirmations de contribution
• Assurance Qualité des Données — Critique pour données quantitatives et qualitatives en méthodes mixtes
• Triangulation — Processus central de comparaison des résultats entre sources
• Données Quantitatives et Données Qualitatives — Les deux types de données intégrés aux méthodes mixtes
• Analyse Thématique — Méthode d'analyse qualitative centrale des évaluations en méthodes mixtes

Lectures Complémentaires

• Creswell, J.W. & Plano Clark, V.L. (2017). Conception et Conduite de Recherches en Méthodes Mixtes — Manuel de référence sur la conception et l'intégration des méthodes mixtes.
• BetterEvaluation: Méthodes Mixtes — Ressource complète sur les approches de méthodes mixtes en évaluation.
• Politique d'Évaluation de l'USAID (2019) — Exige des approches de méthodes mixtes dans les évaluations majeures.
• Normes d'Évaluation du FCDO (2020) — Exige explicitement des approches de méthodes mixtes avec données quantitatives et qualitatives équilibrées.
• Kit d'Évaluation des Méthodes Mixtes de l'IOM — Conseils pratiques pour mettre en œuvre les méthodes mixtes dans les contextes de développement.