Méthodes qualitatives, quantitatives et mixtes : comparaison et choix

Associer la méthode à la question

Le choix entre les méthodes qualitatives et quantitatives n'est pas une question de qualité ou de rigueur, mais d'adéquation entre la méthode et ce que vous cherchez à comprendre. Si vous n'êtes pas sûr de l'approche qui convient, le Sélecteur de méthodes peut vous aider à affiner votre décision.

Utilisez les méthodes quantitatives lorsque vous avez besoin de :

• Mesurer l'ampleur ou la prévalence d'un phénomène (« Quel pourcentage de ménages ont accès à l'eau potable ? »)
• Comparer statistiquement des groupes (« Le groupe de traitement s'est-il amélioré plus que le groupe de comparaison ? »)
• Suivre l'évolution au fil du temps à l'aide d'indicateurs numériques (« La fréquentation a-t-elle augmenté entre la situation de référence et la fin du projet ? »)
• Généraliser les conclusions à une population plus vaste
• Répondre aux exigences de rapport des bailleurs de fonds concernant les indicateurs chiffrés

Les méthodes quantitatives excellent par leur précision et leur comparabilité. Elles vous informent sur ce qui s'est produit et dans quelle mesure, mais pas sur le pourquoi. Une conception d'enquête rigoureuse peut cerner le « quoi », mais pour expliquer le « pourquoi » derrière les chiffres, une approche qualitative approfondie est indispensable. Si votre évaluation vise principalement à rendre compte des progrès par rapport à des cibles numériques, les méthodes quantitatives sont généralement suffisantes.

Utilisez les méthodes qualitatives lorsque vous avez besoin de :

• Comprendre les raisons du succès ou de l'échec d'une initiative (« Pourquoi les agriculteurs n'adoptent-ils pas les nouvelles techniques ? »)
• Explorer les expériences vécues, les perceptions et les motivations (« Comment les bénéficiaires perçoivent-ils le programme ? »)
• Étudier des processus ou des relations complexes (« Comment le système d'agents de santé communautaires fonctionne-t-il en pratique ? »)
• Saisir les conséquences imprévues que les enquêtes ne permettraient pas de déceler
• Appréhender le contexte qui influence les résultats du programme

Les méthodes qualitatives apportent profondeur et nuance. Elles révèlent des dynamiques que les instruments structurés ne peuvent pas toujours capter. Des techniques comme l'analyse thématique et les groupes de discussion vous permettent de comprendre, avec leurs propres mots, comment les personnes vivent un programme. L'inconvénient : des échantillons plus restreints, sans généralisabilité statistique. Si votre question d'évaluation vise à comprendre un processus, une perception ou un contexte, les méthodes qualitatives constituent le point de départ approprié.

Utilisez les méthodes mixtes lorsque vous avez besoin de :

• Répondre simultanément aux questions de « combien » et de « pourquoi »
• Expliquer les résultats quantitatifs par une analyse qualitative approfondie (« L'enquête montre 60 % d'adoption ; les entretiens révèlent que les 40 % qui n'ont pas adopté manquaient d'accès au marché »)
• Explorer un sujet qualitativement avant de concevoir une enquête (approche séquentielle exploratoire)
• Valider les résultats d'une méthode par une autre (triangulation)
• Comprendre comment un programme fonctionne pour divers sous-groupes

Pour des conseils sur le choix d'instruments qualitatifs spécifiques, consultez Enquêtes vs Entretiens vs Groupes de discussion.

Modèles d'intégration des méthodes mixtes

La plupart des praticiens du S&E qui déclarent « utiliser des méthodes mixtes » emploient en réalité des approches multi-méthodes : ils collectent des données quantitatives et qualitatives, mais les analysent et les présentent de manière distincte. Les véritables méthodes mixtes impliquent une intégration délibérée des données.

Séquentiel explicatif (quantitatif d'abord, puis qualitatif)

1. Menez votre enquête et analysez les données quantitatives.
2. Utilisez les résultats quantitatifs pour identifier les aspects nécessitant une compréhension plus approfondie.
3. Concevez une collecte de données qualitatives pour expliquer le « pourquoi » des chiffres.
4. Intégrez les conclusions dans l'analyse et le rapport.

Exemple : Une enquête auprès des ménages révèle que la sécurité alimentaire s'est améliorée dans les villages côtiers, mais pas dans les villages intérieurs. Des entretiens de suivi et des groupes de discussion menés dans les deux zones mettent en évidence que les villages intérieurs ont perdu l'accès à un marché clé en raison d'inondations routières.

Idéal pour : Les évaluations finales, les études de fin de projet, ou pour répondre à la question « pourquoi cela a-t-il fonctionné/échoué ? »

Séquentiel exploratoire (qualitatif d'abord, puis quantitatif)

1. Menez une recherche qualitative pour explorer le sujet.
2. Utilisez les résultats qualitatifs pour concevoir un instrument d'enquête.
3. Menez l'enquête pour mesurer la prévalence et l'ampleur.
4. Intégrez les conclusions dans l'analyse et le rapport.

Exemple : Des entretiens avec des enseignants révèlent cinq manières distinctes d'utiliser les nouveaux matériels pédagogiques. Une enquête ultérieure mesure la prévalence de chaque modèle d'utilisation dans l'ensemble des écoles du projet.

Idéal pour : Les études de situation de référence, les évaluations des besoins, ou la conception d'enquêtes dans des contextes peu connus.

Triangulation concurrente (les deux en même temps)

1. Collectez des données quantitatives et qualitatives simultanément.
2. Analysez chaque ensemble de données de manière indépendante.
3. Comparez et confrontez les résultats.
4. Identifiez la convergence (les deux concordent), la complémentarité (chacun apporte une perspective différente) ou la divergence (ils sont en désaccord, nécessitant une investigation plus approfondie).

Exemple : Pendant que les enquêteurs mènent des enquêtes auprès des ménages, une autre équipe anime des groupes de discussion dans les mêmes communautés. Les données de l'enquête indiquent que 75 % des femmes déclarent avoir un pouvoir de décision sur le revenu du ménage. Les discussions de groupe révèlent que le « pouvoir de décision » revêt différentes significations selon les contextes, et certaines femmes déclarent avoir de l'influence mais pas d'autorité formelle.

Idéal pour : Les examens à mi-parcours, les évaluations rapides, ou lorsque le temps est limité.

Conception imbriquée (qualitatif intégré au quantitatif)

Collecte de données qualitatives intégrée à une étude quantitative plus vaste, afin d'apporter une profondeur d'analyse sur des composantes spécifiques.

Exemple : Un ECR évaluant un programme de nutrition intègre des études de cas auprès de 20 ménages (10 du groupe de traitement, 10 du groupe de contrôle) pour comprendre les mécanismes par lesquels le programme affecte la diversité alimentaire.

Idéal pour : Les évaluations d'impact, les études à grande échelle où le contexte est crucial.

Comment intégrer réellement les résultats

L'intégration est le point où la plupart des études à méthodes mixtes échouent. Évitez le problème des « deux chapitres » : un chapitre de résultats quantitatifs suivi d'un chapitre de résultats qualitatifs, sans aucun lien explicite entre eux.

Lorsque l'intégration est négligée, on obtient deux récits distincts qui ne dialoguent jamais. Les parties prenantes lisent la section quantitative et la section qualitative, constatent des contradictions et perdent confiance dans l'ensemble de l'étude. Pire encore, vous passez à côté des éclairages qui n'émergent que lorsque les deux flux de données interagissent. Une enquête pourrait indiquer une forte participation à une formation. Des entretiens pourraient révéler que les participants ont jugé le contenu non pertinent. Sans intégration, aucun de ces résultats n'est pleinement exploitable. Ensemble, ils expliquent l'écart entre l'achèvement de l'activité et l'atteinte des résultats.

Les tableaux de présentation conjointe constituent la technique d'intégration la plus pratique. Pour chaque constat ou question d'évaluation, présentez les preuves quantitatives et qualitatives côte à côte, puis formulez la conclusion intégrée.

Créez une ligne pour chaque question d'évaluation. Forcez-vous à rédiger la colonne « Conclusion intégrée ». Si cela s'avère impossible, c'est que votre collecte de données n'a pas réellement abordé les mêmes questions sous les deux angles, et vous avez alors une étude multi-méthodes, et non une étude à méthodes mixtes.

Quand ne PAS privilégier les méthodes mixtes

Les méthodes mixtes ne sont pas toujours le bon choix. Ne les adoptez pas par défaut sous prétexte qu'elles semblent plus approfondies.

N'utilisez pas les méthodes mixtes si vous ne pouvez pas vous permettre de les mener à bien toutes les deux. Mener une enquête robuste et une étude qualitative rigoureuse coûte bien plus cher que de n'en réaliser qu'une seule. Si votre budget vous contraint à faire des compromis sur l'une des composantes, la faiblesse de celle-ci nuira à la crédibilité de l'étude dans son ensemble. Une conception rigoureuse, qu'elle soit uniquement quantitative ou uniquement qualitative, est préférable à une conception à méthodes mixtes dont l'une des composantes est sous-dimensionnée.

N'utilisez pas les méthodes mixtes si votre équipe manque de compétences en analyse qualitative. La recherche qualitative exige des analystes formés, capables de coder systématiquement, de gérer de vastes ensembles de données textuelles et d'interpréter les modèles émergents. Si personne au sein de votre équipe n'a jamais réalisé d'analyse qualitative, l'ajout de transcriptions d'entretiens à une évaluation basée sur une enquête produira des anecdotes, et non des résultats probants. Investissez dans la formation, recrutez un spécialiste qualitatif, ou limitez-vous aux méthodes quantitatives que vous maîtrisez.

N'utilisez pas les méthodes mixtes si vous n'avez pas de plan d'intégration. La collecte des deux types de données sans stratégie claire pour les combiner gaspille des ressources. Avant de commencer, décidez quel modèle d'intégration vous utiliserez, comment vous structurerez votre analyse et à quoi ressemblera votre présentation conjointe. Si vous ne pouvez pas répondre à ces questions dès la phase de conception, vous n'êtes pas prêt pour les méthodes mixtes.

Une note sur les outils d'analyse

L'analyse quantitative utilise généralement des logiciels comme Excel, SPSS, Stata ou R. Ces outils permettent de gérer les fréquences, les tableaux croisés, les régressions et les tests statistiques. La plupart des équipes de S&E possèdent déjà une certaine capacité quantitative.

L'analyse qualitative exige un ensemble de compétences distinct. Le codage systématique, le développement de thèmes et l'interprétation des modèles requièrent une formation et de la pratique. Des logiciels tels que NVivo, Dedoose ou Atlas.ti facilitent le processus, mais ne remplacent pas les compétences analytiques. Si votre équipe n'a pas d'expérience en analyse qualitative, prévoyez une formation ou externalisez l'analyse à un spécialiste. Ignorer l'analyse systématique pour se limiter à la « sélection de citations » est la manière la plus courante de sous-exploiter les données qualitatives dans les évaluations de S&E.

Pièges courants

Piège 1 : considérer le qualitatif comme « moins rigoureux ». Une étude qualitative bien conçue, avec un échantillonnage raisonné, un codage systématique et une triangulation, est rigoureuse. Une enquête mal élaborée, comportant des questions suggestives, ne l'est pas. La rigueur est liée à la qualité de la conception, et non au type de méthode.

Piège 2 : utiliser les méthodes qualitatives uniquement pour des « citations illustratives ». Si vous collectez 40 entretiens et ne les utilisez que pour extraire quelques citations afin d'agrémenter votre rapport quantitatif, vous avez gaspillé du temps et des ressources. Les données qualitatives doivent être analysées systématiquement (analyse thématique, analyse de contenu) et contribuer pleinement aux résultats.

Piège 3 : collecter les deux types de données sans les intégrer. Si votre rapport contient une section « résultats quantitatifs » et une section « résultats qualitatifs » sans aucun lien explicite entre elles, vous avez une étude multi-méthodes, et non une étude à méthodes mixtes. L'intégration doit être délibérée.

Piège 4 : appliquer des tailles d'échantillon quantitatives au travail qualitatif. Vous n'avez pas besoin de 400 entretiens. La recherche qualitative suit la logique de saturation : collectez des données jusqu'à ce que de nouveaux thèmes n'émergent plus. Cela se produit généralement après 12 à 20 entretiens pour un groupe homogène.

Piège 5 : l'échantillonnage de commodité déguisé en échantillonnage raisonné. L'échantillonnage raisonné implique de sélectionner délibérément des participants pour une raison spécifique (variation maximale, cas typique, cas extrême). Interroger toute personne disponible relève de l'échantillonnage de commodité, ce qui limite la valeur de vos résultats.

Guide de décision

Utilisez ces règles empiriques pour adapter votre méthode à votre question d'évaluation. Commencez par ce que vous avez besoin de savoir, plutôt que par les données les plus faciles à collecter.

• « Combien ? » ou « à quelle fréquence ? » Privilégiez les méthodes quantitatives. Vous avez besoin de chiffres, de comparaisons statistiques et d'échantillons représentatifs.
• « Pourquoi ? » ou « comment cela fonctionne-t-il ? » Privilégiez les méthodes qualitatives. Vous avez besoin de profondeur, de contexte et des explications des participants.
• « Combien, et pourquoi ? » Privilégiez les méthodes mixtes avec un modèle séquentiel explicatif. Commencez par l'enquête, puis étudiez les modèles qualitativement.
• « Nous n'en savons pas assez pour élaborer une bonne enquête. » Privilégiez d'abord les méthodes qualitatives (séquentiel exploratoire). Laissez les entretiens et les groupes de discussion faire émerger les questions pertinentes, puis construisez l'instrument.
• « Nous devons confirmer les résultats sous plusieurs angles. » Privilégiez la triangulation concurrente. Collectez les deux types de données simultanément et comparez les résultats pour identifier la convergence ou la divergence.