Erreurs courantes d'échantillonnage en S&E

Base de sondage erronée ou incomplète

La base de sondage est la liste ou le cadre à partir duquel vous sélectionnez votre échantillon. Si elle est incomplète ou inexacte, votre échantillon en héritera inévitablement les erreurs. Aucune précision statistique ne peut corriger une base de sondage défectueuse.

Les trois problèmes les plus fréquents liés à la base de sondage dans les enquêtes de terrain en S&E :

Listes d'enregistrement obsolètes : Un registre de bénéficiaires vieux de 18 mois exclut les personnes ayant rejoint le programme depuis et inclut celles qui sont parties, ont déménagé ou sont décédées. Plus la liste est ancienne, plus le taux d'exclusion est élevé. Dans les programmes caractérisés par une forte mobilité de la population (communautés déplacées, établissements informels urbains, programmes de travail saisonnier), une liste de plus de 6 mois peut être gravement périmée.

Couverture géographique incomplète : Un registre des ménages qui couvre les districts centraux du programme mais omet les districts éloignés produira un échantillon sous-représentant systématiquement les personnes les moins susceptibles de rapporter des résultats positifs. C'est un biais de couverture, qui a tendance à surestimer les résultats de performance.

Unité de sélection inadéquate : Si votre population cible est l'ensemble des ménages d'une zone d'intervention, mais que votre base est une liste de fréquentation d'un établissement de santé, vous manquerez toutes les personnes qui n'utilisent pas cet établissement. Ces deux populations peuvent être très différentes.

Avant de tirer l'échantillon, vérifiez trois points essentiels concernant votre base : sa dernière mise à jour, si elle couvre l'intégralité de la population cible ou seulement un sous-ensemble, et si l'unité de sélection correspond bien à l'unité d'analyse. Si une base complète n'est pas disponible, l'échantillonnage en grappes constitue une alternative pratique. Consultez échantillonnage en grappes vs. stratifié pour déterminer quand privilégier cette méthode.

Négliger l'effet de plan et la non-réponse

Deux erreurs de calcul mènent fréquemment à des échantillons trop petits pour détecter les changements que votre programme vise à produire.

Effet de plan : Si vous utilisez l'échantillonnage en grappes sur le terrain mais calculez la taille de votre échantillon comme pour un échantillonnage aléatoire simple (EAS), vous manquerez de puissance statistique. Les individus au sein des grappes sont plus homogènes entre eux que des individus choisis au hasard, ce qui signifie que chaque interview au sein d'une grappe apporte moins d'informations qu'une interview véritablement indépendante. Le facteur d'effet de plan (généralement 1,5-2,0 pour les enquêtes auprès des ménages en contexte de développement) corrige cette sous-estimation. Si l'EAS requiert 300 interviews complétées et que votre effet de plan est de 1,8, vous aurez besoin de 540 interviews, et non de 300. Consultez échantillonnage en grappes pour les formules d'effet de plan et les valeurs typiques selon le contexte.

Marge pour la non-réponse : La non-réponse aux enquêtes est un phénomène prévisible. Des ménages sont absents, le chef de ménage refuse de participer, ou l'interview reste incomplète. Si vous calculez un n requis de 400 et que votre taux de non-réponse est de 15 %, vous n'obtiendrez que 340 interviews complétées. Que 340 suffisent à vos exigences de précision dépendra du calcul initial, mais vous ne le saurez qu'une fois qu'il sera trop tard pour agir. Ajoutez une marge de 10 à 20 % à la taille de votre échantillon calculée pour anticiper cette attrition avant de finaliser votre plan de terrain.

Ces deux erreurs sont entièrement évitables dès la phase de conception. Elles sont coûteuses à corriger en cours de travail de terrain et souvent irréparables une fois la collecte des données achevée.

Défaillances d'exécution sur le terrain

Trois erreurs commises sur le terrain sont à l'origine de la plupart des problèmes d'intégrité de l'échantillonnage dans les programmes de S&E.

Substitution par l'enquêteur sans protocole documenté : Lorsqu'un ménage sélectionné est indisponible, les enquêteurs doivent disposer d'instructions écrites explicites sur la procédure à suivre. Sans protocole, ils choisissent par défaut le substitut le plus proche et le plus commode, ce qui n'est pas une substitution aléatoire, mais un échantillonnage de commodité masqué sous une étiquette aléatoire. Établissez une règle de substitution avant le travail de terrain : par exemple, tentez une visite de rappel avant de substituer, et si vous substituez, sélectionnez l'unité suivante sur la liste systématique en documentant la raison. Quelle que soit la règle, elle doit être documentée et enseignée avant que les équipes ne soient déployées sur le terrain.

Échantillonnage de commodité présenté comme aléatoire : Sous la pression du temps ou face à des itinéraires d'accès difficiles, les enquêteurs ont tendance à interroger les ménages proches de la route, ceux où les personnes sont visiblement présentes, ou ceux où le répondant se porte immédiatement volontaire. L'échantillon qui en résulte est biaisé d'une manière qu'il est impossible de quantifier a posteriori. Le suivi GPS des lieux d'interview et la supervision par sondage durant le travail de terrain constituent les principaux mécanismes de contrôle.

Absence de documentation du processus de sélection : La logique de sélection doit être consignée par écrit : la base de sondage utilisée, l'intervalle de saut ou les nombres aléatoires appliqués, l'identité de la personne ayant effectué la sélection, la gestion des refus et des absences, et la manière dont les substitutions ont été réalisées. Sans cette documentation, aucun examinateur externe ne peut vérifier que l'échantillon a été sélectionné conformément à la description. Cette documentation, qui prend moins d'une heure à produire, protège des mois d'investissement dans la collecte de données. C'est également ce qui distingue une méthodologie reproductible à la fin du programme d'une autre qui ne l'est pas.

Erreurs d'analyse et de rapportage

Deux erreurs récurrentes sont observées au stade de l'analyse dans les évaluations du secteur du développement.

Analyser les données d'échantillon en grappes comme des données d'échantillon aléatoire simple : Il s'agit de l'erreur statistique la plus fréquente dans les évaluations de programmes. Lorsque vous utilisez l'échantillonnage en grappes sur le terrain mais appliquez des tests statistiques standards en supposant un échantillonnage aléatoire simple, vous sous-estimez les erreurs standard de vos estimations. Vos intervalles de confiance sont alors trop étroits, ce qui implique une confiance dans vos résultats supérieure à ce que la structure des données autorise. La correction consiste à spécifier le plan de grappes dans votre analyse statistique : des commandes d'estimation pondérées par l'enquête sont disponibles dans R, Stata, Python (package survey) et SPSS. Cela ne représente qu'une ligne de code si le plan d'analyse a été correctement élaboré avant le travail de terrain. Consultez comment choisir la taille de l'échantillon pour les spécifications de conception qui s'intègrent correctement à l'analyse.

Généralisation abusive : Votre échantillon représente la population dont il a été extrait, délimitée par sa portée géographique, la période couverte et la base de sondage utilisée. Une enquête menée auprès des bénéficiaires dans 3 des 12 districts d'un programme ne produit pas de résultats généralisables à l'ensemble des 12 districts, à moins que vous ne puissiez prouver que ces 3 districts sont représentatifs des 12, ce qui exige des preuves allant au-delà de l'enquête elle-même. Délimitez explicitement vos conclusions : préférez "parmi les bénéficiaires des trois districts étudiés pendant la période de suivi" à "parmi tous les bénéficiaires du programme". Les examinateurs et évaluateurs externes s'opposeront à toute généralisation abusive, et la correction après la publication du rapport est souvent pénible.

Exemples par secteur

Santé : échec de l'actualisation de la base de sondage en Afrique de l'Est

Un programme de vaccination de district a mené une enquête de couverture en s'appuyant sur un registre des ménages dont la dernière mise à jour remontait à 22 mois. Les équipes de terrain ont constaté que 18 % des ménages sélectionnés avaient déménagé ou s'étaient dissous depuis la compilation du registre. Les substituts ont été choisis par proximité, et non selon un protocole documenté. L'estimation de couverture de 71 % n'a pas pu être défendue lors de l'évaluation externe : la combinaison de l'erreur de base et de la substitution non documentée a introduit un biais incommensurable. L'évaluateur externe a recommandé de répéter l'enquête avec une base actualisée et un protocole de substitution. Le coût de cette reprise a été trois fois supérieur à celui de l'enquête initiale.

WASH : erreur de calcul de l'effet de plan en Afrique de l'Ouest

Un programme WASH a conçu une enquête auprès des ménages avec un n calculé de 280 interviews, basé sur des hypothèses d'échantillonnage aléatoire simple. La collecte de données a eu recours à l'échantillonnage en grappes dans 14 villages. L'effet de plan dans des contextes similaires est de 1,8. La taille effective de l'échantillon s'est avérée être de 156 interviews, et non de 280. La marge d'erreur était de plus ou moins 14 points de pourcentage à 95 % de confiance, alors que le programme nécessitait une précision de 8 points pour détecter l'amélioration cible. L'enquête était sous-dimensionnée et n'a pas pu confirmer si l'objectif de couverture des points d'eau du programme avait été atteint. Un calcul de l'effet de plan avant le travail de terrain aurait permis de déceler ce problème avant même l'embauche du premier enquêteur.

Éducation : généralisation abusive d'un échantillon ciblé en Asie du Sud

Un programme d'amélioration scolaire a étudié 8 écoles très performantes et 8 écoles peu performantes, sélectionnées de manière ciblée. Il a ensuite rapporté qu'« au niveau national, les élèves des écoles bien dotées en ressources ont un accès aux manuels scolaires 40 % plus élevé ». Or, un échantillon ciblé permet une comparaison intra-étude entre les 16 écoles sélectionnées, mais ne peut pas justifier une généralisation nationale. La conclusion était pertinente, mais la portée rapportée ne l'était pas. Un simple ajustement de la formulation (« parmi les 16 écoles étudiées ») aurait préservé la conclusion tout en évitant les objections des examinateurs.

Moyens de subsistance : erreur d'analyse en Afrique australe

Un programme de moyens de subsistance a mené une enquête de satisfaction des bénéficiaires en ayant recours à l'échantillonnage en grappes dans 12 groupes communautaires. L'équipe d'analyse a utilisé un test du chi-carré standard sans spécifier le plan en grappes. Les valeurs p obtenues étaient systématiquement trop faibles, ce qui a conduit l'équipe à rapporter des différences statistiquement significatives entre les sous-groupes qui, en réalité, ne l'étaient plus une fois la structure des grappes prise en compte. La ré-analyse, effectuée 3 semaines après la diffusion du rapport au bailleur de fonds, a inversé deux des cinq principales conclusions.

Erreurs fréquentes

Erreur 1 : utiliser une base de sondage obsolète ou incomplète. La base est le cadre à partir duquel vous échantillonnez. Si elle date de 18 mois ou ne couvre qu'un sous-ensemble de votre population cible (par exemple, les personnes fréquentant un établissement, ou les membres enregistrés), votre échantillon héritera de ces exclusions. Les personnes exclues sont souvent les plus difficiles à atteindre et les moins susceptibles de rapporter des résultats positifs. Mettez à jour et vérifiez la base avant de tirer votre échantillon.

Erreur 2 : négliger l'effet de plan dans l'échantillonnage en grappes. Si vous avez calculé la taille de votre échantillon pour un échantillonnage aléatoire simple (EAS) mais que vous réalisez un échantillonnage en grappes sur le terrain, vos intervalles de confiance seront trop larges et votre échantillon trop petit. Appliquez le multiplicateur d'effet de plan (généralement 1,5-2,0 ; plus élevé dans les populations hétérogènes) à votre n requis avant le travail de terrain. Négliger cette étape est la raison la plus fréquente pour laquelle les enquêtes auprès des ménages ne parviennent pas à confirmer si les objectifs du programme ont été atteints.

Erreur 3 : absence de protocole de substitution pour les ménages absents. Lorsqu'un ménage sélectionné est indisponible, les enquêteurs doivent disposer de règles écrites claires sur la procédure à suivre. Sans protocole, ils procèdent à des substitutions par commodité. Ce n'est pas aléatoire ; c'est un biais de sélection masqué sous une étiquette aléatoire. Rédigez la règle de substitution avant le début du travail de terrain, formez explicitement les enquêteurs à son application et documentez chaque substitution effectuée durant la collecte des données.

Erreur 4 : analyser les données en grappes comme des données d'échantillon aléatoire simple. L'application de tests statistiques standards à des données d'échantillon en grappes génère des intervalles de confiance trop étroits. Vous revendiquez ainsi une précision supérieure à ce que la structure des données autorise. Spécifiez le plan d'enquête dans votre logiciel d'analyse avant d'exécuter le moindre test. Cela ne prend qu'une ligne de code et évite que vos conclusions soient remises en question pour des raisons méthodologiques.

Erreur 5 : généraliser au-delà de la portée de l'échantillon. Votre échantillon représente la population dont il a été extrait : les districts enquêtés, la période couverte, les bénéficiaires inclus dans la base de sondage. Rapporter des résultats comme s'ils s'appliquaient à l'ensemble des bénéficiaires du programme alors que vous n'avez enquêté que dans 3 districts sur 12 revient à survendre ce que les données peuvent étayer. Délimitez explicitement la portée de vos conclusions dans le rapport.

Liste de vérification de l'échantillonnage pré-terrain

Passez en revue cette liste avant de valider votre budget de collecte de données et votre calendrier de terrain. Chaque point que vous ne pouvez pas cocher représente un risque pour la qualité de vos données.

Base de sondage :

• La base couvre l'intégralité de la population cible, et non un sous-ensemble (personnes fréquentant un établissement, membres enregistrés, etc.)
• La base a été mise à jour au cours des 12 derniers mois (ou son actualité a été vérifiée)
• L'unité de sélection dans la base correspond à l'unité d'analyse de votre indicateur

Taille de l'échantillon :

• L'effet de plan est appliqué en cas d'échantillonnage en grappes (valeur typique 1,5-2,0 ; plus élevée dans les populations hétérogènes)
• Une marge pour la non-réponse est intégrée (10-20 % selon le contexte et l'accessibilité de la population)
• La taille des sous-échantillons est vérifiée si des comparaisons entre sous-groupes sont exigées dans le rapport

Protocole de terrain :

• Le protocole de substitution est documenté par écrit (quand substituer, comment sélectionner le remplaçant)
• Les enquêteurs sont formés aux règles d'échantillonnage, et pas uniquement à l'administration du questionnaire
• Une vérification GPS ou de localisation est prévue pour auditer la couverture et détecter le biais de commodité

Préparation de l'analyse :

• Le plan d'analyse spécifie une estimation pondérée par l'enquête si l'échantillonnage en grappes est utilisé
• La marge d'erreur et le niveau de confiance sont validés avec la direction du programme et les parties prenantes avant le travail de terrain
• La portée de la généralisation est définie par écrit (quelle population, quelle zone géographique, quelle période)
• Un examinateur externe ou un conseiller en S&E a relu le plan d'échantillonnage avant le démarrage du travail de terrain

Pour calculer la taille d'un échantillon en intégrant l'effet de plan et l'ajustement pour la non-réponse, utilisez le Calculateur d'échantillonnage. Pour la décision plus large sur la méthode d'échantillonnage, commencez par échantillonnage probabiliste vs. non probabiliste. Pour comprendre comment l'échantillonnage s'intègre à la planification de la situation de référence, consultez conception de la situation de référence.