Vue d'ensemble
Qu'est-ce que l'effet de plan (DEFF) ?
L'effet de plan (DEFF) est un coefficient qui quantifie la perte de précision statistique lorsque l'on utilise un plan d'échantillonnage complexe, par opposition à un échantillonnage aléatoire simple. Il s'agit du facteur de correction essentiel pour garantir la validité de votre taille d'échantillon, surtout lorsque la réalité du terrain ne permet pas un tirage aléatoire parfait de la population cible.
Concrètement, si votre DEFF est de 1,8, cela signifie que chaque entretien réalisé par échantillonnage en grappes apporte seulement 55 % de l'information qu'un entretien issu d'un échantillonnage aléatoire simple procurerait. Pour obtenir la même précision qu'un échantillon aléatoire simple de 300, vous devrez donc réaliser 540 entretiens en grappes. Ignorer cette correction mènera à une enquête incapable de répondre aux questions pour lesquelles elle a été conçue.
L'effet de plan n'est pas une sanction de l'échantillonnage en grappes. Ce dernier est souvent la seule option pratique : absence de listes de ménages exploitables, dispersion géographique rendant les déplacements trop coûteux, ou encore des limites de population qui coïncident avec des grappes administratives. La correction vise simplement à aligner le calcul de la taille de l'échantillon sur la réalité du plan de collecte sur le terrain.
Quand appliquer l'effet de plan ?
L'effet de plan s'applique dès lors que votre plan d'échantillonnage regroupe les répondants de telle sorte que les observations au sein des groupes sont plus similaires entre elles qu'elles ne le sont entre les groupes. Dans la pratique du S&E, cela concerne le plus souvent l'échantillonnage en grappes, où l'on sélectionne d'abord des unités primaires (villages, écoles), puis des unités secondaires (ménages, élèves) à l'intérieur de celles-ci.
| Plan d'échantillonnage | Le DEFF s'applique-t-il ? | Plage typique |
|---|---|---|
| Échantillonnage aléatoire simple | Non | 1,0 |
| Échantillonnage aléatoire stratifié | Non, peut être légèrement inférieur à 1,0 | 0,9-1,0 |
| Échantillonnage en grappes (un seul degré) | Oui | 1,3-2,5 |
| Échantillonnage en grappes (plusieurs degrés) | Oui, se cumule à travers les degrés | 1,5-3,0 |
| Échantillonnage systématique dans des bases homogènes | Généralement non | ~1,0 |
L'échantillonnage stratifié, qui consiste à diviser la population en sous-groupes avant la sélection, peut en réalité générer un DEFF légèrement inférieur à 1,0, car cette structuration réduit la variance. Cependant, la plupart des programmes de S&E ne tirent pas parti de cet avantage ; ils optent pour l'échantillonnage en grappes pour des raisons logistiques, mais négligent ensuite d'appliquer l'ajustement DEFF nécessaire. Il en résulte une tendance systématique au sous-échantillonnage.
Pour les définitions des approches d'échantillonnage elles-mêmes, voir échantillonnage en grappes, échantillonnage aléatoire et méthodes d'échantillonnage.
La formule du DEFF
La formule du DEFF et son interprétation
La formule standard de l'effet de plan (DEFF) est la suivante :
DEFF = 1 + (m - 1) x ICC
Trois paramètres clés :
- m : le nombre moyen d'entretiens réalisés par grappe (la taille de la grappe).
- ICC : le coefficient de corrélation intraclasse, une valeur comprise entre 0 et 1 qui mesure la similarité des observations au sein d'une même grappe par rapport aux observations entre les grappes.
- 1 : le DEFF de base pour un échantillonnage aléatoire simple.
Prenons un exemple. Vous envisagez d'enquêter auprès de 20 ménages dans chacun des 30 villages. Votre ICC pour les indicateurs de sécurité alimentaire des ménages, dans des contextes similaires, est de 0,05. Le DEFF sera donc de 1 + (20 - 1) x 0,05 = 1 + 0,95 = 1,95. Si votre taille d'échantillon requise pour un échantillonnage aléatoire simple est de 350, en appliquant le DEFF, votre échantillon réel nécessaire s'élève à 682 entretiens, à répartir sur les 30 villages, soit environ 23 par village, et non 20.
Ce que la formule révèle : des grappes de plus grande taille impliquent une plus grande similarité intra-grappe et, par conséquent, un DEFF plus élevé. À l'inverse, des grappes plus petites se traduisent par une moindre similarité et un DEFF plus faible. Si l'ICC était nul (c'est-à-dire que les observations au sein des grappes ne sont pas plus similaires qu'entre les grappes), le DEFF serait exactement de 1,0, quelle que soit la taille de la grappe.
La plupart des professionnels du S&E ne calculent pas l'ICC de A à Z. Ils s'appuient plutôt sur des valeurs de DEFF empiriques, tirées d'enquêtes antérieures menées dans des contextes similaires. Les rapports d'enquêtes telles que le DHS, le MICS, ou les évaluations commanditées par les bailleurs de fonds dans le même secteur et la même zone géographique, publient souvent ces valeurs de DEFF, qui constituent un excellent point de départ.
Valeurs typiques de l'effet de plan en S&E
| Type d'enquête | DEFF typique | ICC typique |
|---|---|---|
| Indicateurs de sécurité alimentaire des ménages | 1,5-2,0 | 0,03-0,08 |
| Comportements et accès WASH | 1,5-2,5 | 0,05-0,12 |
| Couverture vaccinale et services de santé | 2,0-3,0 | 0,10-0,15 |
| Indicateurs éducatifs dans les enquêtes en grappes (écoles) | 2,0-3,5 | 0,10-0,20 |
| Moyens de subsistance et revenus | 1,3-1,8 | 0,03-0,06 |
| Violence basée sur le genre (très spécifique au contexte) | 2,0-4,0 | 0,10-0,25 |
La tendance observée est la suivante : les indicateurs fortement influencés par la grappe elle-même (par exemple, la qualité de l'enseignement d'une école, les protocoles d'un établissement de santé, la source d'eau d'un village) présentent des ICC et, par conséquent, des DEFF plus élevés que les indicateurs dont la variabilité dépend davantage des circonstances individuelles. En l'absence de valeurs empiriques spécifiques à votre contexte, un DEFF de 2,0 constitue une hypothèse de planification raisonnable et défendable pour les enquêtes en grappes auprès des ménages. Il est préférable de surestimer légèrement le DEFF que de le sous-estimer, car un sous-ajustement ne peut être corrigé une fois le travail de terrain achevé.
Application pratique
Comment appliquer l'effet de plan en quatre étapes
L'effet de plan doit impérativement être intégré au calcul de la taille de l'échantillon avant la finalisation du calendrier de terrain. Voici les quatre étapes clés :
Étape 1 : calculez la taille de l'échantillon pour un échantillonnage aléatoire simple (SRS). Débutez avec la formule standard de la taille d'échantillon adaptée à votre type d'indicateur : qu'il s'agisse d'une proportion (par exemple, 40 % des ménages stockant l'eau de manière sûre), d'une moyenne (par exemple, le revenu mensuel moyen), ou d'un objectif de détection de changement (par exemple, identifier une variation de 10 points de pourcentage pour l'indicateur X). Votre marge d'erreur, votre niveau de confiance et la variabilité attendue sont les intrants de ce calcul. Ce résultat constitue votre taille d'échantillon de base en SRS.
Étape 2 : sélectionnez une valeur de DEFF. Optez pour des valeurs empiriques issues d'enquêtes antérieures menées dans votre secteur et votre zone géographique, si elles sont disponibles. À défaut, utilisez 1,5-2,0 pour les enquêtes ménages, 2,0-2,5 pour les enquêtes en milieu scolaire ou dans les établissements de santé, et 2,5-3,0 pour les indicateurs très hétérogènes ou fortement liés à la prestation de services. Documentez soigneusement votre choix et la justification associée ; les évaluateurs ne manqueront pas de poser des questions.
Étape 3 : multipliez. La taille d'échantillon en grappes requise est égale à la taille d'échantillon SRS multipliée par le DEFF. Par exemple, si le SRS est de 400 et le DEFF de 1,8, la taille d'échantillon en grappes sera de 720.
Étape 4 : appliquez la marge pour non-réponse à l'échantillon ajusté par le DEFF. Si votre taux de non-réponse attendu est de 15 %, divisez la taille d'échantillon (n) ajustée par le DEFF par 0,85. Ainsi, 720 / 0,85 = 847 ménages à sélectionner. C'est votre objectif final pour le travail de terrain. Consultez erreurs courantes d'échantillonnage pour comprendre pourquoi ignorer la marge pour non-réponse exacerbe le problème de l'effet de plan.
Le Calculateur d'échantillonnage effectue les quatre étapes automatiquement : entrez la taille de votre population, la précision requise, le niveau de confiance, le DEFF et le taux de non-réponse, et il vous donnera votre objectif final sur le terrain ainsi qu'un plan d'allocation des grappes.
Sources des valeurs du DEFF
Les valeurs du DEFF ne nécessitent pas de calcul ICC complexe pour chaque nouvelle enquête. La plupart des programmes de S&E s'appuient sur des valeurs empiriques issues d'enquêtes précédentes ou de références établies.
Enquêtes antérieures dans un contexte similaire : C'est la source la plus fiable. Si votre zone d'intervention a déjà fait l'objet d'une enquête (DHS, MICS, SMART, KAP, études de situation de référence), les DEFF de ces études sont directement applicables. La section méthodologique du rapport les mentionnera généralement.
Tables de référence publiées : Le manuel d'échantillonnage et de listage des ménages du DHS, les lignes directrices de conception des enquêtes MICS et les manuels d'échantillonnage en grappes du PEV de l'OMS fournissent des valeurs typiques d'ICC et de DEFF par domaine d'indicateurs. Il s'agit de valeurs par défaut à usage général, moins précises qu'une valeur issue d'une enquête locale antérieure, mais plus robustes que de simples suppositions.
Calcul a posteriori à partir de données pilotes : Si vous menez une phase pilote sur 3 à 5 grappes avant de déployer l'enquête complète, vous pouvez calculer un ICC empirique à partir de ces données et l'intégrer au calcul final de la taille de l'échantillon. C'est l'approche la plus spécifique au contexte, mais elle rallonge le calendrier de 2 à 4 semaines.
Hypothèse par défaut en l'absence de données : Utilisez un DEFF = 2,0 pour les enquêtes en grappes auprès des ménages, DEFF = 2,5 pour les enquêtes en grappes en milieu scolaire ou dans les établissements, et DEFF = 3,0 pour les indicateurs de prestation de services très hétérogènes. Ces valeurs par défaut sont conservatrices et privilégient le sur-échantillonnage plutôt que le sous-échantillonnage.
Documentez toujours la source utilisée. Par exemple, « DEFF de 1,8 basé sur le DHS 2022 au [pays] pour des indicateurs de couverture comparables » constitue une piste d'audit solide et défendable. En revanche, « DEFF = 1,5 supposé » ne l'est pas.
Exemples par secteur
Exemples d'application par secteur
Santé : enquête sur la couverture vaccinale en Afrique de l'Est
Une équipe de santé de district a élaboré une enquête sur la couverture vaccinale en adoptant un plan en grappes standard de 30 par 7 (30 grappes, 7 entretiens chacune). L'équipe a calculé une taille d'échantillon de n = 210 en utilisant des formules d'échantillonnage aléatoire simple, puis a considéré ce chiffre comme la taille de l'échantillon en grappes. L'ICC post-analyse s'est avéré être de 0,13, générant un DEFF de 1,78. La taille effective de l'échantillon n'était donc que de 118 entretiens, et non de 210. Les intervalles de confiance pour l'estimation de la couverture étaient de plus ou moins 9 points de pourcentage. Or, le programme nécessitait une précision de 5 points pour évaluer l'efficacité d'une nouvelle stratégie de sensibilisation. L'enquête n'a pas pu confirmer ou infirmer l'effet de la stratégie, obligeant le programme à mener une seconde enquête trois mois plus tard, avec une allocation de grappes correctement dimensionnée, mais à un coût 1,6 fois supérieur au budget initial.
WASH : enquête sur le stockage de l'eau des ménages en Afrique de l'Ouest
Un programme WASH a élaboré une enquête ménages visant à évaluer les pratiques de stockage sûr de l'eau dans 40 villages, avec 15 entretiens prévus par village. La taille d'échantillon SRS initiale était de 380. L'équipe a appliqué un DEFF de 2,0, basé sur une enquête MICS publiée dans la même région, ce qui a conduit à un échantillon cible de 760. Après avoir intégré une marge pour non-réponse de 15 %, l'objectif final sur le terrain était de 894 ménages, soit 22 par village. L'échantillon finalement collecté s'élevait à 746. Les intervalles de confiance pour l'estimation du stockage sûr de l'eau étaient de plus ou moins 3,8 points à 95 % de confiance, une précision suffisante pour détecter l'amélioration de 7 points visée par le programme. Le programme a ainsi pu confirmer l'atteinte de son résultat avec une précision défendable.
Éducation : enquête sur les résultats d'apprentissage en Asie du Sud
Une évaluation des résultats d'apprentissage en milieu scolaire a été conduite dans 25 écoles de la zone d'intervention d'un programme, avec 40 élèves par école. L'équipe éducative s'est appuyée sur un ICC de 0,18, issu d'un essai randomisé en grappes précédent mené dans une zone géographique comparable. Le DEFF calculé était de 1 + (39 x 0,18) = 8,02, une valeur très élevée qui témoigne du fort regroupement des résultats d'apprentissage par établissement. Le calcul initial de l'équipe, basé sur un SRS de n = 400, aurait nécessité un échantillon en grappes de 3 200 élèves. L'équipe a constaté l'irréalisme de ce chiffre au regard du budget du programme et a repensé l'étude pour inclure 60 écoles avec 25 élèves chacune (n = 1 500). La formule du DEFF a alors estimé un échantillon effectif de 320 entretiens équivalents SRS. Cette nouvelle conception a permis au programme de réaliser une étude faisable, certes à un coût 2,5 fois supérieur au budget initial, mais capable de répondre concrètement à la question de l'apprentissage.
Sécurité alimentaire : enquête sur la consommation au Sahel
Un programme de sécurité alimentaire a réalisé une enquête trimestrielle sur la consommation dans 20 communautés pastorales, avec 12 ménages par communauté. L'ICC pour les scores de consommation alimentaire dans les contextes pastoraux, d'après des enquêtes antérieures, était de 0,04, ce qui a généré un DEFF de 1 + (11 x 0,04) = 1,44. L'équipe a appliqué ce DEFF à sa taille d'échantillon SRS de 280 pour obtenir un échantillon requis de 403. Une marge pour non-réponse de 20 % a ensuite été ajoutée (en raison de la dispersion des communautés durant la migration de la saison sèche), portant l'objectif de terrain à 504 ménages. L'enquête a finalement été menée auprès de 472 ménages, satisfaisant ainsi l'exigence de précision de plus ou moins 4 points sur le score de consommation alimentaire.
Pièges et liste de contrôle
Pièges courants à éviter
Piège 1 : utiliser une taille d'échantillon SRS pour un travail de terrain en grappes. Calculer l'échantillon en supposant que les observations sont indépendantes alors qu'elles sont regroupées en grappes est l'erreur la plus fréquente concernant le DEFF en S&E. Une équipe de terrain pourrait sélectionner 30 villages avec 15 ménages chacun, puis rapporter 450 entretiens comme s'ils contenaient tous des informations équivalentes à un échantillon aléatoire simple (SRS). Cela conduit à des intervalles de confiance trop étroits, à des résultats qui paraissent plus précis qu'ils ne le sont, et, in fine, à une réanalyse forcée sous la pression des évaluateurs. Appliquez le multiplicateur DEFF avant de valider la taille de l'échantillon.
Piège 2 : appliquer le DEFF au stade de l'analyse plutôt qu'à celui de la conception. Certaines équipes ne prennent conscience du problème de regroupement qu'au moment de l'analyse et appliquent alors une estimation pondérée de l'enquête. Bien que cela produise des intervalles de confiance corrects, cela ne peut pas compenser les entretiens qui n'ont jamais été réalisés. Les intervalles de confiance restent plus larges, la précision est moindre, et le programme ne peut pas confirmer l'atteinte de son objectif. Une correction au stade de l'analyse est préférable à l'absence de correction, mais elle ne saurait sauver une étude fondamentalement sous-dimensionnée.
Piège 3 : choisir une valeur de DEFF sans justification probante. Un DEFF de 1,2 peut sembler raisonnable, mais sans référence à une enquête antérieure ou à une source publiée, il pourrait être erroné. La plupart des enquêtes en grappes auprès des ménages en S&E révèlent des DEFF empiriques compris entre 1,5 et 2,0. Sous-estimer le DEFF conduit à un échantillon sous-dimensionné ; le surestimer entraîne un gaspillage de ressources mais est plus sûr. En cas de doute, utilisez 2,0 et documentez votre raisonnement.
Piège 4 : oublier que le DEFF se cumule dans les plans d'échantillonnage à plusieurs degrés. Un échantillon en grappes à deux degrés (par exemple, sélection de villages, puis de ménages au sein de ces villages) présente un effet de plan cumulé, et non un DEFF de premier degré simple. Le cumul dépend des ICC à chaque degré, mais une règle empirique utile suggère que les DEFF à plusieurs degrés sont généralement 20 à 40 % plus élevés que les DEFF à un seul degré comparables. Tenez-en compte lorsque votre plan d'enquête implique des grappes imbriquées (par exemple, districts, puis villages, puis ménages).
Piège 5 : ne pas documenter la source du DEFF. La valeur du DEFF doit impérativement figurer dans la méthodologie de l'enquête, accompagnée de sa source : l'enquête antérieure dont elle est tirée, la référence publiée, ou la justification de l'hypothèse. Les évaluateurs externes, les futures réplications et les comparaisons finales nécessitent tous cette traçabilité. Une enquête qui ne documente pas la source de son DEFF sera plus difficile à défendre et à comparer.
Liste de contrôle pour l'effet de plan
Passez en revue cette liste de contrôle avant de vous engager dans la phase de terrain de votre enquête en grappes.
Phase de conception :
- Valeur du DEFF sélectionnée et sa source documentée (enquête antérieure, référence publiée ou valeur par défaut conservatrice)
- Multiplicateur DEFF appliqué à la taille de l'échantillon SRS lors du calcul de planification
- Regroupement à plusieurs degrés pris en compte si votre plan d'échantillonnage utilise des grappes imbriquées
- Plan d'allocation des grappes établi (nombre de grappes, nombre d'entretiens par grappe)
Phase de travail de terrain :
- Affectations des grappes documentées avant le démarrage du travail de terrain
- Formation des enquêteurs incluant la gestion des grappes et la sélection des ménages
- Taille réelle des grappes par village suivie dans les journaux de terrain (le m réel peut s'écarter du m planifié)
Phase d'analyse :
- Estimation pondérée de l'enquête spécifiée dans le plan d'analyse avant la collecte des données
- Variables d'unité primaire d'échantillonnage et de strate incluses dans le jeu de données
- Intervalles de confiance calculés avec des erreurs types corrigées du plan d'échantillonnage, et non avec des erreurs types SRS naïves
Pour calculer la taille de votre échantillon en intégrant l'effet de plan et la marge pour non-réponse, utilisez le Calculateur d'échantillonnage. Pour les décisions connexes liées au plan d'échantillonnage, consultez échantillonnage en grappes vs. stratifié et échantillonnage probabiliste vs. non probabiliste. Pour l'ensemble du flux de travail d'échantillonnage avant le terrain, voir erreurs courantes d'échantillonnage.