Comment déterminer la taille d'échantillon idéale pour le S&E

La formule de base

Avant d'explorer les cinq facteurs déterminants, voici la formule fondamentale pour calculer la taille d'échantillon lors de l'estimation d'une proportion :

n = Z² x p(1-p) / e²

Où :

• Z = le score Z correspondant à votre niveau de confiance (1,96 pour 95 %, 1,645 pour 90 %)
• p = la proportion attendue (utilisez 0,5 si elle est inconnue, car cela maximise la taille d'échantillon requise)
• e = la marge d'erreur que vous êtes prêt à accepter (0,05 pour 5 %)

Calcul rapide : Avec un niveau de confiance de 95 % (Z = 1,96), une proportion de 50 % et une marge d'erreur de 5 % :

n = 1,96² x 0,5 x 0,5 / 0,05² = 3,8416 x 0,25 / 0,0025 = 385

C'est de cette formule que découle la règle empirique des « 385 ». Elle repose sur l'hypothèse d'une population importante, d'un échantillonnage aléatoire simple et de l'absence de grappes. En pratique, vous aurez presque toujours besoin d'un échantillon plus grand. Pour un calcul précis, n'hésitez pas à utiliser notre Calculateur d'échantillonnage.

Correction pour les populations finies

Si votre population totale est de taille limitée (moins de 5 000 individus), vous aurez besoin de moins de répondants que ce que la formule de base suggère. Dans ce cas, appliquez la correction pour population finie :

n_ajusté = n / (1 + (n - 1) / N)

Où N représente la taille totale de la population.

Exemple : Votre programme cible 800 ménages. La formule initiale donne 385. En appliquant la correction : 385 / (1 + 384/800) = 385 / 1,48 = 260 ménages. Cette réduction est significative. Il est crucial de ne pas négliger cette étape pour les populations de petite taille.

Les cinq facteurs déterminants

1. Quelle est l'ampleur du changement que vous souhaitez détecter ?

Il s'agit de l'effet minimal détectable (EMD) : le plus petit changement au niveau de votre indicateur que votre enquête doit être en mesure de mettre en évidence. Si votre programme vise à augmenter le taux de lavage des mains de 30 % à 50 % (soit un changement de 20 points de pourcentage), il s'agit d'un effet important qui nécessitera moins de répondants. En revanche, si vous anticipez un passage de 60 % à 65 % (soit 5 points), cet effet est plus faible et exigera un échantillon beaucoup plus conséquent.

Règle empirique : La plupart des programmes de développement visent des changements de 10 à 20 points de pourcentage pour les indicateurs comportementaux. Si le changement attendu est inférieur à 5 points de pourcentage, vous aurez besoin d'un échantillon très important, ou il conviendra de réévaluer si une enquête est l'outil le plus approprié pour mesurer cet indicateur. Demandez-vous si les données de suivi de routine ou les registres administratifs ne seraient pas plus efficaces pour capter de faibles variations qu'une enquête par échantillonnage.

2. Quel niveau de confiance est requis ?

Le niveau de confiance représente la probabilité que vos résultats ne soient pas le fruit du hasard. La norme généralement acceptée est de 95 % (ce qui signifie que si vous répétiez l'enquête 100 fois, 95 d'entre elles produiraient des résultats se situant dans votre marge d'erreur). Certains programmes optent pour 90 %, ce qui réduit la taille de l'échantillon d'environ 25 %. Pour des besoins d'apprentissage interne, 90 % est souvent suffisant. Cependant, pour les évaluations externes ou les publications académiques, il est préférable de maintenir un niveau de 95 %.

La marge d'erreur (ou précision) définit l'intervalle autour de votre estimation. Une marge d'erreur de 5 % signifie que si vous mesurez un taux d'adoption de 50 %, la valeur réelle se situe entre 45 % et 55 %. Des marges plus étroites exigent des échantillons plus grands. Par exemple, passer d'une marge d'erreur de 5 % à 3 % multiplie presque par trois la taille de votre échantillon.

3. Quelle est la variabilité au sein de votre population ?

Si les individus de votre population cible sont très similaires, vous aurez besoin de moins de répondants. En revanche, s'il existe une grande variabilité, un échantillon plus important sera nécessaire. Lorsque la variance est inconnue (ce qui est fréquent avant la conception d'une situation de référence), l'utilisation de 50 % comme proportion estimée permet d'obtenir la taille d'échantillon maximale requise. C'est l'hypothèse la plus prudente et celle à privilégier en l'absence d'informations préalables.

Si vous disposez de données issues d'une enquête antérieure ou d'un programme similaire dans la même région, utilisez plutôt cette proportion. Une valeur de situation de référence connue de 20 % ou 80 % nécessitera un échantillon nettement plus petit que le scénario le plus défavorable de 50 %.

4. Avez-vous recours à l'échantillonnage en grappes ?

Si vous sélectionnez d'abord des unités plus larges comme des villages, des écoles ou des établissements de santé, puis des individus au sein de ces unités, vous devez ajuster votre calcul pour tenir compte de l'effet de plan. Les individus d'un même village, par exemple, ont tendance à être plus similaires entre eux qu'aux personnes d'autres villages. Chaque personne supplémentaire interrogée au sein de la même grappe apporte donc moins d'informations nouvelles qu'une personne issue d'une nouvelle grappe.

L'effet de plan dépend de la corrélation intra-grappe (CIG) et du nombre d'individus par grappe :

Effet de plan = 1 + (taille de la grappe - 1) x CIG

Valeurs typiques de la CIG pour les indicateurs de S&E courants :

Un effet de plan de 2,0 signifie que vous aurez besoin d'environ le double de l'échantillon par rapport à un échantillonnage aléatoire simple. C'est le facteur le plus significatif qui augmente la taille d'échantillon dans la pratique du S&E, et il est malheureusement trop souvent négligé lors de la planification initiale.

La plupart des méthodes d'échantillonnage employées dans les évaluations sur le terrain impliquent une forme de regroupement. Si vos enquêteurs se rendent dans des communautés, vous réalisez presque certainement un échantillonnage en grappes, que vous l'identifiiez comme tel ou non.

5. Combien de sous-groupes devez-vous comparer ?

Si vous devez désagréger les résultats par sexe, groupe d'âge, zone géographique ou statut de handicap, il est impératif de disposer d'un nombre suffisant de répondants dans chaque sous-groupe pour permettre des comparaisons significatives. C'est à ce stade que les tailles d'échantillon peuvent augmenter rapidement.

Règle empirique : Vous aurez besoin d'au moins 30 à 50 répondants par sous-groupe pour obtenir des statistiques descriptives de base, et de plus de 100 par sous-groupe pour des comparaisons significatives entre les groupes. Si votre bailleur de fonds exige des résultats désagrégés par genre et une comparaison entre 3 régions, cela représente 6 sous-groupes de plus de 100 chacun, ce qui signifie que votre échantillon total pourrait devoir dépasser 600 avant d'ajuster pour l'effet de plan et la non-réponse.

Il est essentiel de planifier vos exigences de désagrégation avant de calculer la taille d'échantillon, et non après. Trop d'équipes définissent d'abord une taille d'échantillon, pour ensuite découvrir, au moment de l'analyse, qu'elles ne peuvent pas ventiler les données comme le bailleur de fonds l'exige.

Exemples concrets

Exemple 1 : enquête de situation de référence simple

• Population : 5 000 ménages bénéficiaires
• Indicateur : Proportion de ménages utilisant des sources d'eau améliorées
• Valeur de situation de référence attendue : Inconnue (utiliser 50 %)
• Confiance : 95 %, Marge d'erreur : 5 %
• Échantillonnage : Aléatoire simple (sans grappes)
• Résultat de la formule : 385 ménages
• Correction pour population finie : 385 / (1 + 384/5000) = 357 ménages
• Avec une marge de 15 % pour la non-réponse : 420 ménages

Exemple 2 : situation de référence avec échantillonnage en grappes

• Identique à l'exemple précédent, mais avec un échantillonnage de 25 villages, puis 20 ménages par village
• CIG : 0,10 (regroupement modéré)
• Effet de plan : 1 + (20-1) x 0,10 = 2,9
• Échantillon ajusté : 357 x 2,9 = 1 035 ménages
• Avec 15 % de non-réponse : 1 220 ménages
• Plan réel : 25 villages x 49 ménages chacun = 1 225 ménages

Notez comment l'échantillonnage en grappes multiplie presque par trois l'échantillon requis. Ce n'est pas un cas isolé. Si quelqu'un vous propose une taille d'échantillon de 400 pour une conception d'enquête avec échantillonnage en grappes dans 20 villages, demandez-lui de justifier son calcul de l'effet de plan.

Exemple 3 : évaluation finale avec désagrégation par genre

• Besoin : Comparer les hommes et les femmes sur 3 indicateurs clés
• Minimum par sous-groupe : 100 (pour une comparaison significative)
• Effet de plan : 2,0 (échantillonnage en grappes)
• Par sous-groupe après effet de plan : 200
• Total : 400 (200 hommes + 200 femmes)
• Avec 15 % de non-réponse : 470

Tailles d'échantillon pour la recherche qualitative

La recherche qualitative ne s'appuie pas sur des formules statistiques. Elle obéit plutôt à une logique de saturation : la collecte de données se poursuit jusqu'à ce que plus aucune nouvelle information ne soit recueillie.

Ces chiffres sont des recommandations, et non des règles strictes. Le nombre idéal dépendra de votre question de recherche, de la diversité de votre population et de la variabilité des informations recueillies. Cependant, n'utilisez pas la « saturation » comme prétexte pour interroger seulement 3 personnes et qualifier cela de recherche qualitative. Si vous n'avez pas recueilli de perspective véritablement nouvelle lors de 4 à 5 entretiens consécutifs, vous avez probablement atteint la saturation. Si chaque entretien vous apporte de nouvelles surprises, continuez.

Dans le cadre des approches à méthodes mixtes, votre échantillon qualitatif est généralement un sous-ensemble sélectionné de manière intentionnelle à partir de votre échantillon quantitatif. Privilégiez la diversité plutôt que la représentativité. La composante qualitative vise à expliquer le « pourquoi » des tendances quantitatives ; choisissez donc des participants qui représentent diverses expériences liées au programme. Consultez Comment choisir la méthodologie d'évaluation pour des conseils sur la pertinence des approches à méthodes mixtes.

Quand budget et exigences statistiques s'opposent

C'est le problème le plus fréquent sur le terrain. Vos calculs statistiques indiquent 1 200 ménages, mais votre budget n'en permet que 400.

Moyens légitimes pour réduire la taille de l'échantillon :

1. Accepter une marge d'erreur plus large. Passer de 5 % à 7 % réduit la taille de l'échantillon d'environ 50 %. Pour des décisions de gestion de programme (et non de recherche académique), 7 % est souvent acceptable.
2. Accepter un niveau de confiance de 90 % au lieu de 95 %. Cela réduit la taille de l'échantillon d'environ 25 %. Adapté à l'apprentissage interne, moins aux évaluations externes.
3. Réduire le nombre de sous-groupes. Si vous ne pouvez pas vous permettre une désagrégation par genre, ET par âge, ET par région, choisissez la plus importante. Soyez explicite sur ce à quoi vous renoncez.
4. Réduire la taille des grappes. Échantillonner 15 ménages par village au lieu de 25 diminue l'effet de plan, mais vous aurez besoin de plus de villages (et donc de frais de déplacement plus élevés). Il existe un équilibre optimal à trouver.
5. Recourir à l'échantillonnage stratifié. Si vous savez que certaines strates sont plus variables que d'autres, vous pouvez allouer plus de répondants aux strates variables et moins aux strates homogènes. Cela améliore la précision sans augmenter la taille totale de l'échantillon.

Ce qu'il ne faut PAS faire :

• Interroger moins de personnes en espérant que tout se passera bien (les études sous-dimensionnées gaspillent l'argent ; elles ne peuvent pas détecter de changements réels)
• Supprimer le groupe de comparaison (sans groupe de comparaison, vous ne pouvez pas attribuer le changement à votre programme)
• Ignorer l'échantillonnage en grappes dans votre analyse (cela gonfle artificiellement votre signification statistique et produit de faux positifs)
• Effectuer une « analyse de puissance a posteriori » pour justifier une étude sous-dimensionnée (c'est statistiquement invalide et les évaluateurs le signaleront)

La démarche honnête consiste à présenter au bailleur de fonds différentes options. Montrez quel niveau de précision vous pouvez atteindre à chaque niveau budgétaire.

Comment aborder le sujet avec votre bailleur de fonds

Lorsque la conversation sur la taille de l'échantillon arrive, abordez-la sous l'angle des compromis :

« Avec 400 ménages, nous pouvons mesurer le changement global de [l'indicateur] avec une précision de 7 %, et désagréger les résultats par sexe. Nous ne pourrons pas comparer de manière fiable les résultats entre les 5 districts. Si la comparaison au niveau des districts est essentielle, nous avons besoin de 800 ménages, ce qui nécessite un budget supplémentaire de 12 000 dollars pour la collecte des données. »

La plupart des bailleurs de fonds se montrent raisonnables lorsque vous présentez clairement les compromis, accompagnés de leurs implications budgétaires. Ce qu'ils n'acceptent pas, en revanche, c'est de découvrir à l'évaluation finale que l'échantillon était trop petit pour détecter le changement, sans avoir été prévenus en amont.

Trois principes à retenir pour cette conversation :

1. Commencez par ce qu'ils peuvent apprendre, pas par ce qu'ils ne pourront pas. « Avec cet échantillon, vous pourrez suivre avec confiance le changement global du programme et les différences entre les sexes » est plus efficace que « cet échantillon est trop petit pour des comparaisons entre districts ».
2. Associez un montant en dollars à chaque option. Les bailleurs de fonds raisonnent en termes de budget. « 400 ménages supplémentaires coûtent 12 000 dollars et permettent des comparaisons au niveau des districts » est un compromis concret qu'ils peuvent évaluer.
3. Documentez la décision. Consignez la justification de la taille de l'échantillon, les hypothèses et les compromis convenus dans le rapport de conception de la situation de référence. Lorsque quelqu'un vous demandera, à l'évaluation finale, pourquoi vous n'avez interrogé que 400 ménages, vous disposerez d'une trace écrite.

Utilisez le Calculateur d'échantillonnage pour modéliser différents scénarios avant la conversation. Présentez 2 ou 3 options à différents niveaux budgétaires afin que le bailleur de fonds puisse choisir plutôt que contester.

Erreurs courantes à éviter

1. Un échantillon insuffisant pour la désagrégation

Vous calculez un échantillon global de 385, puis tentez de le ventiler par genre, groupe d'âge et région. Chaque cellule se retrouve alors avec seulement 30 à 40 répondants, ce qui est insuffisant pour des comparaisons fiables. Solution : Définissez d'abord vos exigences de désagrégation, puis dimensionnez chaque sous-groupe de manière indépendante.

2. Négliger la non-réponse

Toutes les personnes que vous avez l'intention d'interroger ne seront pas disponibles. Certaines refuseront de participer, d'autres seront absentes, et certaines adresses pourraient être incorrectes. Si vous prévoyez exactement 385 répondants et que vous subissez un taux de non-réponse de 15 %, vous vous retrouverez avec seulement 327 enquêtes complétées, rendant votre étude sous-dimensionnée. Prévoyez toujours une marge de 15 à 20 %.

3. L'échantillonnage de commodité déguisé en aléatoire

Interroger « quiconque se trouve à l'établissement de santé ce jour-là » ou « les 20 premiers ménages rencontrés près de la route » ne constitue pas un échantillonnage aléatoire, quelle que soit la description de votre section méthodologique. Les échantillons de commodité ne permettent pas de soutenir l'inférence statistique, quelle que soit leur taille. Un échantillon de 300 correctement randomisé est bien plus crédible qu'un échantillon de 3 000 basé sur la commodité.

4. Absence de base de sondage

Il est impossible de réaliser un échantillonnage aléatoire sans une base de sondage, c'est-à-dire une liste exhaustive à partir de laquelle sélectionner les répondants. Si vous ne disposez pas d'un registre des bénéficiaires, d'une liste de ménages ou d'un recensement, votre première étape doit être de construire cette base. Ignorer cette étape signifie que vous ne réalisez pas un véritable échantillonnage aléatoire, même si vous en avez l'impression. Prévoyez du temps et des ressources pour les activités de listage avant de commencer la collecte de données.

5. Oubli de la correction pour population finie

Si votre programme cible 500 ménages et que vous calculez un échantillon de 385 (en omettant la correction), vous prévoyez d'interroger 77 % de la population. En appliquant la correction pour population finie, vous n'aurez besoin que de 217 répondants. Pour les populations de petite taille, cette correction a un impact significatif sur les coûts et les efforts.

6. Ignorer l'échantillonnage en grappes lors de l'analyse

C'est l'erreur la plus périlleuse. Vous échantillonnez 30 villages, 15 ménages par village, et analysez les données comme si vous disposiez de 450 observations indépendantes. Or, ce n'est pas le cas : vous avez 30 grappes. Ignorer cette réalité gonfle artificiellement votre signification statistique et peut conduire à de faux positifs. Si vous avez utilisé l'échantillonnage en grappes lors de la collecte des données, vous devez impérativement en tenir compte dans l'analyse. Utilisez des commandes d'enquête (svy dans Stata, le package survey dans R) ou des modèles multiniveaux.