Errores frecuentes de muestreo en M&E: cómo evitarlos

Marco de muestreo deficiente o incompleto

El marco de muestreo es el listado o el universo del cual se extrae la muestra. Si este marco es incompleto o impreciso, su muestra heredará esos errores. Ninguna precisión estadística podrá corregir un marco deficiente.

Los tres problemas más frecuentes relacionados con el marco de muestreo en encuestas de M&E en campo son:

Registros desactualizados: Un registro de beneficiarios con 18 meses de antigüedad excluye a quienes se han incorporado al programa desde entonces e incluye a personas que ya no participan, se han mudado o han fallecido. Cuanto más antiguo sea el listado, mayor será la tasa de exclusión. En programas con alta movilidad poblacional (comunidades desplazadas, asentamientos urbanos informales, programas de trabajo estacional), un listado de más de 6 meses puede estar muy desactualizado.

Cobertura geográfica incompleta: Un registro de hogares que cubre los distritos centrales del programa pero no los remotos produce una muestra que subrepresenta sistemáticamente a las personas con menos probabilidades de reportar resultados positivos. Esto genera un sesgo de cobertura que tiende a inflar los resultados de desempeño.

Unidad de selección incorrecta: Si su población objetivo son todos los hogares en un área de influencia, pero su marco es una lista de asistencia a un centro de salud, está omitiendo a todas las personas que no utilizan el centro. Las dos poblaciones pueden ser muy diferentes.

Antes de extraer la muestra, verifique tres aspectos clave de su marco: su fecha de última actualización, si cubre la totalidad de la población objetivo o solo un subconjunto, y si la unidad de selección coincide con la unidad de análisis. Si no existe un marco completo, el muestreo por conglomerados es la alternativa práctica. Consulte muestreo por conglomerados vs. estratificado para saber cuándo cambiar de método.

Ignorar el efecto de diseño y la tasa de no respuesta

Dos errores de cálculo comunes resultan en tamaños de muestra insuficientes para detectar los cambios que su programa busca generar.

Efecto de diseño: Si utiliza muestreo por conglomerados en campo y calcula el tamaño de su muestra como si estuviera utilizando muestreo aleatorio simple, terminará con una potencia insuficiente. Los individuos dentro de un mismo conglomerado suelen ser más similares entre sí que los individuos seleccionados aleatoriamente, lo que implica que cada entrevista dentro del conglomerado aporta menos información que una entrevista verdaderamente independiente. El factor del efecto de diseño (generalmente entre 1.5 y 2.0 para encuestas de hogares en contextos de desarrollo) corrige esta situación. Si el MAS requiere 300 entrevistas completadas y su efecto de diseño es 1.8, necesitará 540 entrevistas, no 300. Consulte muestreo por conglomerados para conocer las fórmulas del efecto de diseño y los valores típicos por contexto.

Margen por no respuesta: La no respuesta en las encuestas es un factor predecible. Puede deberse a hogares ausentes, rechazo del jefe de hogar o entrevistas incompletas. Si calcula una 'n' requerida de 400 y su tasa de no respuesta es del 15%, solo completará 340 entrevistas. Si 340 cumple con sus requisitos de precisión depende del cálculo, pero no lo sabrá hasta que sea demasiado tarde para hacer algo al respecto. Añada un margen del 10-20% a su tamaño de muestra calculado para compensar la deserción antes de finalizar su plan de campo.

Ambos errores son completamente prevenibles en la etapa de diseño. Son costosos de corregir durante el trabajo de campo y, a menudo, imposibles de solucionar una vez completada la recopilación de datos.

Fallos en la ejecución en campo

Tres errores comunes en la fase de campo explican la mayoría de los problemas de integridad del muestreo en los programas de M&E.

Sustitución de unidades sin un protocolo documentado: Cuando una unidad de muestreo seleccionada no está disponible, los encuestadores necesitan instrucciones escritas explícitas sobre cómo proceder. Sin un protocolo claro, recurren al sustituto más conveniente, lo cual no es una sustitución aleatoria; es un muestreo por conveniencia disfrazado de aleatorio. Establezca una regla de sustitución antes del trabajo de campo: por ejemplo, intente una visita de seguimiento antes de sustituir, y si es necesario sustituir, seleccione la siguiente unidad en la lista sistemática y documente la razón. Cualquiera que sea la regla, debe estar documentada y los equipos deben ser capacitados en ella antes de salir al campo.

Muestreo por conveniencia presentado como aleatorio: Los encuestadores, bajo presión de tiempo o con rutas de acceso complicadas, tienden a encuestar hogares cercanos a la carretera, donde las personas son visiblemente accesibles o donde el encuestado muestra una disposición inmediata. La muestra resultante estará sesgada de formas imposibles de cuantificar a posteriori. El seguimiento por GPS de las ubicaciones de las entrevistas y la supervisión puntual durante el trabajo de campo son los controles principales.

Falta de documentación del proceso de selección: La lógica de selección debe estar documentada: el marco de muestreo empleado, el intervalo de salto o los números aleatorios aplicados, quién realizó la selección, cómo se gestionaron las negativas y ausencias, y cómo se llevaron a cabo las sustituciones. Sin este registro, ningún revisor externo podrá verificar que la muestra fue seleccionada según lo descrito. Esta documentación, que toma menos de una hora en producirse, protege meses de inversión en la recopilación de datos. También es la diferencia entre una metodología que puede replicarse al final y una que no.

Errores en el análisis y la presentación de informes

Dos errores en la fase de análisis se repiten con frecuencia en las evaluaciones del sector de desarrollo.

Analizar datos de muestreo por conglomerados como si fueran de muestreo aleatorio simple: Este es el error estadístico más frecuente en las evaluaciones de programas. Cuando se utiliza muestreo por conglomerados en campo, pero se aplican pruebas estadísticas estándar asumiendo un muestreo aleatorio simple, se subestiman los errores estándar de las estimaciones. Los intervalos de confianza resultan ser demasiado estrechos, lo que implica una confianza en los resultados superior a la que la estructura de los datos realmente permite. La corrección exige especificar el diseño de conglomerados en su análisis estadístico; los comandos para la estimación ponderada por encuesta están disponibles en R, Stata, Python (paquete survey) y SPSS. Esto requiere una sola línea de código si el plan de análisis se ha redactado correctamente antes del trabajo de campo. Consulte cómo elegir el tamaño de la muestra para conocer las especificaciones de diseño que se incorporan correctamente al análisis.

Sobreestimación de la capacidad de generalización: Su muestra representa la población de la que fue extraída, limitada por el alcance geográfico, el período de tiempo y el marco de muestreo utilizado. Una encuesta de beneficiarios realizada en 3 de 12 distritos de un programa no puede generar hallazgos generalizables a los 12 distritos, a menos que se demuestre que los 3 son representativos del total, lo cual exige evidencia adicional más allá de la propia encuesta. Delimite explícitamente sus conclusiones: por ejemplo, use "entre los beneficiarios en los tres distritos de estudio durante el período de monitoreo" en lugar de "entre todos los beneficiarios del programa". Los revisores y evaluadores externos objetarán la sobreestimación, y corregirla después de la publicación del informe resulta un proceso arduo.

Ejemplos por sector

Salud: Marco de muestreo desactualizado en África Oriental

Un programa distrital de vacunación realizó una encuesta de cobertura utilizando un registro de hogares cuya última actualización databa de 22 meses atrás. Los equipos de campo encontraron que el 18% de los hogares seleccionados se habían reubicado o disuelto desde la compilación del registro. Los sustitutos se seleccionaron por proximidad, no por un protocolo documentado. La estimación de cobertura del 71% no pudo defenderse en la evaluación externa: la combinación de un marco erróneo y una sustitución indocumentada introdujo un sesgo inmedible. El evaluador externo recomendó repetir la encuesta con un marco actualizado y un protocolo de sustitución. Esto implicó un costo tres veces superior al de la encuesta original.

WASH: cálculo erróneo del efecto de diseño en África Occidental

Un programa WASH diseñó una encuesta de hogares con una 'n' calculada de 280 entrevistas, basándose en supuestos de muestreo aleatorio simple. La recopilación de datos utilizó muestreo por conglomerados en 14 aldeas. El efecto de diseño en contextos similares es de 1.8. El tamaño efectivo de la muestra fue de 156 entrevistas, no 280. El margen de error resultante fue de ±14 puntos porcentuales con un 95% de confianza, muy por encima de la precisión de 8 puntos que el programa requería para detectar su mejora objetivo. La encuesta careció de potencia estadística suficiente y no pudo confirmar si se cumplió el objetivo de cobertura de puntos de agua del programa. Un cálculo del efecto de diseño previo al trabajo de campo habría detectado esta deficiencia antes de contratar a un solo encuestador.

Educación: sobreestimación en muestreo intencional en el Sur de Asia

Un programa de mejora escolar estudió 8 escuelas de alto rendimiento y 8 de bajo rendimiento, seleccionadas intencionalmente. Posteriormente, informó que "a nivel nacional, los estudiantes en escuelas con buenos recursos tienen un 40% más de acceso a libros de texto". La muestra intencional solo permite una comparación dentro del estudio entre las 16 escuelas seleccionadas; no puede respaldar una generalización a nivel nacional. El hallazgo era robusto; la generalización informada, no. Un simple cambio de frase ("entre las 16 escuelas estudiadas") habría preservado el hallazgo y evitado la objeción del revisor.

Medios de vida: error de análisis en África Meridional

Un programa de medios de vida realizó una encuesta de satisfacción de beneficiarios empleando muestreo por conglomerados en 12 grupos comunitarios. El equipo de análisis utilizó una prueba de chi-cuadrado estándar sin especificar el diseño de conglomerados. Los valores 'p' resultantes fueron sistemáticamente demasiado pequeños, lo que llevó al equipo a reportar diferencias estadísticamente significativas entre subgrupos que, en realidad, no lo eran una vez considerada la estructura de conglomerados. El reanálisis, efectuado 3 semanas después de que el informe fuera compartido con el donante, revirtió dos de los cinco hallazgos principales.

Errores frecuentes

Error 1: utilizar un marco de muestreo desactualizado o incompleto. El marco es el listado del cual se extrae la muestra. Si tiene 18 meses de antigüedad o cubre solo un subconjunto de su población objetivo (como asistentes a instalaciones o miembros registrados), su muestra heredará esas exclusiones. Las personas excluidas suelen ser las más difíciles de alcanzar y las menos propensas a reportar resultados positivos. Actualice y verifique el marco antes de extraer su muestra.

Error 2: ignorar el efecto de diseño en el muestreo por conglomerados. Si calculó el tamaño de su muestra para un muestreo aleatorio simple, pero está ejecutando un muestreo por conglomerados en campo, sus intervalos de confianza serán demasiado amplios y su muestra, demasiado pequeña. Aplique el multiplicador del efecto de diseño (generalmente 1.5-2.0) a su 'n' requerida antes del trabajo de campo. Omitir este paso es la razón más común por la que las encuestas de hogares no logran confirmar si se cumplieron los objetivos del programa.

Error 3: falta de protocolo de sustitución para unidades ausentes. Cuando una unidad de muestreo seleccionada no está disponible, los encuestadores necesitan reglas escritas sobre cómo proceder. Sin un protocolo, la sustitución se realiza por conveniencia. Esto no es aleatorio; es un sesgo de selección con una etiqueta de aleatoriedad. Redacte la regla de sustitución antes de iniciar el trabajo de campo, capacite explícitamente a los encuestadores sobre ella y documente cada sustitución realizada durante la recopilación de datos.

Error 4: analizar datos de conglomerados como si fueran de muestreo aleatorio simple. El uso de pruebas estadísticas estándar en datos de muestreo por conglomerados produce intervalos de confianza excesivamente estrechos. Se está afirmando una precisión mayor de la que la estructura de los datos realmente soporta. Especifique el diseño de la encuesta en su software de análisis antes de ejecutar cualquier prueba. Esto requiere una línea de código y evita que los hallazgos sean cuestionados por motivos metodológicos.

Error 5: generalizar más allá del alcance real de la muestra. Su muestra representa la población de la que fue extraída: los distritos encuestados, el período de tiempo cubierto y los beneficiarios incluidos en el marco. Informar hallazgos como aplicables a todos los beneficiarios del programa cuando solo se encuestaron 3 de 12 distritos sobreestima lo que los datos pueden respaldar. Delimite explícitamente sus conclusiones en el informe.

Lista de verificación de muestreo: antes del trabajo de campo

Revise esta lista antes de comprometerse con su presupuesto de recopilación de datos y cronograma de campo. Cada elemento que no pueda marcar representa un riesgo significativo para la calidad de sus datos.

Marco de muestreo:

• El marco cubre la totalidad de la población objetivo, no solo un subconjunto (como asistentes a instalaciones, miembros registrados, etc.)
• El marco se actualizó en los últimos 12 meses (o se verificó su vigencia)
• La unidad de selección en el marco coincide con la unidad de análisis de su indicador

Tamaño de la muestra:

• Efecto de diseño aplicado si se utiliza muestreo por conglomerados (valor típico 1.5-2.0; mayor en poblaciones heterogéneas)
• Margen por no respuesta incluido (10-20% según el contexto y la accesibilidad de la población)
• Tamaños de muestra de subgrupos verificados si las comparaciones entre subgrupos son un requisito del informe

Protocolo de campo:

• Protocolo de sustitución documentado por escrito (cuándo sustituir, cómo seleccionar el reemplazo)
• Encuestadores capacitados en las reglas de muestreo, no solo en la administración del cuestionario
• Seguimiento por GPS o verificación de ubicación planificado para auditar la cobertura y detectar sesgos por conveniencia

Preparación para el análisis:

• El plan de análisis especifica la estimación ponderada por encuesta si se utiliza muestreo por conglomerados
• Margen de error y nivel de confianza acordados con la gerencia del programa y las partes interesadas antes del trabajo de campo
• Alcance de la generalizabilidad definido por escrito (qué población, qué geografía, qué período de tiempo)
• Un revisor externo o asesor de M&E ha revisado el plan de muestreo antes de que comience el trabajo de campo

Para calcular el tamaño de la muestra con efecto de diseño y ajuste por no respuesta, utilice la Calculadora de Muestreo. Para una decisión más amplia sobre el método de muestreo, comience con muestreo probabilístico vs. no probabilístico. Para entender cómo el muestreo se integra en la planificación del diseño de línea de base, consulte diseño de línea de base.