Las 5 dimensiones clave de la calidad de datos en M&E

Validez: medir lo correcto

La validez se refiere a si su indicador realmente capta el concepto que usted pretende medir. Es, fundamentalmente, un aspecto del diseño de indicadores que se aborda en la etapa de planificación del MEL. Sin embargo, pueden surgir fallas durante el trabajo de campo si los encuestadores interpretan los indicadores de forma distinta a como fueron concebidos.

Tres patrones de fallas de validez comunes:

Desajuste entre constructo y medición. El indicador se etiqueta para medir el concepto X, pero en la práctica operacional mide el concepto Y. Por ejemplo, si un indicador busca medir el "Porcentaje de mujeres empoderadas", este es el constructo. Sin embargo, si la medición operacional se limita al "número de mujeres que asisten a una sesión de medios de vida", lo que realmente se mide es la participación, no el empoderamiento. Aunque los datos se recopilen correctamente, no representan de forma válida el constructo previsto.

Falla de proxy. El indicador emplea una medida proxy, es decir, un sustituto más sencillo de medir para un concepto más complejo. Los proxies son aceptables cuando existe una fuerte correlación con el constructo objetivo. Sin embargo, fallan cuando esta correlación es débil o cuando el proxy varía por razones ajenas al constructo objetivo. Por ejemplo, utilizar los ingresos del hogar como proxy de la seguridad alimentaria es menos robusto que las mediciones directas del consumo de alimentos; aunque el uso de los ingresos del hogar puede generar datos válidos sobre ingresos, no produce datos válidos sobre seguridad alimentaria.

Error de traducción cultural o lingüística. Las definiciones de indicadores formuladas originalmente en inglés y luego traducidas para su uso en campo pueden perder su significado esencial. Por ejemplo, el término "hogar" en un idioma puede referirse a una unidad familiar nuclear, mientras que en otro puede aludir a un complejo familiar extenso y relacionado. Un indicador válido en inglés puede volverse inválido en suajili o bengalí si la traducción no se valida adecuadamente en el contexto de campo.

La validez se verifica principalmente mediante la revisión de indicadores durante la fase de diseño. Para evaluar la alineación entre el constructo y la medición, utilice la lista de verificación detallada de indicadores SMART. En contextos de campo, es recomendable realizar una prueba cognitiva previa con 5 a 10 encuestados en el idioma local: pídales que expliquen qué entienden por la pregunta. Si su interpretación difiere de la especificación del indicador, la validez se ve comprometida.

Fiabilidad: medirlo consistentemente

La fiabilidad se cuestiona si la recopilación de datos dos veces bajo las mismas condiciones produciría resultados idénticos. Es, en esencia, un problema de ejecución que se aborda mediante la capacitación y supervisión del personal de campo, y tiende a deteriorarse continuamente a lo largo de la vida de un programa.

Tres patrones de fallas de fiabilidad comunes:

Desviación del encuestador. Al inicio de la capacitación, todos los encuestadores aplican las mismas definiciones. Sin embargo, tres meses después, cada uno puede haber desarrollado pequeños atajos interpretativos. Por ejemplo, si la "lactancia materna exclusiva" se define en la capacitación como sin incluir agua, pero un encuestador permite el agua asumiendo que el encuestado lo recordó mal, el mismo indicador producirá datos diferentes entre encuestadores. Esta desviación es predecible y se detecta mediante reentrenamientos periódicos y verificaciones puntuales ciegas; no se previene de forma definitiva con una única capacitación.

Inconsistencia del protocolo. Dos supervisores pueden interpretar la misma lógica de salto de forma diferente. Por ejemplo, uno podría considerar una no respuesta a la pregunta de filtro 1 como elegible para la encuesta con preguntas de seguimiento, mientras que el otro la trataría como no elegible y finalizaría la entrevista. Esto lleva a que los dos equipos produzcan conjuntos de datos estructuralmente distintos. La inconsistencia del protocolo se detecta durante la supervisión, a través de pruebas de escenarios deliberadas en las reuniones semanales del equipo.

Confusión definicional a nivel del encuestado. Aunque el indicador sea fiable entre encuestadores, la fiabilidad puede fallar en la interacción entre el encuestador y el encuestado. Por ejemplo, la pregunta "¿Ha utilizado este método en los últimos 30 días?" puede generar respuestas distintas según si el encuestado interpreta "utilizado" como iniciado, completado, practicado una vez o practicado consistentemente. La definición a nivel de campo debe operacionalizarse claramente en la redacción de la pregunta, sin dejarla a la interpretación del encuestado.

Los problemas de fiabilidad son difíciles de detectar en el conjunto de datos final si no se implementan controles específicos. El control principal es el acuerdo entre evaluadores: periódicamente, se debe encargar a dos encuestadores que entrevisten al mismo hogar de forma independiente, comparen las respuestas y midan la tasa de acuerdo. Un acuerdo inferior al 85% para preguntas cerradas es un indicio de un problema de fiabilidad. Para conocer los métodos de cálculo del acuerdo, consulte la entrada de referencia sobre fiabilidad.

Oportunidad: datos cuando las decisiones los necesitan

La oportunidad se refiere a si los datos están disponibles en el momento adecuado para informar las decisiones que deben respaldar. Es, fundamentalmente, un problema de programación y de los sistemas de reporte, y es la dimensión que con mayor frecuencia falla en la práctica de M&E.

Tres patrones de fallas de oportunidad comunes:

Retraso en los informes. Los datos recopilados en marzo, por ejemplo, están disponibles para análisis en mayo y llegan al comité directivo en julio. Para entonces, el ciclo de decisión trimestral que esos datos debían informar ya ha concluido. Aunque los datos sean correctos, resultan inútiles para su propósito. El retraso en los informes se detecta mapeando cada indicador a su ciclo de decisión específico y trabajando de forma retrospectiva para establecer las fechas de recopilación y análisis necesarias.

Retraso en la recopilación. La encuesta está programada para el Mes 6, pero el trabajo de campo no se inicia hasta el Mes 8 debido a retrasos en la contratación de encuestadores. Como resultado, los datos de línea de base que debían informar la programación del Año 1 llegan a mitad de ese mismo año. Aunque los datos son utilizables para la comparación final, no pueden informar las decisiones de programación para las que fueron originalmente concebidos.

Desalineación de ciclos. Una encuesta anual está programada para septiembre en un programa que celebra reuniones de decisión trimestrales. Los datos de septiembre son recientes para la reunión de octubre, pero resultan obsoletos para la reunión de julio del año siguiente. Esto indica que la frecuencia de la encuesta es inadecuada o que la estructura de decisión es incorrecta; en cualquier caso, ambas no están alineadas.

La oportunidad falla con mayor frecuencia de lo que los equipos suelen percibir, ya que el retraso en los informes es acumulativo: un retraso de 2 semanas en el trabajo de campo se transforma en 4 semanas en la entrada de datos, luego en 6 semanas en el análisis y, finalmente, en 8 semanas para la difusión. Aunque cada paso puede tener una razón legítima para su demora, el retraso acumulado hace que los datos sean inutilizables. Para detectar problemas de oportunidad, es crucial rastrear todo el proceso de datos, no solo la fase de recopilación.

Precisión: suficiente detalle para actuar

La precisión se refiere a si los datos poseen el nivel de detalle y exactitud suficiente para distinguir las diferencias relevantes. Es, en parte, un problema de tamaño de muestra (que afecta la precisión de la estimación), en parte un problema de desagregación (que afecta la precisión del desglose) y, en parte, un problema de exactitud en la medición (que afecta la precisión del instrumento).

Tres patrones de fallas de precisión comunes:

Tamaño de muestra insuficiente para comparaciones de subgrupos. Una muestra general de 400 individuos puede ser precisa con un margen de error de ±5 puntos. Sin embargo, al desagregarla por sexo, cada subgrupo (n=200) tendrá un margen de error de ±7 puntos. Si se desagregada aún más por sexo y grupo de edad, cada celda (n=50) resultará en un margen de error de ±14 puntos. En este escenario, las comparaciones de subgrupos que motivaron el diseño analítico no podrán realizarse con la confianza estadística necesaria. Para la planificación del tamaño de la muestra, consulte errores comunes de muestreo.

Desajuste del nivel de agregación. Los datos se reportan a nivel nacional o regional, pero la toma de decisiones requiere información a nivel de distrito o instalación. Una estimación de cobertura del 72% a nivel nacional no proporciona al programa la orientación necesaria para enfocar sus actividades de divulgación; en cambio, un desglose por distrito que muestre un rango del 40% al 91% sí lo hace. Las fallas de precisión a este nivel exigen una muestra de mayor tamaño o un diseño de muestreo estratificado que se ajuste al nivel de decisión.

Imprecisión a nivel de instrumento. La herramienta de medición no logra distinguir valores que son relevantes. Por ejemplo, una pregunta de filtro que solo permite una respuesta "sí/no" sobre seguridad alimentaria, cuando la Teoría del Cambio del programa exige diferenciar entre "gravemente inseguro alimentario", "moderadamente", "levemente" y "seguro alimentario", no puede informar adecuadamente las preguntas de diseño. La precisión a nivel de instrumento requiere una revisión del cuestionario o de la especificación del indicador.

La precisión se detecta mediante la revisión del diseño: para cada indicador, es fundamental identificar la diferencia significativa más pequeña que el programa necesita detectar y verificar que tanto la muestra como el instrumento sean capaces de detectarla. Esto rara vez se realiza de forma explícita en la fase de diseño; las fallas de precisión suelen manifestarse durante el análisis, cuando el equipo se percata de que los datos no pueden responder a la pregunta planteada.

Integridad: protección contra sesgos y manipulación

La integridad se refiere a si los datos están protegidos contra distorsiones deliberadas, como la inflación para cumplir objetivos, la omisión de hallazgos incómodos o las ediciones no documentadas de registros. Es, fundamentalmente, un problema de gobernanza y de registro de auditoría, poco frecuente pero de graves consecuencias cuando falla.

Tres patrones de fallas de integridad comunes:

Distorsión de informes impulsada por objetivos. El equipo de campo puede estar bajo presión para reportar cifras que demuestren el éxito del programa. Por ejemplo, a los encuestadores que registran un "no" se les puede pedir que vuelvan a verificar con el encuestado, o a los operadores de entrada de datos con valores marcados se les puede indicar que los "aclaren". Esta presión rara vez es explícita, sino que está implícita en la estructura de incentivos y revisiones. Los controles de integridad en este caso incluyen la entrada de datos ciega (donde los operadores de entrada no saben qué valores serán revisados), la auditoría automatizada de los cambios de registro y un protocolo permanente que estipula que nadie por debajo del líder de M&E puede modificar un valor ya enviado.

Falta de registro de auditoría. Los datos se limpian, fusionan y analizan, pero la secuencia de ediciones no queda registrada. Cuando un revisor pregunta por qué se modificó un valor, nadie puede ofrecer una explicación. Las plataformas digitales que incluyen un historial de edición (consulte recopilación de datos en papel vs digital) previenen la mayoría de las fallas de registro de auditoría; los sistemas basados en papel, por su parte, requieren registros de cambios paralelos.

Informes selectivos. Los datos se recopilan de forma honesta, pero solo se divulgan los hallazgos favorables. Aunque el conjunto de datos contiene la imagen completa, el resumen solo presenta el subconjunto que respalda la narrativa del programa. La integridad en este punto es un problema de gobernanza: ¿el programa se compromete a publicar el informe completo de la DQA, incluyendo los hallazgos negativos, o lo somete a un proceso de filtrado mediante una revisión interna?

Las fallas de integridad rara vez se detectan en una DQA rutinaria. Si bien una DQA estándar evalúa de forma fiable las dimensiones 1 a 4, la verificación de la integridad exige protocolos específicos: auditorías aleatorias de registros, canales de denuncia y la revisión de hallazgos negativos por parte de terceros. Para conocer los controles a nivel de gobernanza, consulte aseguramiento de la calidad de los datos.

Ejemplos por sector

Salud: desviación de la fiabilidad en una encuesta de cobertura de vacunación en África Oriental

Un programa de salud llevó a cabo encuestas trimestrales de cobertura de vacunación con cuatro equipos de dos encuestadores cada uno. La capacitación de la Ronda 1 fue exhaustiva, logrando un acuerdo entre evaluadores del 92%. Sin embargo, para la Ronda 3, dos encuestadores habían rotado y sido reemplazados sin una recapacitación completa del equipo. Además, los líderes de equipo habían comenzado a aceptar "tarjeta no vista pero recitada por el cuidador" como vacunación verificada (cuando el protocolo original exigía la visualización de la tarjeta). Como resultado, el acuerdo cayó al 76%. La estimación de cobertura se desvió al alza en 11 puntos porcentuales a lo largo de tres rondas, no por una mejora real en la cobertura, sino por el deterioro de la fiabilidad. Una recapacitación en la Ronda 4 restauró el protocolo original y el acuerdo volvió a subir al 88%, pero la serie de cobertura reportada ya no era internamente comparable.

WASH: falla de oportunidad en un programa de acceso a agua segura, África Occidental

Un programa diseñó una encuesta de hogares con el fin de informar las revisiones trimestrales de gestión adaptativa. El trabajo de campo en el Mes 3 se extendió por 4 semanas; la entrada de datos tomó 3 semanas; y el análisis y la revisión, 2 semanas. Los resultados se presentaron en la reunión de revisión del Mes 6, es decir, con un ciclo de retraso. Para ese momento, el programa ya había avanzado en su implementación. Después de tres rondas, el patrón se consolidó: los datos siempre llegaban un ciclo tarde. El programa optó por una evaluación mensual más pequeña y focalizada, y trasladó la encuesta completa a una frecuencia semestral. Así, la oportunidad fue restaurada.

Educación: falla de precisión en un estudio de resultados de aprendizaje, Asia Meridional

Un programa solicitó una evaluación de resultados de aprendizaje con la intención de desagregar los resultados por grado, género y tipo de escuela (pública vs. privada subvencionada). El estudio abarcó a 800 estudiantes. Al desagregar los datos de estas tres maneras, cada celda contenía entre 30 y 50 estudiantes, lo que generó márgenes de error excesivamente amplios para probar hipótesis de forma significativa. Aunque el resultado principal (puntuaciones generales de aprendizaje) fue preciso, el análisis de subgrupos que el programa realmente necesitaba para sus decisiones de diseño no lo fue. Un estudio de seguimiento con una muestra estratificada, diseñada específicamente para la desagregación de tres vías, tuvo un costo 2.3 veces superior al original y tardó 4 meses en completarse.

Medios de vida: falla de integridad en el seguimiento post-capacitación, África Meridional

Un programa de medios de vida monitoreó el empleo post-capacitación basándose en el autoinforme de los capacitadores, cuyo desempeño se evaluaba, en parte, por las tasas de colocación. Durante dos años, el empleo reportado ascendió del 54% al 83%. Sin embargo, un recontacto externo con exalumnos reveló que la tasa real era del 52%. Los capacitadores, bajo presión para mostrar progreso, habían registrado trabajos a tiempo parcial o informales como empleo. El programa implementó una verificación por terceros mediante una encuesta telefónica aleatoria del 10% y rediseñó la métrica del capacitador para eliminar este punto de presión.

Seguridad alimentaria: falla de validez en la medición del consumo, sahel

Un programa de seguridad alimentaria empleó "comidas consumidas por día" como indicador de mejora. Sin embargo, en el contexto pastoralista, esta métrica carecía de validez: las dietas tradicionales suelen incluir solo 2 comidas al día, incluso en períodos de seguridad alimentaria, por lo que un aumento no se correlacionaba con una mejora en la seguridad alimentaria. El indicador medía un cambio en la norma cultural, no el constructo previsto. La reespecificación a la Escala de Hambre del Hogar (HHS) resolvió el problema y generó datos comparables entre diferentes contextos.

Errores comunes

Error 1: tratar la DQA como una auditoría única. La calidad de los datos se deteriora de forma continua: se producen desviaciones del encuestador, deslizamientos del protocolo, retrasos en los informes y presiones sobre la integridad. Una DQA realizada en la línea de base solo certifica el estado del sistema en ese momento, no de forma permanente. Los ciclos de DQA trimestrales o semestrales son cruciales para detectar estas desviaciones antes de que se agraven.

Error 2: confundir fiabilidad con validez. La recopilación fiable de datos de un indicador inválido resulta en información consistentemente incorrecta. La validez se establece durante la etapa de especificación del indicador, mientras que la fiabilidad se asegura en la ejecución a nivel de campo. Ambas son indispensables.

Error 3: ignorar la precisión hasta el análisis. El tamaño de la muestra y los niveles de desagregación deben definirse en la etapa de diseño. Descubrir durante el análisis que la muestra no es suficiente para respaldar la comparación de subgrupos prevista es demasiado tarde para corregir sin la necesidad de un segundo estudio.

Error 4: asumir la oportunidad como "los datos estarán listos pronto". Sin plazos específicos para la recopilación, entrada, análisis e informes, la oportunidad falla por defecto. Cada paso requiere un responsable asignado y una fecha definida en el calendario.

Error 5: no proteger los puntos de presión de la integridad. La integridad se ve comprometida cuando la estructura genera presión: personal cuyo desempeño se evalúa en función de los datos que reporta, o equipos cuya financiación depende del logro de objetivos. Estos puntos de presión requieren controles explícitos (entrada ciega, auditoría, verificación por terceros), y no deben depender únicamente de la ética individual.

Error 6: realizar una DQA sin una línea de base con la que comparar. Una DQA que concluye "calidad aceptable" sin un estándar de calidad previo o una evaluación anterior carece de un punto de referencia válido. Es fundamental establecer un estándar de calidad en el Año 1 y comparar las DQA posteriores con este.

Autoevaluación de cinco dimensiones

Revise esta lista para cada indicador prioritario en su plan MEL. Cualquier respuesta "no" señala un riesgo de calidad específico.

Validez:

• Se ha verificado la correspondencia entre el constructo y la medición del indicador (mediante entrevistas cognitivas, revisión de expertos o replicación de estudios previos)
• Las traducciones se han validado en campo en cada idioma y contexto de uso
• Los proxies (cuando se emplean) tienen una correlación documentada con el constructo objetivo

Fiabilidad:

• La capacitación de los encuestadores aborda casos límite interpretativos, no solo el uso del instrumento
• Se ha medido el acuerdo entre evaluadores en al menos una ronda (meta: 85% o superior)
• Se programa una recapacitación después de cada 2-3 rondas de trabajo de campo o ante una rotación significativa de personal

Oportunidad:

• Se ha definido el ciclo de decisión al que contribuye el indicador, con sus respectivos plazos
• El proceso de datos está mapeado desde la recopilación hasta la difusión, con fechas claras para cada paso
• La frecuencia de recopilación es coherente con la frecuencia de decisión

Precisión:

• Se ha definido la diferencia significativa más pequeña que el programa necesita detectar
• El tamaño de la muestra se ha calculado para esa diferencia (aplicando efecto de diseño y margen para no respuesta)
• La desagregación se planifica de antemano con tamaños de muestra que permitan las comparaciones

Integridad:

• Se han identificado los puntos de presión (informes vinculados al desempeño, incentivos basados en objetivos)
• Existen registros de auditoría para todos los cambios de registro (ya sea en plataformas digitales o mediante registros en papel paralelos)
• Se incluye un ciclo de verificación por terceros o mediante muestreo aleatorio en el cronograma de la DQA

Para profundizar en el proceso de DQA, consulte cómo realizar una DQA. Para una comprensión más amplia del marco, consulte aseguramiento de la calidad de los datos, validez y fiabilidad.