Calidad de Datos en M&E
La calidad de datos en monitoreo y evaluación (M&E) implica que los datos recopilados son suficientemente precisos, completos y oportunos para respaldar las decisiones que su programa necesita tomar. No se trata de datos perfectos, sino de datos apropiados para el fin previsto.
¿Qué es la calidad de datos en M&E?
Esta distinción es crucial, ya que el enfoque tradicional de la calidad de datos —una limpieza exhaustiva de cada punto de datos— consume recursos de M&E que podrían tener un mayor impacto en otras áreas. Muchos programas dedican semanas a depurar datos que nadie utiliza para ninguna decisión, mientras que los indicadores que realmente impulsan la asignación de recursos y los ajustes del programa no reciben un escrutinio especial.
¿Qué es una Evaluación de Calidad de Datos (DQA)?
Una DQA es una revisión sistemática para determinar si sus datos cumplen con los estándares de calidad requeridos para su uso previsto. La mayoría de los donantes exigen al menos una DQA formal por ciclo de proyecto. USAID, FCDO y el Banco Mundial tienen requisitos de DQA integrados en sus marcos de monitoreo, y muchos solicitan DQA anuales o de medio término para programas importantes.
Una DQA típicamente abarca: el rastreo de datos desde los documentos fuente hasta los valores reportados, la verificación de la completitud y consistencia, la validación de las definiciones de indicadores frente a la práctica de recopilación y la documentación de los hallazgos. El resultado es un informe que valida la integridad de los datos o señala deficiencias específicas a corregir antes del próximo ciclo de informes.
Un error común en las DQA
El fallo más frecuente de una DQA no radica en datos inexactos, sino en una DQA realizada demasiado tarde, que cubre los datos incorrectos y genera un informe que nadie utiliza. Una DQA llevada a cabo dos semanas antes de una evaluación final, sobre datos ya entregados al donante, identificará problemas que ya no se pueden corregir. Una DQA oportuna en el sexto mes de un proyecto de 24 meses detectará los mismos problemas cuando aún hay tiempo para ajustar el proceso de recopilación de datos y capacitar a los encuestadores.
Las Cinco Dimensiones de la Calidad de Datos
Estas cinco dimensiones son empleadas por USAID, FCDO y la mayoría de los principales donantes para determinar si los datos de M&E son aptos para la elaboración de informes y la toma de decisiones.
Validez
Los datos miden lo que pretenden medir. Un recuento de "hogares con acceso mejorado al agua" solo es válido si la definición de "mejorado" se aplica de forma consistente por cada encuestador, en cada comunidad, durante todo el período de recopilación de datos.
Señal de advertencia: Las definiciones de los indicadores son ambiguas o se interpretan de manera diferente entre los equipos.
Fiabilidad
El método de recopilación de datos genera resultados consistentes al aplicarse bajo las mismas condiciones. Si dos encuestadores hacen la misma pregunta al mismo hogar y obtienen respuestas diferentes, la fiabilidad se ve comprometida, generalmente por una metodología poco clara, una capacitación deficiente o un diseño de preguntas sesgado.
Señal de advertencia: Variación entre encuestadores en los resultados para la misma población.
Oportunidad
Los datos están disponibles en el momento oportuno para la toma de decisiones. Un ciclo de recopilación de datos trimestral que produce resultados dos meses después de la fecha límite de presentación de informes tiene un valor decisorio casi nulo, incluso si los datos son precisos. La oportunidad se refiere específicamente a la relación entre la disponibilidad de datos y el momento de la decisión.
Señal de advertencia: Las decisiones del programa se toman con datos desactualizados o sin información alguna.
Precisión
Los datos son suficientemente específicos para ser útiles. Un indicador medido con un nivel de desagregación inadecuado, o reportado como un rango tan amplio que no permite distinguir entre éxito y fracaso, carece de precisión. Las fallas de precisión suelen originarse en definiciones de indicadores que no fueron suficientemente específicas en la etapa de diseño.
Señal de advertencia: Resultados reportados como rangos amplios o sin la desagregación que las decisiones requieren.
Integridad
Los datos no han sido manipulados, falsificados o corrompidos de forma inadvertida entre la recopilación y la presentación de informes. Las fallas de integridad incluyen fraude por parte del encuestador, errores de transcripción durante la entrada manual de datos y errores de fórmula en las hojas de cálculo de análisis. También abarca la cadena de custodia: quién tuvo acceso a los datos y cuándo.
Señal de advertencia: Brechas inexplicables en los conjuntos de datos, números implausiblemente redondos o resultados que no pueden rastrearse hasta los datos fuente.
Cómo Realizar una DQA Focalizada
Un proceso de 4 pasos que se enfoca en los datos más relevantes. No todos los indicadores necesitan el mismo nivel de escrutinio; este proceso comienza con la priorización.
1. Identifique cuáles son los datos más importantes
No todos los datos requieren el mismo nivel de escrutinio. Comience enumerando las decisiones que su programa necesita tomar en este ciclo de informes. ¿Qué indicadores alimentan directamente esas decisiones? Esos son sus datos de nivel 1: son sometidos a verificaciones rigurosas. El resto se somete a verificaciones aleatorias.
2. Verifique la completitud y la consistencia
Obtenga el conjunto de datos para cada indicador de nivel 1. Verifique: ¿están presentes todos los registros esperados? ¿Los valores caen dentro de rangos plausibles? ¿Los totales coinciden entre los puntos de recopilación? Las fallas de completitud y consistencia son las más comunes y suelen ser las más fáciles de corregir si se detectan a tiempo.
3. Verifique contra documentos fuente
Para una muestra de registros (10-20% para datos críticos), rastree el valor hasta su documento fuente: el formulario de campo, el registro de admisión, la fotografía. Si el número no puede rastrearse hasta una fuente, no podrá justificarse ante un donante o auditor.
4. Documente los hallazgos y la remediación
Registre lo que encontró, lo que cambió y lo que dejó sin cambios y por qué. Para su donante, una DQA sin documentación es como si no se hubiera realizado. Los hallazgos deben alimentar directamente el próximo ciclo de recopilación de datos, no quedarse en un informe que nadie lee.
Herramienta de Evaluación DQA Gratuita
La Calidad de los Indicadores Nace en el Diseño
La mayoría de los problemas de calidad de datos se originan antes de que comience la recopilación. Los indicadores mal definidos generan datos que no pueden depurarse para ser útiles. El problema reside en la fase inicial.
- Definición específica. Cada indicador necesita una definición única e inequívoca que cualquier encuestador pueda aplicar sin ambigüedades.
- Fuente de datos clara. Se especifica de dónde provienen los datos, no 'registros del programa', sino 'registro de admisión mensual en la instalación X'.
- Plan de desagregación. Los indicadores de resultado deben especificar al menos una dimensión de desagregación (sexo, edad, ubicación) documentada en el plan de indicadores antes de que comience la recopilación de datos.
- Frecuencia realista. La frecuencia de recopilación debe coincidir con la tasa de cambio del indicador. Medir un resultado mensualmente cuando el cambio ocurre a lo largo de años desperdicia recursos y genera ruido.