Para quién es
Para quién es esta página
Usted gestiona o supervisa los datos de monitoreo. Conoce las cifras que se incluyen en sus informes, pero le asalta la duda sobre su exactitud. Quizás un equipo de campo agrega datos de forma manual. Quizás dos sitios reportan el mismo indicador de forma distinta. O tal vez acaba de heredar un proyecto y no sabe si puede confiar en la información de la base de datos. Esta página le guiará paso a paso en la realización de una Evaluación de Calidad de Datos (ECD) de principio a fin.
Una ECD no es un ejercicio de limpieza de datos. Es una verificación sistemática para asegurar que sus sistemas de aseguramiento de la calidad de los datos funcionen correctamente. Se trata de auditar el proceso, no solo las cifras.
5 Dimensiones de Calidad
Las cinco dimensiones de calidad de datos
Cada ECD evalúa los datos con base en las mismas cinco dimensiones. Es fundamental comprenderlas antes de comenzar, ya que constituyen el eje central de toda la evaluación.
| Dimensión | Qué Significa en la Práctica |
|---|---|
| Validez | Los datos reflejan fielmente lo que pretenden medir. La definición del indicador se alinea con la información que los equipos de campo realmente recopilan. |
| Fiabilidad | Si los mismos datos se recopilaran nuevamente bajo las mismas condiciones, se obtendría un resultado similar. Implica el uso de herramientas, capacitación y aplicación consistentes. |
| Oportunidad | Los datos están disponibles en el momento preciso en que se requieren. La recopilación, entrada y reporte se realizan de acuerdo con el cronograma establecido. Los datos tardíos a menudo carecen de utilidad. |
| Precisión | Los datos poseen el nivel de detalle adecuado para fundamentar las decisiones. Si se requiere desagregación a nivel de distrito pero solo se dispone de totales nacionales, la precisión es insuficiente. |
| Integridad | Los datos están protegidos contra sesgos o manipulaciones intencionadas. Existen controles que evitan que se inflen las cifras para cumplir con los objetivos. |
Paso a Paso
Paso a paso: realizando la ECD
Paso 1: seleccione sus indicadores
No puede evaluar todos los indicadores de su marco lógico. Esto consumiría semanas y resultaría en un informe que nadie leería. Elija entre 5 y 8 indicadores utilizando estos criterios:
- Peso en la toma de decisiones. Priorice los indicadores vinculados a decisiones importantes de reporte o financiación.
- Indicadores bajo sospecha. Incluya cualquier indicador donde haya observado inconsistencias o recibido quejas sobre la calidad de los datos.
- Complejidad del flujo de datos. Incluya indicadores con flujos de datos de múltiples pasos (recopilados a nivel de sitio, agregados a nivel de distrito, reportados a nivel nacional). Más pasos significan más oportunidades de error.
- Diversidad de tipos de indicadores. Incluya al menos un indicador de producto y un indicador de resultado. Incluya fuentes de datos tanto cuantitativas como cualitativas si su programa utiliza ambas.
Consulte la guía de selección de indicadores para una orientación más detallada sobre cómo elegir los indicadores adecuados.
Paso 2: reúna al equipo de la ECD
Una ECD no debe ser realizada por las mismas personas que recopilan y reportan los datos. Esto invalidaría el propósito de la evaluación. Su equipo necesita:
- Un evaluador principal con un sólido entendimiento de los sistemas de M&E y capacidad para entrevistar al personal sobre los procesos de datos. Generalmente, este rol lo desempeña un oficial senior de M&E de la sede o de una oficina regional.
- Un analista de datos capaz de extraer registros, rastrear cifras y realizar verificaciones de concordancia.
- Un miembro externo, si es posible. Incluso una persona ajena al proyecto (como un representante de una organización asociada o un asesor técnico) aporta una credibilidad adicional.
Un equipo de dos o tres personas es lo ideal. Una sola persona no puede llevar a cabo visitas de campo y verificaciones de forma simultánea. Un equipo de más de cuatro personas puede generar una sobrecarga de coordinación que ralentice el proceso.
Paso 3: prepare sus herramientas de verificación
Antes de visitar cualquier sitio, prepare:
- Fichas de referencia de indicadores para cada indicador seleccionado, incluyendo: definición, fuente de datos, método de recopilación, frecuencia de reporte y persona responsable.
- Un mapa del flujo de datos para cada indicador: dónde se originan los datos, cada punto de transferencia y dónde se consolidan en los informes. Conviene representarlo como un diagrama de flujo sencillo.
- Hojas de trabajo de verificación con columnas para: valor reportado, valor recontado, diferencia y explicación.
- Guías de entrevista para el personal en cada nivel del flujo de datos (equipo de campo, encargado de entrada de datos, gerente de sitio, oficial de M&E). Las preguntas clave deben ser: ¿Qué recopila? ¿Cómo lo hace? ¿Qué herramienta utiliza? ¿Con qué frecuencia? ¿A quién envía la información? ¿Qué capacitación recibió?
- Una muestra de registros para el recuento. Extraiga entre el 10% y el 20% de los registros de los indicadores seleccionados correspondientes al período de reporte más reciente.
Paso 4: realice la visita al sitio
Visite al menos dos puntos de recopilación o agregación de datos por indicador. Durante la visita:
Observe el sistema. Observe cómo se recopilan, ingresan y almacenan los datos. ¿Los formularios en papel se guardan bajo llave en un archivador? ¿La base de datos electrónica está protegida con contraseña? ¿Los formularios se completan con bolígrafo, o se borran y modifican las entradas a lápiz?
Entreviste al personal. Formule preguntas abiertas. Por ejemplo, "Explíqueme qué sucede cuando finaliza una visita domiciliaria" revelará más que "¿Rellena el formulario correctamente?". Preste atención a las discrepancias entre lo que establece el protocolo y lo que el personal realmente hace.
Recuente los datos. Tome los documentos fuente (registros, formularios, hojas de conteo) y cuente de forma independiente los totales de los indicadores seleccionados. Compare su recuento con las cifras reportadas. Registre cada discrepancia.
Verifique el flujo de datos. Siga un indicador desde el documento fuente original a través de cada paso de agregación hasta la cifra final reportada. Marque cada punto donde una cifra cambia sin una razón clara y documentada.
Paso 5: califique cada dimensión
Para cada indicador, evalúe las cinco dimensiones. Utilice una escala de tres o cinco puntos. Una escala de tres puntos es más simple y minimiza la falsa precisión:
| Puntuación | Significado | Cuándo Asignar |
|---|---|---|
| 3: Fuerte | El sistema cumple o supera los estándares establecidos. No se encontraron brechas significativas. | Las definiciones de los indicadores son claras, el personal las sigue, los datos coinciden con los documentos fuente, el reporte es oportuno. |
| 2: Adecuado | El sistema funciona, pero presenta debilidades que podrían comprometer la calidad de los datos. | Discrepancias menores entre los datos reportados y recontados. Algunos miembros del personal no están seguros de las definiciones. Reportes tardíos ocasionales. |
| 1: Débil | Problemas significativos que minan la confianza en los datos. | Grandes discrepancias. No hay protocolos escritos. No hay registros de capacitación. Los datos no se pueden rastrear hasta la fuente. Evidencia de manipulación. |
Califique cada dimensión por separado. Un indicador puede ser fuerte en oportunidad pero débil en integridad. El desglose por dimensión es lo que hace que la ECD sea accionable.
Paso 6: calcule la concordancia
La concordancia es el núcleo cuantitativo de la ECD. Compara los valores recontados con los valores reportados.
Fórmula: Concordancia = (Valor Recontado / Valor Reportado) x 100
| Rango de Concordancia | Interpretación |
|---|---|
| 95-105% | Aceptable. Diferencias menores por redondeo o desfases temporales. |
| 90-94% o 106-110% | Requiere revisión. Podrían ser errores de agregación o desajustes temporales. |
| Por debajo del 90% o por encima del 110% | Discrepancia significativa. Investigue la causa raíz antes de utilizar estos datos para el reporte. |
Calcule la concordancia para cada indicador en cada sitio. Si visitó tres sitios y dos muestran un 98% de concordancia mientras que uno arroja un 74%, el problema es específico del sitio, no sistémico. Esta distinción es crucial para definir sus acciones correctivas.
Paso 7: redacte el informe de la ECD
Su informe debe ser breve y orientado a la acción. Estructúrelo de la siguiente manera:
- Resumen ejecutivo (media página). Incluya los hallazgos generales, el número de indicadores evaluados, el número de sitios visitados y los principales resultados de concordancia.
- Metodología (una página). Detalle los indicadores y sitios seleccionados, quién realizó la evaluación y el período que cubren los datos.
- Hallazgos por indicador (una página por indicador). Presente las puntuaciones de las dimensiones, los resultados de concordancia y las observaciones clave de las visitas de campo. Incluya una tabla para cada indicador.
- Hallazgos transversales (una página). Identifique patrones que afecten a múltiples indicadores, como brechas de capacitación, debilidades del sistema o cuellos de botella en los procesos.
- Plan de acción (una página). Defina acciones correctivas específicas, asigne responsables y establezca plazos de finalización.
No escriba un informe de ECD de 40 páginas. Nadie lo leerá. Diez a quince páginas, incluyendo tablas, son suficientes para la mayoría de los programas.
Paso 8: realice el seguimiento
Una ECD sin seguimiento es una pérdida de tiempo. En las dos semanas posteriores a la finalización de la evaluación:
- Comparta los hallazgos con cada equipo que proporcionó datos. Hágalo en persona o por videoconferencia, no solo enviando el informe por correo electrónico.
- Asigne acciones correctivas con responsables y plazos definidos. "Mejorar la calidad de los datos" no es una acción concreta. "Volver a capacitar al personal de campo sobre la definición del Indicador 3 antes del 15 de mayo" sí lo es.
- Programe una verificación de seguimiento 60-90 días después de la ECD para asegurar que las acciones correctivas se hayan implementado.
- Actualice sus protocolos de gestión de datos para abordar problemas sistémicos. Si tres sitios experimentaron el mismo problema, el protocolo debe modificarse, no solo la práctica en los sitios.
Utilice el para rastrear las puntuaciones de las dimensiones a lo largo del tiempo y evaluar la efectividad de sus acciones correctivas.
Errores y Lista de Verificación
Errores comunes
Error 1: evaluar cada indicador. Una ECD que abarca 25 indicadores consume tanto tiempo que los hallazgos pueden quedar desactualizados antes de que se redacte el informe. Priorice entre 5 y 8 indicadores. Es preferible realizar un trabajo exhaustivo en menos indicadores que un análisis superficial de todos ellos.
Error 2: dejar que el equipo de datos evalúe sus propios datos. La autoevaluación suele producir resultados predecibles: todo parece estar en orden. Involucre a alguien ajeno a la cadena de datos inmediata. La independencia es clave para la credibilidad de una ECD.
Error 3: omitir la visita al sitio. Una ECD basada únicamente en el escritorio detecta errores aritméticos, pero pasa por alto fallas en el proceso. No es posible evaluar la fiabilidad, la integridad o la oportunidad sin interactuar con las personas que recopilan los datos y observar su metodología de trabajo.
Error 4: escribir hallazgos sin un plan de acción. "La concordancia para el Indicador 4 fue del 78%" es un hallazgo. Sin una acción correctiva asociada, esta información resulta inútil. Cada hallazgo que esté por debajo de los umbrales aceptables requiere una acción específica, un responsable y una fecha límite.
Error 5: tratar la ECD como un evento único. Una única ECD le proporciona una instantánea del estado de la calidad de los datos en un momento dado. Los sistemas se degradan, el personal rota y se introducen nuevas herramientas. Incorpore la ECD en su calendario anual de M&E y realícela de forma periódica.
Lista de verificación de la ECD
Utilice esta lista antes, durante y después de la evaluación.
Preparación:
- Se seleccionaron entre 5 y 8 indicadores basándose en su peso en la decisión, la sospecha de problemas y la complejidad.
- Se conformó un equipo de ECD con al menos un miembro ajeno a la cadena de datos.
- Se prepararon fichas de referencia para cada indicador seleccionado.
- Se mapeó el flujo de datos para cada indicador (desde la fuente hasta el informe).
- Se crearon hojas de trabajo de verificación con espacio para los valores recontados.
- Se extrajo una muestra del 10-20% de los registros para el recuento.
- Se redactaron guías de entrevista para el personal en cada nivel del flujo de datos.
Durante la visita al sitio:
- Se visitaron al menos dos puntos de recopilación o agregación de datos por indicador.
- Se observaron de primera mano los procesos de recopilación, entrada y almacenamiento de datos.
- Se entrevistó al personal utilizando preguntas abiertas sobre sus procedimientos reales.
- Se recontaron de forma independiente los datos de los documentos fuente.
- Se rastreó al menos un indicador a través de cada paso de agregación.
Después de la evaluación:
- Se evaluaron las cinco dimensiones para cada indicador.
- Se calculó la concordancia para cada indicador en cada sitio.
- Se redactó un informe de ECD de 10-15 páginas con hallazgos y un plan de acción.
- Se compartieron los hallazgos con todos los equipos que proporcionaron datos en un plazo de dos semanas.
- Se asignaron acciones correctivas con responsables y plazos.
- Se programó una verificación de seguimiento 60-90 días después.