Cómo realizar una evaluación de calidad de datos (ECD) efectiva

Las cinco dimensiones de calidad de datos

Cada ECD evalúa los datos con base en las mismas cinco dimensiones. Es fundamental comprenderlas antes de comenzar, ya que constituyen el eje central de toda la evaluación.

Paso a paso: realizando la ECD

Paso 1: seleccione sus indicadores

No puede evaluar todos los indicadores de su marco lógico. Esto consumiría semanas y resultaría en un informe que nadie leería. Elija entre 5 y 8 indicadores utilizando estos criterios:

• Peso en la toma de decisiones. Priorice los indicadores vinculados a decisiones importantes de reporte o financiación.
• Indicadores bajo sospecha. Incluya cualquier indicador donde haya observado inconsistencias o recibido quejas sobre la calidad de los datos.
• Complejidad del flujo de datos. Incluya indicadores con flujos de datos de múltiples pasos (recopilados a nivel de sitio, agregados a nivel de distrito, reportados a nivel nacional). Más pasos significan más oportunidades de error.
• Diversidad de tipos de indicadores. Incluya al menos un indicador de producto y un indicador de resultado. Incluya fuentes de datos tanto cuantitativas como cualitativas si su programa utiliza ambas.

Consulte la guía de selección de indicadores para una orientación más detallada sobre cómo elegir los indicadores adecuados.

Paso 2: reúna al equipo de la ECD

Una ECD no debe ser realizada por las mismas personas que recopilan y reportan los datos. Esto invalidaría el propósito de la evaluación. Su equipo necesita:

• Un evaluador principal con un sólido entendimiento de los sistemas de M&E y capacidad para entrevistar al personal sobre los procesos de datos. Generalmente, este rol lo desempeña un oficial senior de M&E de la sede o de una oficina regional.
• Un analista de datos capaz de extraer registros, rastrear cifras y realizar verificaciones de concordancia.
• Un miembro externo, si es posible. Incluso una persona ajena al proyecto (como un representante de una organización asociada o un asesor técnico) aporta una credibilidad adicional.

Un equipo de dos o tres personas es lo ideal. Una sola persona no puede llevar a cabo visitas de campo y verificaciones de forma simultánea. Un equipo de más de cuatro personas puede generar una sobrecarga de coordinación que ralentice el proceso.

Paso 3: prepare sus herramientas de verificación

Antes de visitar cualquier sitio, prepare:

• Fichas de referencia de indicadores para cada indicador seleccionado, incluyendo: definición, fuente de datos, método de recopilación, frecuencia de reporte y persona responsable.
• Un mapa del flujo de datos para cada indicador: dónde se originan los datos, cada punto de transferencia y dónde se consolidan en los informes. Conviene representarlo como un diagrama de flujo sencillo.
• Hojas de trabajo de verificación con columnas para: valor reportado, valor recontado, diferencia y explicación.
• Guías de entrevista para el personal en cada nivel del flujo de datos (equipo de campo, encargado de entrada de datos, gerente de sitio, oficial de M&E). Las preguntas clave deben ser: ¿Qué recopila? ¿Cómo lo hace? ¿Qué herramienta utiliza? ¿Con qué frecuencia? ¿A quién envía la información? ¿Qué capacitación recibió?
• Una muestra de registros para el recuento. Extraiga entre el 10% y el 20% de los registros de los indicadores seleccionados correspondientes al período de reporte más reciente.

Paso 4: realice la visita al sitio

Visite al menos dos puntos de recopilación o agregación de datos por indicador. Durante la visita:

Observe el sistema. Observe cómo se recopilan, ingresan y almacenan los datos. ¿Los formularios en papel se guardan bajo llave en un archivador? ¿La base de datos electrónica está protegida con contraseña? ¿Los formularios se completan con bolígrafo, o se borran y modifican las entradas a lápiz?

Entreviste al personal. Formule preguntas abiertas. Por ejemplo, "Explíqueme qué sucede cuando finaliza una visita domiciliaria" revelará más que "¿Rellena el formulario correctamente?". Preste atención a las discrepancias entre lo que establece el protocolo y lo que el personal realmente hace.

Recuente los datos. Tome los documentos fuente (registros, formularios, hojas de conteo) y cuente de forma independiente los totales de los indicadores seleccionados. Compare su recuento con las cifras reportadas. Registre cada discrepancia.

Verifique el flujo de datos. Siga un indicador desde el documento fuente original a través de cada paso de agregación hasta la cifra final reportada. Marque cada punto donde una cifra cambia sin una razón clara y documentada.

Paso 5: califique cada dimensión

Para cada indicador, evalúe las cinco dimensiones. Utilice una escala de tres o cinco puntos. Una escala de tres puntos es más simple y minimiza la falsa precisión:

Califique cada dimensión por separado. Un indicador puede ser fuerte en oportunidad pero débil en integridad. El desglose por dimensión es lo que hace que la ECD sea accionable.

Paso 6: calcule la concordancia

La concordancia es el núcleo cuantitativo de la ECD. Compara los valores recontados con los valores reportados.

Fórmula: Concordancia = (Valor Recontado / Valor Reportado) x 100

Calcule la concordancia para cada indicador en cada sitio. Si visitó tres sitios y dos muestran un 98% de concordancia mientras que uno arroja un 74%, el problema es específico del sitio, no sistémico. Esta distinción es crucial para definir sus acciones correctivas.

Paso 7: redacte el informe de la ECD

Su informe debe ser breve y orientado a la acción. Estructúrelo de la siguiente manera:

1. Resumen ejecutivo (media página). Incluya los hallazgos generales, el número de indicadores evaluados, el número de sitios visitados y los principales resultados de concordancia.
2. Metodología (una página). Detalle los indicadores y sitios seleccionados, quién realizó la evaluación y el período que cubren los datos.
3. Hallazgos por indicador (una página por indicador). Presente las puntuaciones de las dimensiones, los resultados de concordancia y las observaciones clave de las visitas de campo. Incluya una tabla para cada indicador.
4. Hallazgos transversales (una página). Identifique patrones que afecten a múltiples indicadores, como brechas de capacitación, debilidades del sistema o cuellos de botella en los procesos.
5. Plan de acción (una página). Defina acciones correctivas específicas, asigne responsables y establezca plazos de finalización.

No escriba un informe de ECD de 40 páginas. Nadie lo leerá. Diez a quince páginas, incluyendo tablas, son suficientes para la mayoría de los programas.

Paso 8: realice el seguimiento

Una ECD sin seguimiento es una pérdida de tiempo. En las dos semanas posteriores a la finalización de la evaluación:

• Comparta los hallazgos con cada equipo que proporcionó datos. Hágalo en persona o por videoconferencia, no solo enviando el informe por correo electrónico.
• Asigne acciones correctivas con responsables y plazos definidos. "Mejorar la calidad de los datos" no es una acción concreta. "Volver a capacitar al personal de campo sobre la definición del Indicador 3 antes del 15 de mayo" sí lo es.
• Programe una verificación de seguimiento 60-90 días después de la ECD para asegurar que las acciones correctivas se hayan implementado.
• Actualice sus protocolos de gestión de datos para abordar problemas sistémicos. Si tres sitios experimentaron el mismo problema, el protocolo debe modificarse, no solo la práctica en los sitios.

Utilice el Cuadro de Mando de la ECD para rastrear las puntuaciones de las dimensiones a lo largo del tiempo y evaluar la efectividad de sus acciones correctivas.

Errores comunes

Error 1: evaluar cada indicador. Una ECD que abarca 25 indicadores consume tanto tiempo que los hallazgos pueden quedar desactualizados antes de que se redacte el informe. Priorice entre 5 y 8 indicadores. Es preferible realizar un trabajo exhaustivo en menos indicadores que un análisis superficial de todos ellos.

Error 2: dejar que el equipo de datos evalúe sus propios datos. La autoevaluación suele producir resultados predecibles: todo parece estar en orden. Involucre a alguien ajeno a la cadena de datos inmediata. La independencia es clave para la credibilidad de una ECD.

Error 3: omitir la visita al sitio. Una ECD basada únicamente en el escritorio detecta errores aritméticos, pero pasa por alto fallas en el proceso. No es posible evaluar la fiabilidad, la integridad o la oportunidad sin interactuar con las personas que recopilan los datos y observar su metodología de trabajo.

Error 4: escribir hallazgos sin un plan de acción. "La concordancia para el Indicador 4 fue del 78%" es un hallazgo. Sin una acción correctiva asociada, esta información resulta inútil. Cada hallazgo que esté por debajo de los umbrales aceptables requiere una acción específica, un responsable y una fecha límite.

Error 5: tratar la ECD como un evento único. Una única ECD le proporciona una instantánea del estado de la calidad de los datos en un momento dado. Los sistemas se degradan, el personal rota y se introducen nuevas herramientas. Incorpore la ECD en su calendario anual de M&E y realícela de forma periódica.

Lista de verificación de la ECD

Utilice esta lista antes, durante y después de la evaluación.

Preparación:

• Se seleccionaron entre 5 y 8 indicadores basándose en su peso en la decisión, la sospecha de problemas y la complejidad.
• Se conformó un equipo de ECD con al menos un miembro ajeno a la cadena de datos.
• Se prepararon fichas de referencia para cada indicador seleccionado.
• Se mapeó el flujo de datos para cada indicador (desde la fuente hasta el informe).
• Se crearon hojas de trabajo de verificación con espacio para los valores recontados.
• Se extrajo una muestra del 10-20% de los registros para el recuento.
• Se redactaron guías de entrevista para el personal en cada nivel del flujo de datos.

Durante la visita al sitio:

• Se visitaron al menos dos puntos de recopilación o agregación de datos por indicador.
• Se observaron de primera mano los procesos de recopilación, entrada y almacenamiento de datos.
• Se entrevistó al personal utilizando preguntas abiertas sobre sus procedimientos reales.
• Se recontaron de forma independiente los datos de los documentos fuente.
• Se rastreó al menos un indicador a través de cada paso de agregación.

Después de la evaluación:

• Se evaluaron las cinco dimensiones para cada indicador.
• Se calculó la concordancia para cada indicador en cada sitio.
• Se redactó un informe de ECD de 10-15 páginas con hallazgos y un plan de acción.
• Se compartieron los hallazgos con todos los equipos que proporcionaron datos en un plazo de dos semanas.
• Se asignaron acciones correctivas con responsables y plazos.
• Se programó una verificación de seguimiento 60-90 días después.