Definición
La meta-evaluación consiste en la evaluación sistemática de la calidad de una evaluación, es decir, evaluar la evaluación misma. Su objetivo es determinar si el proceso evaluativo cumplió con los estándares profesionales (como los criterios del OECD-DAC o los estándares de calidad de UNEG) y si sus hallazgos son creíbles, útiles y apropiados para el fin previsto. En lugar de juzgar el programa objeto de la evaluación, una meta-evaluación juzga la calidad de la evaluación en sí.
Este proceso actúa como un mecanismo de aseguramiento de la calidad, generando confianza en que los hallazgos de la evaluación son fiables para la toma de decisiones. Puede ser llevada a cabo internamente por personal de aseguramiento de calidad, externamente por evaluadores independientes o mediante procesos de revisión por pares.
Por Qué Importa
La meta-evaluación es crucial porque aborda una brecha significativa en los sistemas de M&E: sin una evaluación de calidad, las organizaciones corren el riesgo de tomar decisiones importantes basándose en hallazgos defectuosos o sesgados. Una evaluación mal ejecutada puede resultar en el desperdicio de recursos, engañar a las partes interesadas e incluso causar perjuicios si las decisiones se fundamentan en conclusiones erróneas.
En cuanto al cumplimiento con los donantes, muchos financiadores (incluyendo USAID y el Global Fund) exigen pruebas de que las evaluaciones cumplen con estándares mínimos de calidad antes de aceptar sus hallazgos para propósitos de rendición de cuentas. La meta-evaluación ofrece esta garantía de manera sistemática, evitando depender de juicios ad hoc.
Más allá del mero cumplimiento, la meta-evaluación fomenta el aprendizaje organizacional sobre las prácticas de evaluación. Al identificar problemas de calidad recurrentes, como metodologías débiles, participación insuficiente de las partes interesadas o informes entregados fuera de plazo, las organizaciones pueden optimizar sus procesos de contratación, supervisión y utilización de evaluaciones a lo largo del tiempo.
En la Práctica
En la práctica, la meta-evaluación suele evaluar una evaluación con base en criterios de calidad preestablecidos. Los criterios del OECD-DAC (Pertinencia, Coherencia, Eficacia, Eficiencia, Impacto, Sostenibilidad) constituyen el marco más común, si bien los cuatro estándares de calidad de UNEG (utilidad, viabilidad, propiedad, precisión) también son ampliamente empleados.
Los enfoques habituales incluyen:
-
Revisión post-finalización: Un revisor de calidad designado evalúa el informe final de la evaluación y los Términos de Referencia (TdR) con base en criterios de calidad, utilizando a menudo una rúbrica de puntuación estandarizada. Esta es la modalidad más frecuente y suele completarse en 1-3 días.
-
Evaluación externa de calidad: Un evaluador independiente, ajeno a la evaluación original, emite un juicio externo. Este enfoque es a menudo requerido para evaluaciones de alto riesgo o para cumplir con requisitos de donantes.
-
Revisión por pares: Otros evaluadores o profesionales de M&E revisan la evaluación, aportando una perspectiva fresca y su experiencia en el ámbito.
-
Verificaciones de calidad en tiempo real: Durante evaluaciones multifase, se establecen puntos de control de calidad para evaluar la metodología y los hallazgos preliminares antes de que concluya la evaluación, lo que permite realizar correcciones de rumbo.
Los entregables de la meta-evaluación suelen incluir una calificación de calidad (aprobado/reprobado o puntuación numérica), hallazgos específicos sobre fortalezas y debilidades, y recomendaciones para mejorar futuras evaluaciones. Para decisiones de alto riesgo, las organizaciones pueden exigir que las evaluaciones cumplan con un umbral de calidad mínimo (por ejemplo, 80% en todos los criterios) antes de utilizar sus hallazgos para la asignación de recursos o el rediseño de programas.
Temas Relacionados
- Criterios de Evaluación (DAC): Los criterios clave utilizados para evaluar la calidad de las evaluaciones.
- Calidad de la Evaluación: Estándares y enfoques para asegurar la credibilidad de las evaluaciones.
- Evaluación Centrada en la Utilización: Un enfoque que prioriza la utilidad de las evaluaciones para sus usuarios previstos.