Definición
La meta-evaluación es la evaluación sistemática de la calidad de una evaluación — esencialmente, evaluar la evaluación. Examina si el proceso de evaluación cumplió con estándares profesionales (como los criterios del OECD-DAC o los estándares de calidad de UNEG) y si sus hallazgos son creíbles, útiles y adecuados para el propósito. En lugar de juzgar el programa que se evalúa, una meta-evaluación juzga la propia evaluación.
La meta-evaluación sirve como mecanismo de aseguramiento de la calidad, proporcionando confianza de que los hallazgos de la evaluación pueden ser confiables para la toma de decisiones. Puede ser realizada internamente por personal de aseguramiento de calidad, externamente por evaluadores independientes, o a través de procesos de revisión por pares.
Por Qué Importa
La meta-evaluación aborda una brecha crítica en los sistemas de M&E: sin evaluación de calidad, las organizaciones pueden tomar decisiones importantes basadas en hallazgos de evaluación defectuosos o sesgados. Una evaluación realizada deficientemente puede desperdiciar recursos, engañar a las partes interesadas e incluso causar daño si las decisiones se basan en conclusiones incorrectas.
Para el cumplimiento con donantes, muchos financiadores (incluyendo USAID y el Global Fund) requieren evidencia de que las evaluaciones cumplen con estándares mínimos de calidad antes de aceptar hallazgos para fines de rendición de cuentas. La meta-evaluación proporciona esta garantía sistemáticamente en lugar de a través de juicios ad hoc.
Más allá del cumplimiento, la meta-evaluación genera aprendizaje organizacional sobre las prácticas de evaluación. Al identificar problemas de calidad recurrentes — como metodología débil, participación insuficiente de partes interesadas, o informes fuera de tiempo — las organizaciones pueden mejorar sus prácticas de contratación, supervisión y uso de evaluaciones con el tiempo.
En la Práctica
La meta-evaluación típicamente evalúa una evaluación contra criterios de calidad establecidos. Los criterios del OECD-DAC (relevancia, coherencia, eficacia, eficiencia, impacto, sostenibilidad) forman el marco más común, aunque los cuatro estándares de calidad de UNEG (utilidad, viabilidad, propiedad, precisión) también son ampliamente utilizados.
Los enfoques comunes incluyen:
-
Revisión post-completación: Un revisor de calidad designado evalúa el informe final de la evaluación y los Términos de Referencia contra criterios de calidad, a menudo usando una rúbrica de puntuación estandarizada. Esta es la forma más común, típicamente completada en 1-3 días.
-
Evaluación externa de calidad: Un evaluador independiente que no condujo la evaluación original proporciona un juicio externo, a menudo requerido para evaluaciones de alto riesgo o cumplimiento con donantes.
-
Revisión por pares: Otros evaluadores o profesionales de M&E revisan la evaluación, aportando una perspectiva fresca y experiencia en el dominio.
-
Verificaciones de calidad en tiempo real: Durante evaluaciones multifase, los puntos de control de calidad evalúan la metodología y hallazgos tempranos antes de que concluya la evaluación, permitiendo correcciones de rumbo.
Los productos de la meta-evaluación típicamente incluyen una calificación de calidad (aprobado/reprobado o puntuado), hallazgos específicos sobre fortalezas y debilidades, y recomendaciones para mejorar evaluaciones futuras. Para decisiones de alto riesgo, las organizaciones pueden requerir que las evaluaciones cumplan con un umbral de calidad mínimo (por ejemplo, 80% en todos los criterios) antes de usar hallazgos para asignación de recursos o rediseño de programas.
Temas Relacionados
- Criterios de Evaluación (DAC) — Los cinco criterios utilizados para evaluar la calidad de la evaluación
- Calidad de la Evaluación — Estándares y enfoques para asegurar evaluaciones creíbles
- Evaluación Centrada en la Utilización — Un enfoque que enfatiza hacer las evaluaciones útiles para los usuarios previstos
Lecturas Adicionales
- Estándares de Calidad de Evaluación de UNEG — Los cuatro estándares de calidad del organismo profesional internacional.
- Criterios de Evaluación del OECD-DAC — Los cinco criterios más comúnmente utilizados para meta-evaluación.
- Chambers, R. (2012). "¿Funcionan las Evaluaciones?" — Perspectiva crítica sobre la calidad y uso de la evaluación.