Evaluation Criteria (DAC)

Cuándo Usar

Los criterios de evaluación del OECD-DAC son el marco más ampliamente adoptado para estructurar evaluaciones de desarrollo. Úselos cuando:

• Diseño de términos de referencia para evaluación — La mayoría de los donantes (CRS, IFRC, USAID, Global Fund) esperan que las evaluaciones aborden los cinco Criterios del CAD. Sus preguntas de evaluación deben mapearse directamente a estos criterios.
• Estructuración de informes de evaluación — Los criterios proporcionan una organización lógica para presentar hallazgos. Cada criterio se convierte en una sección de su informe de evaluación.
• Cumplimiento de requisitos de donantes — Muchas políticas de donantes requieren explícitamente evaluaciones basadas en criterios del CAD. La Política 3 de CRS, por ejemplo, exige que las evaluaciones aborden relevancia, eficacia, eficiencia, impacto y sostenibilidad.
• Comparación de evaluaciones entre programas — Usar un marco común le permite sintetizar hallazgos de múltiples evaluaciones e identificar lecciones transversales.
• Realización de evaluaciones centradas en la utilización — Los criterios ayudan a las partes interesadas a centrarse en las preguntas más importantes sobre el mérito y valor de un programa.

Los Criterios del CAD son menos útiles cuando necesita un marco de evaluación más especializado (por ejemplo, análisis de contribución para preguntas de atribución, o cosecha de resultados para resultados imprevistos). En tales casos, los Criterios del CAD aún pueden aplicarse dentro de esos métodos como estructura de informes.

Cómo Funciona

Los Criterios del CAD del OECD-DAC proporcionan un marco integral para juzgar el mérito y valor de las intervenciones de desarrollo. Cinco criterios interrelacionados forman el núcleo del marco:

Relevancia — El grado en que los objetivos y diseño de la intervención se alinean con las necesidades de los beneficiarios, prioridades del país socio y estrategias del donante. Una intervención relevante aborda el problema correcto de la manera correcta para las personas correctas. La relevancia pregunta: ¿Es este el programa correcto para este contexto?

Eficiencia — La relación entre productos y recursos consumidos. Las intervenciones eficientes logran resultados máximos con insumos mínimos, evitando desperdicios en recursos financieros, humanos y de tiempo. La eficiencia pregunta: ¿Estamos obteniendo el mayor valor de lo que invertimos?

Eficacia — El grado en que los objetivos de la intervención fueron alcanzados, o se espera que sean alcanzados. Este criterio se enfoca en el grado de logro de resultados relativo a metas declaradas. La eficacia pregunta: ¿Hicimos lo que dijimos que haríamos?

Impacto — Los efectos a largo plazo positivos y negativos, primarios y secundarios producidos por la intervención, directa o indirectamente, intencionados o no intencionados. El impacto mira más allá de los productos inmediatos para evaluar cambios más amplios en la vida de los beneficiarios y los sistemas en los que operan. El impacto pregunta: ¿Qué diferencia duradera hicimos?

Sostenibilidad — La continuación de beneficios de la intervención después de que termine el financiamiento externo. La sostenibilidad examina si los beneficios perdurarán a través de la propiedad local continua, acuerdos institucionales, mecanismos financieros y consideraciones ambientales. La sostenibilidad pregunta: ¿Durarán los beneficios?

Estos criterios no son pasos secuenciales sino dimensiones interrelacionadas que juntas proporcionan una evaluación holística. Una intervención puede ser eficaz (alcanzar objetivos) pero no sostenible (los beneficios terminan cuando se detiene el financiamiento), o eficiente (bajo costo) pero no relevante (abordar el problema incorrecto). El valor del marco del CAD radica en exigir a los evaluadores considerar las cinco dimensiones en lugar de enfocarse estrechamente en la entrega de productos.

Componentes Clave

Una evaluación bien construida usando los Criterios del CAD incluye estos elementos esenciales:

• Preguntas de evaluación mapeadas a criterios — Cada uno de los cinco Criterios del CAD debe tener al menos una pregunta de evaluación dedicada. Por ejemplo: "¿En qué medida fue la intervención relevante para las necesidades de los beneficiarios?" o "¿Cuál es la evidencia de sostenibilidad a largo plazo de los resultados?"
• Fuentes de evidencia para cada criterio — Diferentes criterios requieren diferentes evidencias. La relevancia se basa en retroalimentación de partes interesadas y análisis de contexto. La eficiencia requiere datos financieros y operativos. La eficacia e impacto dependen de indicadores de resultado e impacto. La sostenibilidad necesita datos longitudinales y análisis institucional.
• Definiciones claras de cada criterio — Mientras los Criterios del CAD tienen definiciones estándar, cada evaluación debe operacionalizarlos para el contexto específico. ¿Qué significa "sostenibilidad" para esta intervención particular? ¿Qué horizonte temporal define "impacto"?
• Ponderación o priorización — No todos los criterios tienen igual peso en cada evaluación. Una evaluación de emergencia humanitaria puede priorizar relevancia y eficiencia sobre sostenibilidad a largo plazo. Documente su justificación para cualquier ponderación diferencial.
• Integración de temas transversales — Las evaluaciones modernas integran género, medio ambiente y consideraciones de rendición de cuentas dentro de cada criterio. Por ejemplo, evaluar si los beneficios llegaron a mujeres y grupos marginados es parte de la relevancia y eficacia.
• Perspectivas de partes interesadas — Cada criterio debe incorporar puntos de vista de diferentes grupos de partes interesadas. Los beneficiarios pueden juzgar la relevancia de manera diferente a los donantes. Documente estas perspectivas y cualquier tensión.
• Marco de calificación — Un enfoque consistente para calificar cada criterio (por ejemplo, muy relevante, moderadamente relevante, no relevante) permite comparación entre evaluaciones y comunicación clara de hallazgos.

Mejores Prácticas

Asegurar que los cinco criterios sean abordados en el diseño de evaluación. La evaluación debe usar criterios de evaluación relevantes: relevancia, eficacia, eficiencia, impacto y sostenibilidad. Cada criterio debe tener preguntas de evaluación dedicadas que guíen la recolección y análisis de datos.

Derivar preguntas de evaluación de los criterios. Las preguntas de evaluación deben reflejar criterios de evaluación relevantes (relevancia, eficacia, eficiencia, impacto y sostenibilidad). Esto asegura que la evaluación aborde sistemáticamente todas las dimensiones de mérito y valor.

Limitar el número de preguntas de evaluación. Trate de no tener demasiadas preguntas de evaluación — un máximo de 5-7 preguntas principales será suficiente. Es mejor tener unos pocos buenos indicadores que demasiados malos. Enfóquese en responder bien las preguntas centrales en lugar de distribuir recursos entre numerosas inquisiciones superficiales.

Considerar el diseño de evaluación cuidadosamente. Las consideraciones clave incluyen: ¿Cuáles son las preguntas de evaluación? ¿Qué evaluar (objeto de evaluación)? ¿Qué métodos (cualitativos, cuantitativos, mixtos)? ¿Cuál es el alcance? ¿Qué nivel de rigor es apropiado? ¿Qué recursos están disponibles? Equilibre el rigor metodológico con las limitaciones prácticas.

Evitar la sobreconfianza en la participación en evaluación. Mientras los enfoques participativos tienen valor, la sobreconfianza puede ser consumidora de tiempo, costosa, difícil de gestionar, y puede carecer de un equilibrio saludable de perspectiva externa si se convierte en autoevaluación. Mantenga la independencia externa apropiada mientras incorpora insumo de partes interesadas.

Equilibrar alcance con recursos. Una evaluación con amplio alcance pero recursos muy limitados puede ser peor que ninguna evaluación si lleva a conclusiones superficiales ya que las calificaciones de los evaluadores se vuelven poco confiables. Asegure que el diseño de evaluación coincida con los recursos disponibles para producir hallazgos creíbles.

Integrar temas transversales en todo. Evalúe la sensibilidad al género, sostenibilidad ambiental y mecanismos de rendición de cuentas dentro de cada criterio en lugar de como secciones separadas. Por ejemplo, evalúe si la intervención fue relevante para las necesidades de las mujeres como parte de la evaluación de relevancia.

Usar escalas de calificación consistentes. Desarrolle una rúbrica clara para calificar cada criterio (por ejemplo, escala 1-5 con anclas definidas) para asegurar que las calificaciones sean comparables entre evaluaciones y las partes interesadas entiendan qué significan diferentes calificaciones.

Errores Comunes

Tratar los criterios como una lista de verificación. Los Criterios del CAD no son casillas para marcar sino dimensiones interrelacionadas que requieren análisis reflexivo. Simplemente listar hallazgos bajo cada criterio sin explorar conexiones (por ejemplo, cómo las decisiones de eficiencia afectaron la eficacia) pierde el valor holístico del marco.

Recursos insuficientes para calificaciones creíbles. Si no hay recursos suficientes para cubrir todo el universo de encuesta, usar un universo parcial limitaría la capacidad de generalizar los datos de la encuesta (y los resultados de la evaluación) al universo más pequeño. Esto socava la credibilidad de las calificaciones de eficacia e impacto.

Sobre-enfatizar la participación a expensas de la independencia. Evite la sobreconfianza en la participación en evaluación — puede ser consumidora de tiempo, costosa, difícil de gestionar, y puede carecer de un equilibrio saludable de perspectiva externa si se convierte en autoevaluación. La independencia externa es crucial para hallazgos creíbles.

Conclusiones superficiales de evaluaciones con recursos insuficientes. Una evaluación con amplio alcance pero recursos muy limitados puede ser peor que ninguna evaluación si lleva a conclusiones superficiales ya que las calificaciones de los evaluadores se vuelven poco confiables. Es mejor reducir el alcance y producir hallazgos creíbles que intentar todo mal.

Ignorar la sostenibilidad en evaluaciones a corto plazo. Muchas evaluaciones se enfocan solo en productos y resultados inmediatos sin evaluar si los beneficios continuarán. La sostenibilidad requiere mirar más allá del periodo de evaluación para considerar acuerdos institucionales, mecanismos financieros y propiedad local.

Confundir eficacia con impacto. La eficacia mide si los resultados intencionados fueron alcanzados; el impacto evalúa cambios más amplios y a largo plazo incluyendo efectos no intencionados. Una intervención puede ser eficaz (cumplir metas) mientras tiene impacto limitado o incluso negativo (consecuencias no intencionadas superan beneficios).

Aplicar criterios sin adaptación contextual. Los criterios son estándar pero su aplicación debe contextualizarse. Lo que constituye "relevancia" para una intervención de salud difiere de la programación de gobernanza. Defina cada criterio operacionalmente para su evaluación específica.

Ejemplos

Programa de Salud — África Subsahariana

Un programa de prevención de malaria de 5 años fue evaluado usando los cinco Criterios del CAD. La evaluación de Relevancia encontró que la intervención se alineaba bien con las prioridades nacionales de salud y necesidades comunitarias, con 90% de los beneficiarios reportando que la intervención abordaba sus preocupaciones de salud más apremiantes. El análisis de Eficiencia reveló que el costo por red distribuida fue 15% por debajo del presupuesto debido a cadenas de suministro simplificadas. Los hallazgos de Eficacia mostraron que 75% de las metas de resultado fueron alcanzadas, con incidencia de malaria reducida en 40% en áreas objetivo. La evaluación de Impacto identificó efectos positivos no intencionados: gastos médicos del hogar reducidos y mejora en la asistencia escolar entre niños. La evaluación de Sostenibilidad encontró resultados mixtos — las redes de trabajadores de salud comunitarios mostraron fuerte propiedad local, pero la dependencia de medicamentos financiados por donantes levantó preocupaciones sobre acceso a largo plazo. La fortaleza de la evaluación fue conectar explícitamente decisiones de eficiencia (inversiones en cadena de suministro) con resultados de eficacia, demostrando cómo las decisiones operativas afectaron los resultados del programa.

Programa de Gobernanza — Sudeste Asiático

Una iniciativa de democracia y gobernanza enfrentó desafíos en demostrar impacto debido a los largos plazos requeridos para el cambio político. El equipo de evaluación adaptó el marco del CAD mediante: (1) definir indicadores de impacto intermedios que pudieran medirse dentro del plazo del programa, (2) usar rastreo de procesos para documentar contribución a cambios de política, y (3) incorporar percepciones de partes interesadas sobre relevancia mediante grupos focales con funcionarios gubernamentales y sociedad civil. El criterio de Relevancia incorporó evaluación cualitativa de alineación con prioridades de gobernanza local. Eficiencia incluyó análisis de costo-efectividad comparado con intervenciones de gobernanza alternativas. Eficacia midió tanto entrega de productos como logro de resultados. Impacto usó análisis de contribución para evaluar el rol del programa en cambios de política observados. Sostenibilidad examinó la institucionalización de reformas dentro de estructuras gubernamentales. Esta adaptación demostró cómo los Criterios del CAD podían aplicarse flexiblemente manteniendo su valor analítico central.

Programa de Educación — Sur de Asia

Una evaluación de programa de capacitación de maestros se centró fuertemente en Eficacia (midiendo cambios en prácticas de enseñanza) pero inicialmente negligió Sostenibilidad. La retroalimentación de partes interesadas reveló que mientras los maestros capacitados mejoraron prácticas durante el periodo financiado, muchos volvieron a métodos anteriores después de que terminó el financiamiento debido a falta de apoyo continuo de desarrollo profesional. La evaluación fue revisada para incluir evaluación de sostenibilidad, examinando acuerdos institucionales para capacitación continua, asignaciones presupuestarias para desarrollo profesional y estructuras de incentivos de carrera. Esta revisión transformó la evaluación de una simple evaluación de eficacia a un análisis más integral de si la intervención produciría cambio duradero. La evaluación revisada recomendó establecer un fondo de capacitación sostenible, que fue posteriormente incorporado al diseño de seguimiento del programa.

Comparado Con

Los Criterios del CAD son uno de varios marcos de evaluación. Diferencias clave:

Los Criterios del CAD son particularmente valiosos cuando los requisitos de donantes especifican su uso o al comparar evaluaciones entre programas. Los estándares CEB proporcionan un marco de calidad más amplio para las evaluaciones mismas en lugar de criterios para evaluar intervenciones.

Indicadores Relevantes

12 indicadores en marcos de donantes principales (CRS, IFRC, USAID, Global Fund) se relacionan con la aplicación de criterios de evaluación del CAD:

• Calidad del marco de evaluación — "Proporción de evaluaciones que usan los cinco Criterios del CAD en el marco de evaluación" (CRS)
• Diseño de preguntas de evaluación — "Porcentaje de preguntas de evaluación mapeadas a Criterios del CAD específicos" (IFRC)
• Cobertura de criterios — "Número de recomendaciones de evaluación que abordan cada Criterio del CAD" (USAID)
• Alineación de partes interesadas — "Grado en que los hallazgos de evaluación abordan criterios de relevancia definidos por partes interesadas" (Global Fund)

Herramientas Relacionadas

• Constructor de Matriz de Evaluación — Herramienta para mapear preguntas de evaluación a Criterios del CAD y organizar estructura de evaluación
• Plantilla de Términos de Referencia para Evaluación — Plantilla guiada para desarrollar términos de referencia de evaluación con integración de Criterios del CAD

Temas Relacionados

• Matriz de Evaluación — Herramienta operativa para organizar preguntas de evaluación e indicadores por Criterios del CAD
• Términos de Referencia para Evaluación — Documento que especifica el alcance de la evaluación, incluyendo Criterios del CAD a abordar
• Evaluación Centrada en la Utilización — Enfoque que usa Criterios del CAD para centrarse en las necesidades de evaluación de los usuarios previstos
• Eficacia vs Impacto — Aclara la distinción entre estos dos Criterios del CAD
• Criterios de Relevancia — Análisis profundo de la evaluación de la relevancia del programa

Lectura Adicional

• Red del CAD sobre Evaluación del Desarrollo (DAC NetEval) — Red del OECD que mantiene y desarrolla el marco de criterios de evaluación.
• Criterios de Evaluación del OECD-DAC — Orientación oficial del OECD sobre los cinco criterios con ejemplos y aplicaciones.
• BetterEvaluation: Criterios de Evaluación — Colección de recursos sobre la aplicación de criterios de evaluación incluyendo el marco del CAD.
• Política de Evaluación de CRS — Política de CRS que requiere evaluaciones basadas en Criterios del CAD con orientación práctica.
• Política de Evaluación de IFRC — Adopción de IFRC de la definición del OECD/DAC con requisitos de implementación.