Criterios de Evaluación del CAD de la OCDE

Cuándo Utilizar los Criterios del CAD

Los Criterios de Evaluación del CAD de la OCDE constituyen el marco más ampliamente adoptado para estructurar las evaluaciones de desarrollo. Son especialmente útiles en los siguientes escenarios:

• Al diseñar los términos de referencia (TdR) para una evaluación: La mayoría de los donantes (CRS, IFRC, USAID, Global Fund) esperan que las evaluaciones aborden los cinco Criterios del CAD. Es fundamental que sus preguntas de evaluación se vinculen directamente con estos criterios.
• Al estructurar informes de evaluación: Los criterios ofrecen una organización lógica para presentar los resultados. Cada criterio puede constituir una sección de su informe de evaluación.
• Para cumplir con los requisitos de los donantes: Muchas políticas de donantes exigen explícitamente evaluaciones basadas en los criterios del CAD. La Política 3 de CRS, por ejemplo, requiere que las evaluaciones aborden la Pertinencia, Eficacia, Eficiencia, Impacto y Sostenibilidad.
• Para comparar evaluaciones entre programas: Utilizar un marco común permite sintetizar los resultados de múltiples evaluaciones e identificar lecciones transversales.
• Al realizar evaluaciones centradas en la utilización: Los criterios ayudan a las partes interesadas a enfocarse en las preguntas más importantes sobre el mérito y el valor de un programa.

Los Criterios del CAD son menos adecuados cuando se requiere un marco de evaluación más especializado (por ejemplo, un análisis de contribución para preguntas de atribución, o la cosecha de resultados para abordar resultados no previstos). No obstante, en estos casos, los Criterios del CAD pueden seguir aplicándose dentro de dichos métodos como estructura para la presentación de informes.

Cómo Funcionan los Criterios del CAD

Los Criterios del CAD de la OCDE-DAC ofrecen un marco integral para evaluar el mérito y el valor de las intervenciones de desarrollo. El núcleo de este marco lo constituyen cinco criterios interrelacionados:

Pertinencia: Se refiere al grado en que los objetivos y el diseño de la intervención se alinean con las necesidades de los beneficiarios, las prioridades del país socio y las estrategias del donante. Una intervención pertinente aborda el problema adecuado de la manera correcta para las personas indicadas. La pertinencia se pregunta: ¿Es este el programa idóneo para este contexto?

Eficiencia: Es la relación entre los productos generados y los recursos consumidos. Las intervenciones eficientes logran los máximos resultados con los mínimos insumos, evitando el desperdicio de recursos financieros, humanos y de tiempo. La eficiencia se pregunta: ¿Estamos obteniendo el mayor valor por nuestra inversión?

Eficacia: Mide el grado en que los objetivos de la intervención fueron alcanzados, o se espera que lo sean. Este criterio se centra en el nivel de logro de los resultados en relación con las metas establecidas. La eficacia se pregunta: ¿Logramos lo que nos propusimos?

Impacto: Se refiere a los efectos a largo plazo, tanto positivos como negativos, primarios y secundarios, producidos por la intervención, ya sea directa o indirectamente, intencionados o no intencionados. El impacto va más allá de los productos inmediatos para evaluar cambios más amplios en la vida de los beneficiarios y en los sistemas en los que operan. El impacto se pregunta: ¿Qué cambio duradero generamos?

Sostenibilidad: Es la capacidad de la intervención para mantener sus beneficios una vez finalizado el financiamiento externo. La sostenibilidad examina si los beneficios perdurarán gracias a la apropiación local continua, los acuerdos institucionales, los mecanismos financieros y las consideraciones ambientales. La sostenibilidad se pregunta: ¿Los beneficios perdurarán en el tiempo?

Estos criterios no deben verse como pasos secuenciales, sino como dimensiones interrelacionadas que, en conjunto, ofrecen una evaluación holística. Una intervención puede ser eficaz (alcanzar sus objetivos) pero no sostenible (los beneficios cesan al finalizar la financiación), o eficiente (de bajo costo) pero no pertinente (abordar el problema equivocado). El valor del marco del CAD reside en la exigencia a los evaluadores de considerar las cinco dimensiones, en lugar de centrarse únicamente en la entrega de productos.

Componentes Clave

Una evaluación bien estructurada que utilice los Criterios del CAD debe incluir los siguientes elementos esenciales:

• Preguntas de evaluación vinculadas a los criterios: Cada uno de los cinco Criterios del CAD debe tener al menos una pregunta de evaluación específica. Por ejemplo: "¿En qué medida fue la intervención pertinente para las necesidades de los beneficiarios?" o "¿Qué evidencia existe de la sostenibilidad a largo plazo de los resultados?"
• Fuentes de evidencia para cada criterio: Cada criterio requiere diferentes tipos de evidencia. La Pertinencia se fundamenta en la retroalimentación de las partes interesadas y el análisis del contexto. La Eficiencia exige datos financieros y operativos. La Eficacia y el Impacto dependen de indicadores de resultados e impacto. La Sostenibilidad necesita datos longitudinales y análisis institucional.
• Definiciones claras de cada criterio: Aunque los Criterios del CAD poseen definiciones estándar, cada evaluación debe operacionalizarlos para el contexto específico. ¿Qué significa "Sostenibilidad" para esta intervención en particular? ¿Qué horizonte temporal define el "Impacto"?
• Ponderación o priorización: No todos los criterios tienen el mismo peso en cada evaluación. Una evaluación de emergencia humanitaria puede priorizar la Pertinencia y la Eficiencia sobre la Sostenibilidad a largo plazo. Es importante documentar la justificación de cualquier ponderación diferencial.
• Integración de temas transversales: Las evaluaciones modernas integran consideraciones de género, medio ambiente y rendición de cuentas dentro de cada criterio, en lugar de tratarlos como secciones separadas. Por ejemplo, evaluar si los beneficios llegaron a mujeres y grupos marginados forma parte de la Pertinencia y la Eficacia.
• Perspectivas de las partes interesadas: Cada criterio debe incorporar los puntos de vista de diferentes grupos de partes interesadas. Los beneficiarios pueden juzgar la Pertinencia de manera diferente a los donantes. Es crucial documentar estas perspectivas y cualquier tensión.
• Marco de calificación: Un enfoque consistente para calificar cada criterio (por ejemplo, muy pertinente, moderadamente pertinente, no pertinente) facilita la comparación entre evaluaciones y una comunicación clara de los resultados.

Mejores Prácticas

Asegurar que los cinco criterios sean abordados en el diseño de la evaluación. La evaluación debe utilizar los criterios de evaluación pertinentes: Pertinencia, Eficacia, Eficiencia, Impacto y Sostenibilidad. Cada criterio debe contar con preguntas de evaluación específicas que orienten la recopilación y el análisis de datos.

Derivar las preguntas de evaluación de los criterios. Las preguntas de evaluación deben reflejar los criterios de evaluación pertinentes (Pertinencia, Eficacia, Eficiencia, Impacto y Sostenibilidad). Esto garantiza que la evaluación aborde sistemáticamente todas las dimensiones de mérito y valor.

Limitar el número de preguntas de evaluación. Procure no tener demasiadas preguntas de evaluación; un máximo de 5 a 7 preguntas principales será suficiente. Es preferible contar con pocos indicadores de calidad que con muchos deficientes. Concéntrese en responder adecuadamente las preguntas centrales en lugar de dispersar los recursos en numerosas indagaciones superficiales.

Considerar el diseño de la evaluación con detenimiento. Las consideraciones clave incluyen: ¿Cuáles son las preguntas de evaluación? ¿Qué se va a evaluar (objeto de evaluación)? ¿Qué métodos se utilizarán (cualitativos, cuantitativos, mixtos)? ¿Cuál es el alcance? ¿Qué nivel de rigor es apropiado? ¿Qué recursos están disponibles? Es fundamental equilibrar el rigor metodológico con las limitaciones prácticas.

Evitar la excesiva dependencia de la participación en la evaluación. Si bien los enfoques participativos son valiosos, una dependencia excesiva puede ser costosa, consumir mucho tiempo, ser difícil de gestionar y carecer de un equilibrio adecuado de perspectiva externa si se convierte en una autoevaluación. Mantenga una independencia externa apropiada mientras incorpora la retroalimentación de las partes interesadas.

Equilibrar el alcance con los recursos. Una evaluación con un alcance amplio pero recursos muy limitados puede ser peor que ninguna evaluación si conduce a conclusiones superficiales, ya que las calificaciones de los evaluadores pueden volverse poco fiables. Asegúrese de que el diseño de la evaluación se ajuste a los recursos disponibles para producir resultados creíbles.

Integrar temas transversales en todos los criterios. Evalúe la sensibilidad de género, la sostenibilidad ambiental y los mecanismos de rendición de cuentas dentro de cada criterio, en lugar de tratarlos como secciones separadas. Por ejemplo, evalúe si la intervención fue pertinente para las necesidades de las mujeres como parte de la evaluación de la Pertinencia.

Utilizar escalas de calificación consistentes. Desarrolle una rúbrica clara para calificar cada criterio (por ejemplo, escala del 1 al 5 con anclajes definidos) para asegurar que las calificaciones sean comparables entre evaluaciones y que las partes interesadas comprendan el significado de las diferentes puntuaciones.

Errores Comunes

Tratar los criterios como una simple lista de verificación. Los Criterios del CAD no son meras casillas para marcar, sino dimensiones interrelacionadas que exigen un análisis reflexivo. Simplemente enumerar los resultados bajo cada criterio sin explorar sus conexiones (por ejemplo, cómo las decisiones de Eficiencia afectaron la Eficacia) desaprovecha el valor holístico del marco.

Recursos insuficientes para obtener calificaciones creíbles. Si no se dispone de recursos suficientes para cubrir todo el universo de la encuesta, utilizar un universo parcial limitaría la capacidad de generalizar los datos de la encuesta (y los resultados de la evaluación) al universo completo de estudio. Esto socava la credibilidad de las calificaciones de Eficacia e Impacto.

Sobre-enfatizar la participación a expensas de la independencia. Evite la excesiva dependencia de la participación en la evaluación; puede ser costosa, consumir mucho tiempo, ser difícil de gestionar y carecer de un equilibrio adecuado de perspectiva externa si se convierte en una autoevaluación. La independencia externa es crucial para obtener resultados creíbles.

Conclusiones superficiales debido a evaluaciones con recursos insuficientes. Una evaluación con un alcance amplio pero recursos muy limitados puede ser peor que ninguna evaluación si conduce a conclusiones superficiales, ya que las calificaciones de los evaluadores pueden volverse poco fiables. Es preferible reducir el alcance y producir resultados creíbles que intentar abarcarlo todo de manera deficiente.

Ignorar la Sostenibilidad en evaluaciones a corto plazo. Muchas evaluaciones se centran únicamente en los productos y resultados inmediatos sin evaluar si los beneficios perdurarán. La Sostenibilidad exige mirar más allá del período de evaluación para considerar los acuerdos institucionales, los mecanismos financieros y la apropiación local.

Confundir Eficacia con Impacto. La Eficacia mide si los resultados previstos fueron alcanzados; el Impacto evalúa cambios más amplios y a largo plazo, incluyendo efectos no intencionados. Una intervención puede ser eficaz (cumplir metas) pero tener un impacto limitado o incluso negativo (si las consecuencias no intencionadas superan los beneficios).

Aplicar los criterios sin adaptación contextual. Los criterios son estándar, pero su aplicación debe contextualizarse. Lo que constituye "Pertinencia" para una intervención de salud difiere de la programación de gobernanza. Defina cada criterio operacionalmente para su evaluación específica.

Ejemplos

Programa de Salud - África Subsahariana

Un programa de prevención de malaria de 5 años fue evaluado utilizando los cinco Criterios del CAD. La evaluación de Pertinencia encontró que la intervención se alineaba bien con las prioridades nacionales de salud y las necesidades comunitarias, con un 90% de los beneficiarios reportando que la intervención abordaba sus preocupaciones de salud más apremiantes. El análisis de Eficiencia reveló que el costo por red distribuida fue un 15% por debajo del presupuesto debido a cadenas de suministro simplificadas. Los resultados de Eficacia mostraron que el 75% de las metas de resultados fueron alcanzadas, con una incidencia de malaria reducida en un 40% en las áreas objetivo. La evaluación de Impacto identificó efectos positivos no intencionados: reducción de gastos médicos en los hogares y mejora en la asistencia escolar entre niños. La evaluación de Sostenibilidad arrojó resultados mixtos: las redes de trabajadores de salud comunitarios mostraron una fuerte apropiación local, pero la dependencia de medicamentos financiados por donantes generó preocupaciones sobre el acceso a largo plazo. La fortaleza de la evaluación radicó en conectar explícitamente las decisiones de Eficiencia (inversiones en la cadena de suministro) con los resultados de Eficacia, demostrando cómo las decisiones operativas afectaron los resultados del programa.

Programa de Gobernanza - Sudeste Asiático

Una iniciativa de democracia y gobernanza enfrentó desafíos para demostrar su Impacto debido a los largos plazos requeridos para el cambio político. El equipo de evaluación adaptó el marco del CAD mediante: (1) la definición de indicadores de Impacto intermedios que pudieran medirse dentro del plazo del programa, (2) el uso de seguimiento de procesos para documentar la contribución a los cambios de política, y (3) la incorporación de percepciones de las partes interesadas sobre la Pertinencia mediante grupos focales con funcionarios gubernamentales y la sociedad civil. El criterio de Pertinencia incorporó una evaluación cualitativa de la alineación con las prioridades de gobernanza local. La Eficiencia incluyó un análisis de costo-efectividad comparado con intervenciones de gobernanza alternativas. La Eficacia midió tanto la entrega de productos como el logro de resultados. El Impacto utilizó el análisis de contribución para evaluar el rol del programa en los cambios de política observados. La Sostenibilidad examinó la institucionalización de las reformas dentro de las estructuras gubernamentales. Esta adaptación demostró cómo los Criterios del CAD podían aplicarse de manera flexible, manteniendo su valor analítico central.

Programa de Educación - Sur de Asia

Una evaluación de un programa de capacitación de maestros se centró fuertemente en la Eficacia (midiendo cambios en las prácticas de enseñanza) pero inicialmente descuidó la Sostenibilidad. La retroalimentación de las partes interesadas reveló que, si bien los maestros capacitados mejoraron sus prácticas durante el período financiado, muchos regresaron a métodos anteriores una vez finalizada la financiación debido a la falta de apoyo continuo para el desarrollo profesional. La evaluación fue revisada para incluir una evaluación de Sostenibilidad, examinando los acuerdos institucionales para la capacitación continua, las asignaciones presupuestarias para el desarrollo profesional y las estructuras de incentivos de carrera. Esta revisión transformó la evaluación de una simple evaluación de Eficacia a un análisis más integral sobre si la intervención produciría un cambio duradero. La evaluación revisada recomendó establecer un fondo de capacitación sostenible, que fue posteriormente incorporado al diseño de seguimiento del programa.

Comparación con otros marcos

Los Criterios del CAD son uno de los varios marcos de evaluación existentes. A continuación, se presentan las diferencias clave:

Los Criterios del CAD son particularmente valiosos cuando los requisitos de los donantes especifican su uso o al comparar evaluaciones entre programas. Los estándares del CEB, por su parte, proporcionan un marco de calidad más amplio para las evaluaciones en sí mismas, en lugar de criterios para evaluar las intervenciones.

Indicadores Relevantes

12 indicadores clave en los principales marcos de donantes (CRS, IFRC, USAID, Global Fund) se relacionan con la aplicación de los criterios de evaluación del CAD:

• Calidad del marco de evaluación: "Proporción de evaluaciones que utilizan los cinco Criterios del CAD en el marco de evaluación" (CRS)
• Diseño de preguntas de evaluación: "Porcentaje de preguntas de evaluación vinculadas a Criterios del CAD específicos" (IFRC)
• Cobertura de criterios: "Número de recomendaciones de evaluación que abordan cada Criterio del CAD" (USAID)
• Alineación de partes interesadas: "Grado en que los resultados de la evaluación abordan los criterios de Pertinencia definidos por las partes interesadas" (Global Fund)

Temas Relacionados

• Matriz de Evaluación: Herramienta operativa para organizar preguntas de evaluación e indicadores según los Criterios del CAD
• Términos de Referencia para Evaluación: Documento que especifica el alcance de la evaluación, incluyendo los Criterios del CAD a abordar
• Evaluación Centrada en la Utilización: Enfoque que utiliza los Criterios del CAD para enfocarse en las necesidades de evaluación de los usuarios previstos
• Eficacia vs. Impacto: Aclara la distinción entre estos dos Criterios del CAD
• Criterios de Pertinencia: Análisis profundo de la evaluación de la Pertinencia del programa