Qué Son
Entendiendo los criterios del CAD de la OCDE
El Comité de Asistencia para el Desarrollo (CAD) de la OCDE estableció los cinco criterios de evaluación originales en 1991: relevancia, eficacia, eficiencia, impacto y sostenibilidad. En 2019, estas definiciones fueron revisadas, se añadió la coherencia como sexto criterio y se actualizó el lenguaje para reflejar las prácticas modernas de evaluación. Actualmente, estos criterios constituyen el marco más utilizado para estructurar las evaluaciones en el ámbito del desarrollo internacional.
No deben verse como una lista de verificación exhaustiva, sino como un menú de opciones. Si bien toda evaluación debe incorporar algunos de ellos, ninguna debería intentar utilizarlos todos por igual. La verdadera habilidad reside en seleccionar qué criterios priorizar y en formular preguntas de evaluación precisas para cada uno.
De un Vistazo
Criterios del CAD: un vistazo rápido
| Criterio | Pregunta Central | Añadido/Revisado |
|---|---|---|
| Relevancia | ¿El programa aborda la problemática adecuada? | Original (1991), revisado 2019 |
| Coherencia | ¿El programa se integra bien con otras intervenciones? | Nuevo en 2019 |
| Eficacia | ¿El programa está logrando sus objetivos? | Original (1991), revisado 2019 |
| Eficiencia | ¿Se están utilizando bien los recursos? | Original (1991), revisado 2019 |
| Impacto | ¿Qué diferencia más amplia genera el programa? | Original (1991), revisado 2019 |
| Sostenibilidad | ¿Perdurarán los beneficios? | Original (1991), revisado 2019 |
Los 6 Criterios
Explorando los seis criterios de evaluación del CAD
Relevancia
Definición: ¿La intervención aborda la problemática adecuada? Evalúa si responde a las necesidades, políticas y prioridades de los beneficiarios, del país y del contexto global. También considera si mantiene su pertinencia a medida que las circunstancias evolucionan.
Ejemplos de preguntas de evaluación:
- ¿En qué medida el programa aborda las necesidades prioritarias identificadas por las comunidades objetivo y cómo han evolucionado esas necesidades desde su diseño?
- ¿Qué tan bien se alinea el diseño del programa con la estrategia nacional de desarrollo y las políticas sectoriales?
Error común: Considerar la relevancia como una mera formalidad. Muchas evaluaciones responden con un "sí, el programa es relevante" sin analizar a fondo si las necesidades han cambiado desde su concepción. La revisión de 2019 subraya explícitamente la importancia de la capacidad de respuesta ante contextos cambiantes. Pregúntate si el programa sigue siendo relevante ahora, no solo si lo fue en sus inicios.
Coherencia
Definición: ¿Qué tan bien se integra la intervención? Evalúa si es compatible con otras intervenciones en el mismo país, sector u organización. Esto abarca la coherencia interna (alineación entre la intervención y las propias políticas de la organización) y la coherencia externa (complementariedad con las acciones de otros actores).
Ejemplos de preguntas de evaluación:
- ¿En qué medida el programa complementa o duplica las actividades de otras organizaciones que trabajan en nutrición en los mismos distritos?
- ¿Qué tan bien se alinea el programa con la estrategia global de la organización y con otros programas a nivel de país?
Error común: Confundir coherencia con coordinación. La coherencia se refiere al encaje estratégico, no a si las organizaciones celebran reuniones conjuntas. Dos programas pueden coordinarse bien y aun así ser incoherentes (persiguiendo enfoques contradictorios para el mismo problema). Por el contrario, dos programas pueden tener nula coordinación pero ser altamente coherentes (con diferentes puntos de entrada para un mismo objetivo). Ten en cuenta también que la coherencia es el criterio más reciente, y muchos evaluadores aún están explorando cómo operacionalizarlo. Mantén las preguntas enfocadas y evita que este criterio se convierta en un mapeo exhaustivo de cada actor del sector.
Eficacia
Definición: ¿La intervención está logrando, o es probable que logre, sus objetivos y resultados previstos? Esto incluye la consideración de los efectos diferenciales entre grupos.
Ejemplos de preguntas de evaluación:
- ¿En qué medida el programa ha logrado su resultado previsto de aumentar la diversidad dietética de los hogares entre los beneficiarios objetivo?
- ¿Qué factores han facilitado o dificultado el logro de los resultados del programa y cómo difieren estos entre las zonas urbanas y rurales?
Error común: Confundir productos con resultados. La eficacia no se pregunta "¿entregamos la capacitación?" (eso es un producto), sino "¿la capacitación generó un cambio en las prácticas?" (eso es un resultado). La revisión de 2019 también subraya la importancia de observar los efectos diferenciales: quién se benefició y quién no. Si tu evaluación presenta resultados promedio sin desagregación, estarás omitiendo un aspecto crucial de la eficacia.
Eficiencia
Definición: ¿Qué tan bien se están utilizando los recursos? Evalúa si la intervención está generando resultados de manera económica y oportuna. Esto implica comparar los costos y beneficios de la intervención con enfoques alternativos.
Ejemplos de preguntas de evaluación:
- ¿Cómo se compara el costo por beneficiario de este programa con el de programas similares que utilizan modelos de entrega alternativos?
- ¿Se podrían haber logrado los mismos resultados con menos recursos, o se podrían haber obtenido más resultados con los mismos recursos?
Error común: Reducir la eficiencia a una cifra única de costo por beneficiario, sin considerar el contexto. Un programa que cuesta $50 por beneficiario no es automáticamente más eficiente que uno de $200. El programa de $200 podría ofrecer resultados más duraderos o profundos. Un análisis de eficiencia riguroso requiere comparar los costos con los resultados, no solo los costos. Consulta análisis de costo-eficacia para conocer los métodos.
Impacto
Definición: ¿Qué diferencia genera la intervención? Este criterio abarca los efectos de nivel superior, tanto intencionados como no intencionados, positivos y negativos. La revisión de 2019 amplió la definición de impacto, yendo más allá del "efecto atribuible" para abarcar el cambio más amplio al que la intervención contribuye.
Ejemplos de preguntas de evaluación:
- ¿Qué cambios más amplios en la seguridad alimentaria a nivel de distrito se pueden observar desde el inicio del programa y cuál es la contribución plausible del programa a estos cambios?
- ¿Qué efectos no intencionados (positivos o negativos) ha tenido el programa en poblaciones no objetivo o en la dinámica de género dentro de las comunidades objetivo?
Error común: No confundir impacto con eficacia. La eficacia se refiere a los resultados previstos de tu programa, mientras que el impacto se centra en el panorama general. Un programa de capacitación podría ser efectivo (los participantes aprendieron nuevas habilidades) pero tener un impacto limitado (esas habilidades no se tradujeron en cambios de ingresos a nivel comunitario). Las evaluaciones de impacto suelen exigir diseños más rigurosos, muestras de mayor tamaño y plazos más extensos. La mayoría de las evaluaciones de programas deben centrarse en la eficacia y solo abordar el impacto si el presupuesto y el diseño lo permiten. Consulta Cómo Elegir la Metodología de Evaluación para obtener orientación sobre cómo alinear tu diseño con tus preguntas.
Sostenibilidad
Definición: ¿Perdurarán los beneficios netos de la intervención una vez finalizada la financiación? Esto abarca la sostenibilidad financiera, institucional, social y ambiental.
Ejemplos de preguntas de evaluación:
- ¿En qué medida las instituciones locales han desarrollado la capacidad y los recursos para continuar las actividades del programa sin apoyo externo?
- ¿Cuál es la probabilidad de que los cambios de comportamiento observados entre los beneficiarios persistan dos años después de la finalización del programa?
Error común: Abordar la sostenibilidad de forma prematura. Una evaluación de medio término de un programa de 5 años no puede determinar de manera significativa si los beneficios perdurarán una vez finalizado el programa. Sin embargo, sí puede evaluar si el programa está sentando las bases para la sostenibilidad (desarrollo de capacidades, planificación de la transferencia, apropiación local). Formula las preguntas de sostenibilidad de manera adecuada al momento de la evaluación. Además, evita la pregunta vaga "¿Es sostenible el programa?". En su lugar, especifica qué esperas que se sostenga: servicios, comportamientos, instituciones, políticas.
Cómo Elegir Cuáles Usar
Cómo seleccionar los criterios adecuados para tu evaluación
No es recomendable utilizarlos todos. A continuación, te explicamos cómo elegir.
Empieza por definir el propósito de la evaluación. Una evaluación formativa de medio término y una evaluación sumativa final tienen propósitos distintos y, por lo tanto, deben enfatizar criterios diferentes.
| Tipo de evaluación | Criterios recomendados | Por qué |
|---|---|---|
| Formativa de medio término | Relevancia, Eficacia, Eficiencia | Se enfoca en la corrección de rumbo. Es demasiado pronto para evaluar impacto o sostenibilidad. |
| Sumativa final | Eficacia, Impacto, Sostenibilidad | Se enfoca en los resultados y el cambio duradero. La relevancia es menos accionable al final. |
| Revisión temática/sectorial | Coherencia, Relevancia, Eficacia | Para comprender cómo se integran los programas en un sector. |
| Evaluación en tiempo real | Relevancia, Eficacia | Para obtener retroalimentación rápida durante la implementación. La eficiencia, el impacto y la sostenibilidad se abordan más tarde. |
Limítate a 3-4 criterios. Con 1-2 preguntas de evaluación por criterio y un presupuesto realista, 3-4 criterios permiten realizar evaluaciones enfocadas y accionables. Cinco o seis criterios dispersan los recursos y resultan en respuestas superficiales a todas las preguntas, en lugar de respuestas profundas a las más importantes.
Total de preguntas de evaluación: apunta a 6-10. Cada criterio debe tener entre 1 y 3 preguntas. Más de 10 preguntas en total indican que tu evaluación está intentando abarcar demasiado. Prioriza sin contemplaciones. Cada pregunta adicional incrementa los costos de recolección de datos, el tiempo de análisis y la extensión del informe. Redacta tus preguntas en una matriz de evaluación para verificar que cada una tenga una fuente de datos, un método y un plan de análisis claros.
ALNAP (Humanitario)
Criterios adicionales de ALNAP para evaluaciones humanitarias
Las evaluaciones humanitarias a menudo añaden dos criterios adicionales de ALNAP (Red de Aprendizaje Activo para la Rendición de Cuentas y el Desempeño):
Cobertura: ¿La intervención llegó a la población prevista, especialmente a los más vulnerables?
Conectividad (o coordinación): ¿La intervención estuvo vinculada a los esfuerzos de recuperación y desarrollo a largo plazo?
Estos criterios complementan los del CAD en contextos humanitarios, donde alcanzar a las poblaciones afectadas y vincular la ayuda de emergencia con la recuperación son aspectos críticos. Utilízalos al evaluar la respuesta a emergencias, la programación para refugiados o la reducción del riesgo de desastres.
Errores Comunes
Errores frecuentes al aplicar los criterios del CAD
Error 1: usar los seis criterios en cada evaluación. Este es el error más común. Unos términos de referencia que enumeran los seis criterios con tres preguntas por cada uno resultan en más de 18 preguntas de evaluación, algo que ninguna evaluación puede abordar satisfactoriamente con un presupuesto típico. Elige 3-4 criterios. Justifica tu elección. Omite el resto.
Error 2: redactar preguntas de evaluación vagas. "¿Es relevante el programa?" no constituye una pregunta de evaluación adecuada. En cambio, "¿En qué medida el programa aborda las necesidades prioritarias identificadas por los comités de salud comunitarios en los distritos objetivo?" sí lo es. Las preguntas vagas generan respuestas vagas. Cada pregunta debe especificar qué se está evaluando, para quién y contra qué estándar.
Error 3: tratar los criterios como cajas independientes. Los criterios interactúan entre sí. Un programa puede ser altamente efectivo pero no eficiente (lograr resultados a un costo excesivo). Del mismo modo, un programa puede ser relevante pero no coherente (abordar necesidades reales pero duplicar las acciones de otros). Tu análisis debe resaltar estas interconexiones. Evita redactar seis capítulos aislados en el informe de evaluación.
Error 4: incluir la coherencia solo por ser un criterio nuevo. La coherencia se añadió en 2019 y muchos términos de referencia la incluyen ahora de forma automática. Incluye la coherencia solo si es importante para el propósito de tu evaluación. Si la evaluación se centra en los resultados internos de un programa, la coherencia podría no ser una prioridad. Sin embargo, si la evaluación aborda cómo múltiples programas colaboran en un sector, la coherencia es fundamental.
Error 5: confundir los criterios del CAD con un marco de evaluación. Los criterios te indican qué evaluar, pero no cómo hacerlo. Aun así, necesitas seleccionar los métodos, diseños y enfoques de recolección de datos para cada pregunta. Los criterios estructuran los TdR de evaluación, mientras que la sección de metodología de los TdR detalla cómo responder a las preguntas. Consulta la guía de evaluación para conectar los criterios con los métodos apropiados.
Error 6: omitir los efectos no intencionados en el criterio de impacto. La revisión de 2019 incorpora explícitamente los efectos no intencionados, tanto positivos como negativos. Un programa de nutrición que mejora la diversidad dietética (intencionado) pero aumenta la carga de trabajo de las mujeres (negativo no intencionado) ha generado ambos tipos de efectos. Tu evaluación de impacto debe buscar ambos. Pregunta a las partes interesadas qué cambios inesperados se produjeron. No limites la recolección de datos a tus indicadores predefinidos.