Tipos de evaluación comparados

Una familia con muchas preguntas

La "evaluación" no es un método único. Es una familia de enfoques, y cada uno responde a una pregunta distinta en un momento distinto de la vida de un programa. Elegir mal el tipo es un error frecuente y costoso: la evaluación no puede responder las preguntas para las que se hizo, porque los datos adecuados no se recopilaron en el momento adecuado.

Esta página compara siete tipos de evaluación y después tres opciones sobre quién la realiza. La evaluación de procesos y la de resultados son las dos que necesita la mayoría de los programas. Conviene conocer las demás para reconocer cuándo se aplican y cuándo no.

Los siete tipos, lado a lado

Términos usados en esta página:

• Fidelidad: si un programa se ejecuta tal como fue diseñado.
• Atribución: demostrar que el programa causó un cambio, y no otra cosa.
• Cuasiexperimental: diseño que construye un grupo de comparación sin asignación aleatoria.

Los costos son valoraciones relativas, no precios, y varían según el contexto. Los métodos y los mejores usos difieren para cada tipo:

• De procesos: revisión de documentos, entrevistas, observación y listas de verificación de fidelidad. Es lo más adecuado para programas nuevos, intervenciones complejas y para comprobar si se está listo para ampliar la escala.
• De resultados: comparación de antes y después, encuestas y métodos mixtos. Es lo más adecuado para la mayoría de los programas; responde a "¿funcionó?".
• De impacto: diseños aleatorizados o cuasiexperimentales, o análisis de contribución. Es lo más adecuado para programas grandes que necesitan evidencia causal para decidir si se amplía la escala.
• Formativa: evaluaciones rápidas, métodos participativos y retroalimentación en tiempo real. Es lo más adecuado para pilotos, programas adaptativos y la prueba de innovaciones.
• Sumativa: métodos mixtos, metaanálisis y análisis de costo-efectividad. Es lo más adecuado para programas que cierran, para la rendición de cuentas y para decisiones de financiamiento futuro.
• Del desarrollo: un evaluador integrado y métodos aptos para la complejidad. Es lo más adecuado para la innovación y el cambio de sistemas. Exige un evaluador integrado a largo plazo, por lo que no es una opción habitual en la mayoría de los programas financiados con subvenciones.
• En tiempo real: encuestas rápidas, teledetección y redes de informantes clave. Es lo más adecuado para la respuesta humanitaria y los programas de emergencia.

Cuatro preguntas antes de elegir

Estas preguntas se responden primero. Las respuestas suelen apuntar a uno o dos tipos.

1. ¿Qué decisión informará la evaluación: ampliar la escala, renovar el financiamiento, aprender o rendir cuentas?
2. ¿Cuándo se hará: a medio camino, al final o cuando terminen las actividades?
3. ¿Hace falta demostrar la atribución, o basta una contribución plausible?
4. ¿Cuál es el presupuesto y qué nivel de independencia exige el donante?

Sea cual sea el tipo elegido, debe seguir cubriendo las preguntas que plantea el donante. Muchos donantes usan los criterios del CAD de la OCDE (revisados en 2019): pertinencia, coherencia, eficacia, eficiencia, impacto y sostenibilidad.

Si las respuestas no son claras, se comienza con una evaluación de resultados. Se ajusta a la mayoría de los programas, de las etapas y de los requisitos de los donantes.

Los tres pares que más se confunden

Procesos y resultados. Una evaluación de procesos pregunta si el programa entrega lo que se diseñó entregar, de la manera en que se diseñó. Una evaluación de resultados pregunta si los cambios previstos ocurrieron entre las personas a quienes sirve el programa. Un programa puede tener una fidelidad excelente y aun así no producir ningún cambio. También puede haber cambio mientras la ejecución se aparta del diseño. Primero se corrige el proceso y después se mide el resultado.

Resultados e impacto. Una evaluación de resultados establece que ocurrieron estos cambios en la población destinataria. Una evaluación de impacto establece que el programa los causó, y no otros factores. Esa afirmación exige una comparación creíble: un grupo de control, un grupo de comparación o un enfoque analítico riguroso. La mayoría de los programas no tiene el tamaño de muestra, el presupuesto ni el grupo de comparación necesarios. Lo habitual es que la respuesta adecuada sea una evaluación de resultados sólida con un argumento plausible de contribución.

Formativa y sumativa. Estos términos describen el propósito, no el método. Una evaluación formativa devuelve información para mejorar mientras el programa se ejecuta. Una evaluación sumativa juzga el valor global al final. Una misma evaluación puede cumplir ambas funciones. Una evaluación de medio término suele informar los avances al donante (sumativa) y orientar los ajustes del año siguiente (formativa).

La mayoría de las organizaciones pequeñas y medianas no necesita una evaluación de impacto costosa. Una evaluación de procesos sólida en el año 1 y una evaluación de resultados al final cubren casi todas las necesidades. La evaluación de impacto se reserva para cuando coinciden el presupuesto, el tamaño de muestra y una necesidad real de demostrar la causalidad.

Quién la realiza: interna, externa o híbrida

Toda evaluación implica también decidir quién hace el trabajo. Las opciones van desde lo totalmente interno hasta lo totalmente externo, con un modelo híbrido en el medio.

Cada opción se usa donde corresponde:

• Interna: pilotos pequeños, evaluación formativa y revisiones de aprendizaje en que lo que está en juego en materia de rendición de cuentas es poco.
• Externa: evaluaciones exigidas por el donante, evaluaciones sumativas de alto riesgo y programas sensibles.
• Híbrida: evaluaciones de medio término y finales en que el equipo tiene capacidad y el costo es una restricción.

Cuando los hallazgos sustentan decisiones de alto riesgo, o cuando el donante lo exige, se recurre a un evaluador externo con independencia documentada, es decir, sin relación previa con el programa ni con su donante. El costo se incluye en el presupuesto de M&E desde el principio. Ningún porcentaje del costo del programa sirve para todas las evaluaciones, así que la partida se basa en un plan con costos para el diseño, el trabajo de campo, el análisis y la presentación de informes. Sin una partida presupuestaria, la factura llega en el año 2 y no hay con qué pagarla.

Nota sectorial, educación. Las evaluaciones suelen usar los puntajes de pruebas como indicadores de resultado. Un aumento en el puntaje puede reflejar que se enseñó para la prueba y no que se aprendió. Conviene añadir un componente de procesos que verifique si los docentes cambiaron realmente su práctica.

Nota sectorial, gobernanza. Los cambios de políticas y las reformas institucionales tienen muchas causas además de un programa. El análisis de contribución, que evalúa la contribución plausible del programa y no una atribución exclusiva, suele convenir más al trabajo de gobernanza que un diseño experimental. La pregunta es "¿qué aportó este programa al cambio?" y no "¿causó el cambio?".

Ejemplo práctico: Healthy Futures

Healthy Futures es un programa ficticio de nutrición infantil en el distrito de Kasenda. Dura 36 meses y lo financia el Global Health Partnership Fund (GHPF). El GHPF espera una evaluación de medio término, con el informe final en el mes 24.

La persona responsable de M&E parte de las preguntas que el GHPF quiere ver respondidas, no de un tipo. ¿Se ejecuta el programa como se diseñó? Es una pregunta de procesos. ¿Aparecen los primeros resultados? Es una pregunta de resultados. ¿Qué debe cambiar en el año 3? Es una pregunta formativa. Se descarta una evaluación de impacto: a medio término en un programa de 36 meses el seguimiento es demasiado corto para responder una pregunta de atribución.

La recomendación es una evaluación combinada de procesos y resultados con un enfoque formativo. No es una evaluación de impacto, porque el objetivo es valorar los avances y obtener lecciones, no demostrar la causalidad.

En cuanto a la independencia, el equipo elige un evaluador externo, porque los hallazgos de medio término orientarán las decisiones del año 3 y se informarán al donante. El evaluador externo dirige la evaluación y redacta el informe, y el equipo da acceso a los datos de monitoreo y a la logística de campo. El tope de costo es de $35,000 y el contrato del evaluador es de $28,000.

Si se retrocede desde el mes 24: los términos de referencia se redactan en el mes 16 y se difunden en el mes 17, cuando se firma el contrato. La fase inicial es el mes 18, el trabajo de campo los meses 20 a 21, el borrador del informe el mes 22 y el informe final el mes 24.

El tipo siguió a las preguntas, y el evaluador siguió a lo que está en juego y al presupuesto.

Dónde continuar

Se anotan el tipo y el evaluador elegidos en los términos de referencia de la evaluación. Para cada tipo en particular, véanse la evaluación de procesos, la evaluación de impacto, la evaluación formativa y sumativa y la evaluación del desarrollo.