Informe de evaluación: qué es y qué incluir

¿Qué es un informe de evaluación?

El informe de evaluación es el principal producto escrito de una evaluación. Lo redacta el equipo evaluador para la organización que encargó la evaluación y para otros usuarios previstos, como el socio implementador, el donante y el personal del programa. Presenta el propósito de la evaluación, los métodos utilizados, los hallazgos, las conclusiones que se extraen de ellos y las recomendaciones que se derivan. El informe final de evaluación es la versión que se entrega al cierre de la evaluación, normalmente después de que la organización que la encargó y las principales partes interesadas hayan revisado el borrador.

En el uso corriente, "informe de evaluación" suele referirse al informe de una evaluación de fin de proyecto: un documento que le dice a quien encargó la evaluación si el programa hizo lo que se proponía, por qué lo logró o no, y qué hacer a continuación.

Por qué importa

En la mayoría de las evaluaciones, el informe es la única parte que ven las personas ajenas al proceso. Las entrevistas, encuestas y análisis que hay detrás solo sirven si el informe los documenta con la claridad suficiente para que sean creíbles, se puedan verificar y se usen.

También cumple una función de rendición de cuentas. Las Normas y Estándares del UNEG indican que los informes de evaluación deben ser de acceso público y que los lectores deben poder entender qué se evaluó y por qué, cómo se realizó la evaluación, qué se encontró y con qué evidencia, qué se concluyó, qué se recomendó y qué se puede aprender.

¿Qué incluye un informe de evaluación?

Un informe final de evaluación suele abarcar las siguientes partes, más o menos en este orden:

1. Resumen ejecutivo. Un resumen autónomo, por lo general de 2 a 3 páginas, que cubre el programa, los objetivos y el público de la evaluación, la metodología, los hallazgos y conclusiones más importantes y las principales recomendaciones. Muchos lectores solo leen esta parte.

2. Introducción y propósito de la evaluación. Por qué se realizó la evaluación en este momento, quién necesitaba la información, cómo se usará y qué abarcó y qué no abarcó la evaluación.

3. Descripción y contexto del programa. Los objetivos, actividades, ubicación geográfica, presupuesto, cronograma, socios implementadores y participantes previstos del programa, además de su teoría del cambio o cadena de resultados. Incluya el contexto político, económico e institucional que influyó en los resultados y los cambios importantes introducidos durante la implementación.

4. Preguntas y criterios de evaluación. Las preguntas que la evaluación se propuso responder, tomadas de los términos de referencia (TdR) y de las revisiones acordadas durante la fase de inicio, y los criterios utilizados, por lo común los criterios del CAD de la OCDE. Los estándares de calidad de la OCDE esperan que el informe responda todas las preguntas de los TdR o explique por qué no pudo hacerlo.

5. Metodología y limitaciones. El diseño, las fuentes de datos, el muestreo, los métodos de recolección y análisis de datos, y la razón por la que se eligió cada uno. Indique lo que salió mal o no pudo hacerse (por ejemplo, sitios inaccesibles, bajas tasas de respuesta, falta de datos de línea de base) y cómo afecta a los hallazgos.

6. Hallazgos. La evidencia, organizada por pregunta o criterio de evaluación para que los lectores encuentren la respuesta a cada uno. Los hallazgos informan lo que muestran los datos, con cifras, citas y fuentes, y señalan dónde la evidencia es escasa o las fuentes discrepan.

7. Conclusiones. Los juicios de los evaluadores sobre el programa, basados en los hallazgos: qué tan bien se desempeñó frente a cada criterio, sus principales fortalezas y debilidades, y por qué.

8. Recomendaciones. Acciones específicas dirigidas a destinatarios concretos, priorizadas y vinculadas con las conclusiones que las sustentan.

9. Lecciones aprendidas. Aprendizajes que se aplican más allá de este programa, como decisiones de diseño o enfoques que otros programas podrían adoptar o evitar. Véase Lecciones aprendidas.

10. Anexos. Los TdR, la matriz de evaluación, los instrumentos de recolección de datos, la lista de personas consultadas y sitios visitados, los documentos revisados, las biografías de los evaluadores y las tablas de datos detalladas.

Cómo los hallazgos llevan a las conclusiones y recomendaciones. Esta cadena es donde con más frecuencia fallan los informes de evaluación, y los estándares de calidad de la OCDE piden que los hallazgos, conclusiones, recomendaciones y lecciones se presenten por separado, con una distinción lógica clara entre ellos. Un hallazgo es un enunciado de hecho respaldado por evidencia. Una conclusión es un juicio que se deriva de uno o más hallazgos. Una recomendación es una acción que se desprende de una conclusión. Un ejemplo ilustrativo de la cadena:

• Hallazgo: De 400 agricultores encuestados, el 31 por ciento usaba el método de almacenamiento enseñado en la capacitación, y la mayoría de los que no lo usaban dijo que las sesiones se habían realizado durante la temporada de siembra.
• Conclusión: La capacitación llegó al grupo destinatario, pero su calendario limitó la adopción, por lo que no se alcanzó la meta de adopción.
• Recomendación: Programar las próximas capacitaciones después de la cosecha y pedir al socio implementador que informe sobre la asistencia y la adopción en cada temporada.

Si el lector no puede rastrear una recomendación hasta una conclusión y una conclusión hasta la evidencia, el informe tiene una brecha.

Esquema de ejemplo

Un informe final de evaluación de un programa de tamaño mediano suele seguir este esquema (unas 45 páginas de texto principal):

1. Resumen ejecutivo (2 a 3 páginas)
2. Introducción: propósito, alcance y usuarios previstos (2 páginas)
3. Descripción y contexto del programa (4 páginas)
4. Preguntas y criterios de evaluación (2 páginas)
5. Metodología y limitaciones (5 páginas)
6. Hallazgos por pregunta de evaluación (18 páginas)
7. Conclusiones (3 páginas)
8. Recomendaciones (3 páginas)
9. Lecciones aprendidas (2 páginas)

La portada y las primeras páginas deben indicar el objeto evaluado, el período y la fecha del informe, el lugar, los evaluadores y la organización que encargó la evaluación, e incluir un índice y una lista de siglas.

Anexos (normalmente entre 20 y 60 páginas adicionales): términos de referencia, matriz de evaluación, instrumentos de recolección de datos, lista de personas entrevistadas y sitios visitados, lista de documentos consultados, tablas de datos detalladas y biografías de los evaluadores.

Informe de evaluación, informe de progreso e informe de inicio

Los tres documentos se redactan en momentos distintos y responden preguntas distintas.

Errores frecuentes

Hallazgos, conclusiones y recomendaciones mezclados. Cuando un párrafo plantea a la vez un hecho, un juicio y una acción, los lectores no pueden saber qué evidencia respalda qué. Manténgalos separados y numérelos para que cada recomendación remita a la conclusión que la sustenta.

Hallazgos organizados por fuente de datos y no por pregunta. Una sección sobre la encuesta, otra sobre las entrevistas y otra sobre la revisión documental obliga al lector a armar la respuesta por su cuenta. Organícelos por pregunta de evaluación y reúna las fuentes bajo cada una.

Recomendaciones que nadie puede ejecutar. "Fortalecer la coordinación" no dice quién debe hacer qué ni para cuándo. Indique el destinatario de cada recomendación, hágala lo bastante específica para poder ejecutarla y priorícela. La guía del UNEG también indica consultar a quienes probablemente las implementarán, para que las recomendaciones sean realistas.

Ocultar las limitaciones. Un informe que no dice qué sitios no se alcanzaron o qué tan pequeña fue la muestra sobreestima su evidencia. Declare las limitaciones en la metodología y señálelas de nuevo donde afecten a un hallazgo.

Resumen ejecutivo escrito al final y con prisa. Muchos lectores no leen nada más. Debe poder leerse por sí solo y contener los hallazgos, conclusiones y recomendaciones clave.

Variaciones según el tipo de evaluación

La estructura básica se mantiene en todos los tipos, pero cambia el énfasis.

Evaluaciones finales o sumativas. Emiten un juicio sobre los resultados generales, por lo que las secciones de hallazgos se organizan en torno a los criterios (pertinencia, eficacia, eficiencia, sostenibilidad y, cuando se exige, impacto), y las conclusiones sopesan si el programa alcanzó sus objetivos. Véase Evaluación sumativa.

Evaluaciones y revisiones de medio término. El informe mira hacia adelante. Pesan más las recomendaciones sobre cambios para el resto del período de implementación, y el informe es más breve. Véase Revisión de medio término.

Evaluaciones de impacto. La sección de metodología se amplía para justificar cómo se atribuyen los resultados al programa, incluidos el grupo de comparación, el tamaño de la muestra y los métodos estadísticos, y el informe presenta los tamaños del efecto y su incertidumbre. Véase Evaluación de impacto.

Evaluaciones de procesos o de implementación. La descripción del programa y los hallazgos se detienen en cómo funcionó la ejecución: qué se implementó según lo previsto, qué cambió y por qué. Véase Evaluación de procesos.

Evaluaciones en tiempo real. Los informes son breves y frecuentes, a menudo una nota informativa o un memorando entregado mientras la respuesta sigue en curso, con énfasis en recomendaciones operativas inmediatas. Véase Evaluación en tiempo real.

En todos los casos la prueba es la misma: ¿puede un lector que no participó encontrar la respuesta a cada pregunta de evaluación, ver la evidencia que la respalda y ver qué recomendación se desprende de qué conclusión?