La evaluación sumativa se lleva a cabo al finalizar o después de la culminación de un programa para valorar sus resultados globales. Su objetivo es responder a preguntas clave como: "¿Funcionó el programa? ¿Para quién? ¿A qué costo? ¿Cuál fue su impacto real?". A diferencia de la evaluación formativa, que busca orientar ajustes durante la implementación, la evaluación sumativa ofrece un veredicto final sobre el desempeño.
Preguntas clave de la evaluación sumativa
Las evaluaciones sumativas suelen enfocarse en cinco preguntas fundamentales:
- ¿Se alcanzaron los objetivos y metas establecidos?
- ¿Qué resultados pueden atribuirse directamente al programa y en qué medida habrían ocurrido de todos modos?
- ¿Cómo variaron los resultados entre los diferentes subgrupos (por ejemplo, género, ubicación geográfica, nivel de vulnerabilidad, intensidad de la intervención)?
- ¿Fue el programa costo-efectivo en comparación con alternativas o con los estándares del sector?
- ¿Qué lecciones aprendidas son aplicables a futuros programas, tanto propios como del sector en general?
Una buena evaluación sumativa responde a estas cinco preguntas con claridad. Las evaluaciones menos rigurosas a menudo confunden la finalización de actividades con la consecución de resultados, o reformulan el marco lógico sin someterlo a una verificación adecuada.
Cuándo aplicar una evaluación sumativa
La evaluación sumativa es prácticamente indispensable para cualquier programa plurianual financiado por donantes que exceda un umbral modesto. Específicamente, es la opción más adecuada en los siguientes escenarios:
- El programa está llegando a su fin y se requiere la presentación de informes de rendición de cuentas al financiador y a las partes interesadas.
- Una decisión de expansión, replicación o renovación del programa depende de la evidencia clara sobre lo que funcionó.
- El sector carece de evidencia sólida y una evaluación final rigurosa podría enriquecer la base de conocimiento público.
- La Teoría del Cambio incluye supuestos a nivel de resultados que no pueden ser validados únicamente con datos de monitoreo.
Para proyectos de corta duración (menos de 12 meses), a menudo se opta por una revisión posterior a la acción más ágil y menos formal.
Características de diseño de la evaluación sumativa
El factor tiempo es crucial. Las evaluaciones sumativas se llevan a cabo durante o en los tres a seis meses posteriores a la finalización del programa. La recopilación de datos debe programarse estratégicamente para permitir que los resultados se consoliden, sin que se pierda la memoria de los encuestados ni la trazabilidad de la cohorte.
Desde el punto de vista metodológico, el trabajo sumativo exige un rigor exhaustivo: la participación de un evaluador externo para programas de cierta envergadura, un diseño comparativo o contrafactual siempre que sea factible, el uso de métodos mixtos para triangular afirmaciones complejas y un muestreo que permita el análisis de subgrupos. La generalizabilidad es más importante que en el trabajo formativo, ya que se espera que los hallazgos sean transferibles. Los requisitos de independencia suelen ser mandatorios, implicando que el evaluador sea contratado de forma independiente del implementador y reporte directamente al donante o a un comité directivo.
Diferencias y relación con la evaluación de Impacto
La evaluación sumativa valora los resultados globales de un programa. Por su parte, la evaluación de impacto se enfoca específicamente en la atribución: determinar qué cambios son directamente causados por el programa y cuáles habrían ocurrido de todos modos. La evaluación de impacto es, de hecho, un tipo particular de evaluación sumativa que emplea un diseño contrafactual, como un ensayo controlado aleatorio, una comparación cuasi-experimental o un análisis de contribución robusto.
No todas las evaluaciones sumativas son evaluaciones de impacto. Una evaluación sumativa que no incluya un contrafactual puede, no obstante, determinar si se alcanzaron las metas, cómo percibieron el programa las partes interesadas y si la Teoría del Cambio se mantuvo válida, pero no podrá establecer afirmaciones claras de atribución.
Contexto de la propuesta
Prácticamente todos los programas plurianuales financiados por donantes bilaterales y fundaciones exigen una evaluación sumativa. Las propuestas que abordan este requisito de manera vaga suelen ser penalizadas. Es fundamental especificar cinco aspectos clave:
- Plazo: Al finalizar el proyecto o en un periodo de tres a seis meses después de su cierre, con una ventana temporal definida para la recopilación de datos.
- Independencia del equipo evaluador: Un evaluador externo es el estándar para programas de cierta magnitud. Se debe indicar el enfoque de contratación (licitación competitiva, panel precalificado), incluso si la firma aún no ha sido seleccionada.
- Compromiso metodológico: Aunque el diseño final se concretará en la fase de inicio, es crucial adelantar el enfoque general (cuasi-experimental con grupo de comparación, basado en la Teoría del Cambio, análisis de contribución con métodos mixtos).
- Presupuesto: Generalmente, representa entre el 2% y el 4% del presupuesto total del programa, siendo mayor para evaluaciones de impacto que emplean diseños contrafactuales.
- Uso previsto: Rendición de cuentas al donante, fundamentación para decisiones de expansión o replicación, y contribución al aprendizaje del sector. Es importante identificar a las audiencias clave.
Las propuestas que abordan estos cinco puntos de manera explícita se consideran serias y bien fundamentadas. Aquellas que solo mencionan "se realizará una evaluación final" suelen ser insuficientes.
Errores frecuentes en la evaluación sumativa
- Programación demasiado cercana a la finalización del proyecto. Si la evaluación sumativa se entrega cuando ya se han tomado todas las decisiones clave, su utilidad se reduce drásticamente. Es fundamental establecer una ventana de decisión de al menos seis a ocho semanas entre la entrega del informe y el momento de la decisión final de cierre.
- Falta de claridad sobre la independencia del evaluador. Que el personal interno evalúe su propio programa genera preocupaciones legítimas de sesgo por parte de los donantes. Los acuerdos de independencia deben definirse en la propuesta, no posponerse a la fase de inicio.
Conceptos relacionados
- Evaluación Formativa: La contraparte de la evaluación sumativa, enfocada en el aprendizaje y ajuste durante el programa.
- Evaluación de Impacto: Un tipo específico de evaluación sumativa que utiliza un diseño contrafactual.
- Evaluación: El concepto general que engloba todos los tipos de evaluación.
- Evaluación Basada en la Teoría: Un enfoque común para el diseño de evaluaciones sumativas.
- Contrafactual: Concepto fundamental en la evaluación sumativa, especialmente cuando se busca establecer atribución.