Evaluación Realista

Cuándo aplicar la Evaluación Realista

La Evaluación Realista es el enfoque idóneo cuando la pregunta no es simplemente "¿funcionó el programa?", sino "¿para quién funcionó, bajo qué condiciones y a través de qué mecanismos?". Desarrollada por Ray Pawson y Nick Tilley en la década de 1990, se fundamenta en la premisa de que los programas no generan resultados de forma directa, sino que introducen recursos y oportunidades que activan respuestas en personas específicas dentro de contextos determinados.

Considere aplicarla cuando:

• Los resultados varían entre sitios o poblaciones: el programa muestra resultados sólidos en algunos lugares y débiles en otros, y es necesario comprender el porqué.
• El contexto es un factor central: el programa opera a través de relaciones, normas o condiciones institucionales que varían significativamente entre entornos.
• El objetivo es el refinamiento de la teoría: se busca comprender por qué un programa funciona para mejorarlo, no solo si es efectivo en promedio.
• Las decisiones de ampliación requieren especificidad: antes de escalar un programa, los donantes y gestores necesitan conocer qué contextos son indispensables para que los mecanismos se activen.
• La evidencia existente es mixta: la síntesis realista (la versión basada en la literatura) puede conciliar hallazgos contradictorios de múltiples evaluaciones de intervenciones similares.

La Evaluación Realista es intensiva en recursos y genera hallazgos probabilísticos y específicos del contexto, en lugar de efectos promedio del tratamiento. No es adecuada cuando los donantes requieren un veredicto único de efectividad (sí/no), cuando los recursos son limitados o cuando la Teoría del Programa es muy simple y el contexto es relativamente uniforme.

Metodología: Cómo funciona la Evaluación Realista

La Evaluación Realista se estructura en torno a una unidad analítica central: la configuración Contexto-Mecanismo-Resultado (CMO). Una configuración CMO postula que: en un contexto determinado (C), un mecanismo específico (M) se activa, generando un resultado particular (O).

• Contexto: Las condiciones (sociales, institucionales, culturales, geográficas, históricas) en las que opera un programa. El contexto no es meramente un telón de fondo; activa o suprime mecanismos.
• Mecanismo: El proceso causal que vincula un recurso o actividad del programa con un resultado. Los mecanismos suelen ser subyacentes; implican cómo las personas razonan y responden a los insumos del programa.
• Resultado: El cambio observable que se produce cuando un mecanismo se activa en un contexto determinado.

Paso 1: Desarrollar teoría inicial del programa (IPT)

Comience con una Teoría del Programa inicial explícita (IPT) que articule cómo se supone que funciona el programa. Esto va más allá de un simple modelo lógico; debe detallar los mecanismos a través de los cuales se espera que los recursos influyan en el comportamiento.

Paso 2: Generar hipótesis CMO

Traduzca la Teoría del Programa en un conjunto de configuraciones CMO comprobables. Por ejemplo: "Cuando los trabajadores de salud comunitaria son figuras respetadas en su comunidad (C), la provisión gratuita de mosquiteros activa normas sociales sobre la protección infantil (M), lo que resulta en un uso consistente y mejorado de mosquiteros (O)."

Paso 3: Recopilar datos para probar las CMO

Generalmente se requieren métodos mixtos. Los datos cuantitativos pueden verificar si los resultados variaron según el contexto. Los datos cualitativos (entrevistas, observaciones) pueden explorar los mecanismos.

Paso 4: Analizar configuraciones CMO

Examine qué configuraciones CMO fueron confirmadas, parcialmente confirmadas o desconfirmadas por los datos. Cuando los mecanismos no se activaron como se esperaba, identifique qué factor contextual los suprimió.

Paso 5: Refinar la teoría del programa

Revise la Teoría del Programa inicial basándose en los hallazgos empíricos. La Evaluación Realista es iterativa; la teoría se perfecciona con cada ciclo de prueba de hipótesis.

Paso 6: Producir teoría de rango medio

Sintetice los hallazgos en teorías de rango medio transferibles que especifiquen las condiciones bajo las cuales este tipo de intervención genera este tipo de resultados. Estas son más útiles para la toma de decisiones que los hallazgos específicos del contexto por sí solos.

Elementos Clave

• Teoría del Programa inicial: lógica causal explícita que articula mecanismos, no solo cadenas de insumo-producto.
• Configuraciones CMO: hipótesis comprobables que vinculan contexto, mecanismo y resultado.
• Mapeo del contexto: documentación sistemática de los factores contextuales relevantes para la activación del mecanismo.
• Recopilación de datos con métodos mixtos: cuantitativos para probar la variación de resultados por contexto; cualitativos para explorar mecanismos.
• Refinamiento iterativo de la teoría: ciclos repetidos de prueba de hipótesis y revisión de la teoría.
• Teoría de rango medio: proposiciones transferibles sobre qué funciona para quién y bajo qué condiciones.
• Evaluadores formados en Evaluación Realista: este enfoque requiere conocimiento especializado para implementarse de manera creíble.

Buenas Prácticas

Articular los mecanismos explícitamente. El error más común en la Evaluación Realista es tratar los mecanismos como cajas negras. Una declaración de mecanismo debe nombrar la respuesta que se activa: "Las mujeres participan en grupos de ahorro (M: confianza social y obligación recíproca) cuando sus vecinos, a quienes ya conocen, son miembros (C), lo que genera una resiliencia financiera mejorada (O)."

Monitorear el contexto durante toda la implementación. El contexto evoluciona durante la implementación: cambios políticos, fluctuaciones del mercado, cambios de liderazgo. Incorpore el monitoreo del contexto en el diseño de la evaluación.

Utilice la teoría para guiar la recopilación de datos, no los datos para generar teoría. La Evaluación Realista comienza deductivamente con hipótesis CMO y las pone a prueba; no es teoría fundamentada. Comenzar con datos y generar CMO inductivamente produce hallazgos mal especificados.

Fortalecer la plausibilidad con evidencia existente. Antes de probar empíricamente las configuraciones CMO, revise la literatura en busca de evidencia de que los mecanismos propuestos operan en contextos similares.

Documentar los casos negativos. Las configuraciones CMO que fueron desconfirmadas son tan importantes analíticamente como las que fueron confirmadas. Documente ambas.

Errores Frecuentes

Tratar el "contexto" como factores de confusión a controlar. En la Evaluación Realista, el contexto no es ruido; es explicativo. Controlar por contexto en un modelo de regresión anula el valor analítico de la variación contextual.

Enumerar características en lugar de especificar mecanismos. Decir "el programa funcionó en contextos urbanos" es una observación contextual, no un hallazgo realista. Un hallazgo realista explica por qué, es decir, qué mecanismo activa o habilita el contexto urbano.

Utilizar vocabulario realista sin razonamiento realista. Los programas a veces describen su evaluación como "realista" porque recopilaron datos cualitativos junto con una encuesta. La Evaluación Realista requiere el desarrollo explícito de hipótesis CMO, el refinamiento iterativo de la teoría y la comparación sistemática entre casos.

Diseñar sin suficiente profundidad cualitativa. Los mecanismos no son directamente observables en los datos de resultado. Se necesitan entrevistas, observaciones o documentos que revelen cómo las personas respondieron a los insumos del programa y por qué. Los datos cualitativos superficiales conducen a una especificación de mecanismos superficiales.

Afirmar la generalizabilidad prematuramente. Las teorías de rango medio de una sola Evaluación Realista son hipótesis, no leyes. Se requiere replicación en múltiples contextos antes de que se pueda afirmar su transferibilidad.

Ejemplos Prácticos

Salud comunitaria, África Oriental. Una Evaluación Realista de un programa de trabajadores de salud comunitaria (CHW) en Kenia identificó tres configuraciones CMO a partir de la Teoría del Programa inicial. La configuración principal, que los CHW integrados en estructuras comunitarias (C) activarían la búsqueda de ayuda a través de la confianza social (M), fue confirmada en áreas rurales donde los CHW fueron elegidos por sus comunidades, pero desconfirmada en áreas periurbanas donde fueron asignados centralmente. Una configuración secundaria sobre el conocimiento de salud materna fue confirmada en todos los contextos. Estos hallazgos impulsaron un rediseño del proceso de selección de CHW para la segunda fase del programa.

Transferencias en efectivo, África Occidental. Una Evaluación Realista de un programa de transferencias condicionales en Níger reveló que la misma cantidad de transferencia generó resultados nutricionales muy diferentes entre regiones. El análisis de mecanismos mostró que en mercados con cadenas de suministro de granos funcionales (C), el incentivo monetario activó la compra comercial de alimentos (M) y produjo mejoras en la diversidad dietética (O). En áreas remotas con mercados limitados, el mecanismo no se activó porque el efectivo no podía intercambiarse por alimentos diversos. Este hallazgo influyó en la estrategia de focalización geográfica para la ampliación.

Gobernanza educativa, Asia del Sur. Una síntesis realista de 23 evaluaciones de programas de reforma de gobernanza escolar en Asia del Sur identificó que las reformas que generaron mejoras en el aprendizaje compartían una configuración CMO: cuando el gobierno local tenía capacidad previa y confianza comunitaria (C), la formación del comité de gestión escolar (M: rendición de cuentas compartida) produjo mejoras en la asistencia docente y en los resultados de aprendizaje (O). Las reformas en entornos de baja capacidad crearon las estructuras de gobernanza sin activar el mecanismo de rendición de cuentas.

Comparación con otros métodos

Indicadores Clave

18 indicadores a través de los marcos de DFID, UNDP y OECD-DAC. Ejemplos clave incluyen:

• Número de configuraciones CMO hipotetizadas inicialmente versus confirmadas por los datos de la evaluación
• Grado en que la evaluación explica la variación de resultados entre los contextos de implementación (calificado 1-5)
• Proporción de recomendaciones de evaluación que especifican las condiciones contextuales necesarias para la replicación.

Herramientas de Apoyo

• Planificador de Evaluación: para estructurar el desarrollo de hipótesis CMO y el plan de recopilación de datos.
• Constructor de Modelos Lógicos MEStudio: para construir la Teoría del Programa inicial que sustenta el análisis CMO.

Conceptos y Métodos Relacionados

• Rastreo de Procesos: un método complementario para rastrear mecanismos causales dentro de casos individuales.
• Análisis de Contribución: una alternativa para construir argumentos causales sin un diseño experimental.
• Evaluación de Métodos Mixtos: la Evaluación Realista típicamente requiere métodos mixtos para probar configuraciones CMO.
• Teoría del Cambio: la Teoría del Programa que genera las hipótesis CMO iniciales.
• Evaluación del Desarrollo: una alternativa para programas altamente emergentes donde las CMO no pueden preespecificarse.