Evaluación Realista

Cuándo Usar

La evaluación realista es el enfoque adecuado cuando la pregunta no es simplemente "¿funcionó el programa?" sino "¿para quién funcionó, bajo qué condiciones y a través de qué mecanismos?". Desarrollada por Ray Pawson y Nick Tilley en la década de 1990, la evaluación realista se basa en la idea de que los programas no causan resultados directamente; introducen recursos y oportunidades que desencadenan respuestas en personas específicas en contextos específicos.

Úsela cuando:

• Los resultados varían entre sitios o poblaciones — el programa muestra resultados fuertes en algunos lugares y débiles en otros, y necesita entender por qué
• El contexto es central — el programa funciona a través de relaciones, normas o condiciones institucionales que difieren significativamente entre entornos
• El refinamiento de la teoría es el objetivo — quiere entender por qué un programa funciona para mejorarlo, no solo si funciona en promedio
• Las decisiones de ampliación requieren especificidad — antes de expandir un programa, los donantes y gestores necesitan saber qué contextos son necesarios para que los mecanismos se activen
• La evidencia existente es mixta — la síntesis realista (la versión basada en literatura) puede reconciliar hallazgos conflictivos de múltiples evaluaciones de intervenciones similares

La evaluación realista es intensiva en recursos y produce hallazgos probabilísticos y específicos del contexto en lugar de efectos promedio del tratamiento. No es adecuada cuando los donantes necesitan un veredicto único de efectividad sí/no, cuando los recursos son limitados, o cuando la teoría del programa es muy simple y el contexto es relativamente uniforme.

Cómo Funciona

La evaluación realista se construye alrededor de una unidad analítica central: la configuración Contexto-Mecanismo-Resultado (CMO). Una configuración CMO establece: en este contexto (C), este mecanismo (M) se activa, produciendo este resultado (O).

• Contexto — las condiciones (sociales, institucionales, culturales, geográficas, históricas) dentro de las cuales opera un programa. El contexto no es solo fondo; activa o suprime mecanismos
• Mecanismo — el proceso causal que conecta un recurso o actividad del programa con un resultado. Los mecanismos suelen estar ocultos; implican cómo las personas razonan y responden a los insumos del programa
• Resultado — el cambio observable que resulta cuando un mecanismo se activa en un contexto dado

Paso 1: Desarrollar teoría inicial del programa (IPT)

Comience con una teoría explícita de cómo se supone que funciona el programa. Esto no es solo un modelo lógico; debe articular los mecanismos a través de los cuales se espera que los recursos cambien el comportamiento.

Paso 2: Generar hipótesis CMO

Traduzca la teoría del programa en un conjunto de configuraciones CMO comprobables. Por ejemplo: "Cuando los trabajadores de salud comunitaria son figuras respetadas en su comunidad (C), la provisión gratuita de mosquiteros desencadena la activación de normas sociales sobre la protección infantil (M), produciendo un uso consistente mejorado de mosquiteros (O)."

Paso 3: Recopilar datos para probar las CMO

Se requieren típicamente métodos mixtos. Los datos cuantitativos pueden probar si los resultados variaron por contexto. Los datos cualitativos (entrevistas, observaciones) pueden sondear los mecanismos.

Paso 4: Analizar configuraciones CMO

Examine qué configuraciones CMO fueron confirmadas, parcialmente confirmadas o desconfirmadas por los datos. Donde los mecanismos no se activaron como se esperaba, identifique qué factor contextual los suprimió.

Paso 5: Refinar la teoría del programa

Revise la teoría inicial del programa basándose en hallazgos empíricos. La evaluación realista es iterativa; la teoría mejora con cada ciclo de prueba de hipótesis.

Paso 6: Producir teoría de rango medio

Sintetice los hallazgos en teorías de rango medio transferibles que especifiquen las condiciones bajo las cuales este tipo de intervención produce este tipo de resultados. Estos son más útiles para la toma de decisiones que los hallazgos específicos del contexto por sí solos.

Componentes Clave

• Teoría inicial del programa — lógica causal explícita que articula mecanismos, no solo cadenas de insumo-producto
• Configuraciones CMO — hipótesis comprobables que vinculan contexto, mecanismo y resultado
• Mapeo de contexto — documentación sistemática de los factores contextuales relevantes para la activación del mecanismo
• Recolección de datos con métodos mixtos — cuantitativos para probar la variación de resultados por contexto; cualitativos para sondear mecanismos
• Refinamiento iterativo de la teoría — ciclos repetidos de prueba de hipótesis y revisión de teoría
• Teoría de rango medio — proposiciones transferibles sobre qué funciona para quién bajo qué condiciones
• Evaluadores formados en evaluación realista — este enfoque requiere conocimiento especializado para implementarse de manera creíble

Mejores Prácticas

Articular mecanismos explícitamente. El fallo más común en la evaluación realista es tratar los mecanismos como cajas negras. Una declaración de mecanismo debe nombrar la respuesta que se activa: "Las mujeres participan en grupos de ahorro (M: confianza social y obligación recíproca) cuando sus vecinos que ya conocen son miembros (C), produciendo una resiliencia financiera mejorada (O)."

Monitorear el contexto durante toda la implementación. El contexto cambia durante la implementación: cambios políticos, fluctuaciones del mercado, cambios de liderazgo. Incorpore el monitoreo del contexto en el diseño de la evaluación.

Use la teoría para guiar la recolección de datos, no los datos para generar teoría. La evaluación realista comienza deductivamente con hipótesis CMO y las prueba; no es teoría fundamentada. Comenzar con datos y generar CMO inductivamente produce hallazgos mal especificados.

Fortalecer la plausibilidad con evidencia existente. Antes de probar configuraciones CMO empíricamente, revise la literatura en busca de evidencia de que los mecanismos propuestos operan en contextos similares.

Reportar casos negativos. Las configuraciones CMO que fueron desconfirmadas son tan importantes analíticamente como las que fueron confirmadas. Reporte ambas.

Errores Comunes

Tratar "contexto" como factores de confusión para controlar. En la evaluación realista, el contexto no es ruido; es explicativo. Controlar por contexto en un modelo de regresión destruye el valor analítico de la variación contextual.

Listar características en lugar de especificar mecanismos. Decir "el programa funcionó en contextos urbanos" es una observación contextual, no un hallazgo realista. Un hallazgo realista explica por qué — qué mecanismo activa o habilita el contexto urbano.

Usar vocabulario realista sin razonamiento realista. Los programas a veces describen su evaluación como "realista" porque recopilaron datos cualitativos junto con una encuesta. La evaluación realista requiere desarrollo explícito de hipótesis CMO, refinamiento iterativo de la teoría y comparación sistemática entre casos.

Diseñar sin suficiente profundidad cualitativa. Los mecanismos no son directamente observables en los datos de resultado. Necesita entrevistas, observaciones o documentos que revelen cómo las personas respondieron a los insumos del programa y por qué. Los datos cualitativos superficiales producen especificación de mecanismos superficiales.

Reclamar generalizabilidad prematuramente. Las teorías de rango medio de una sola evaluación realista son hipótesis, no leyes. Se necesita replicación en múltiples contextos antes de que se pueda reclamar transferibilidad.

Ejemplos

Salud comunitaria, África Oriental. Una evaluación realista de un programa de trabajadores de salud comunitaria (CHW) en Kenia identificó tres configuraciones CMO de la teoría inicial del programa. La configuración principal — que los CHW incrustados en estructuras comunitarias (C) desencadenarían la búsqueda de ayuda a través de la confianza social (M) — fue confirmada en áreas rurales donde los CHW fueron elegidos por sus comunidades pero desconfirmada en áreas periurbanas donde los CHW fueron asignados centralmente. Una configuración secundaria sobre el conocimiento de salud materna fue confirmada en todos los contextos. Estos hallazgos informaron un rediseño del proceso de selección de CHW para la segunda fase del programa.

Transferencias en efectivo, África Occidental. Una evaluación realista de un programa de transferencias condicionales en Níger encontró que la misma cantidad de transferencia produjo resultados nutricionales muy diferentes entre regiones. El análisis de mecanismos reveló que en mercados con cadenas de suministro de granos funcionales (C), el disparador de efectivo activó la compra comercial de alimentos (M) y produjo mejoras en la diversidad dietética (O). En áreas remotas con mercados delgados, el mecanismo no se activó porque el efectivo no se podía intercambiar por alimentos diversos. El hallazgo dio forma a la estrategia de focalización geográfica para la ampliación.

Gobernanza educativa, Asia del Sur. Una síntesis realista de 23 evaluaciones de programas de reforma de gobernanza escolar en Asia del Sur identificó que las reformas que produjeron mejoras en el aprendizaje compartían una configuración CMO: cuando el gobierno local tenía capacidad previa y confianza comunitaria (C), la formación del comité de gestión escolar (M: rendición de cuentas compartida) produjo mejoras en la asistencia docente y ganancias de aprendizaje (O). Las reformas en entornos de baja capacidad produjeron las estructuras de gobernanza sin activar el mecanismo de rendición de cuentas.

Comparado Con

Indicadores Relevantes

18 indicadores a través de los marcos de DFID, UNDP y OECD-DAC. Ejemplos clave:

• Número de configuraciones CMO hipotetizadas inicialmente versus confirmadas por datos de evaluación
• Grado en que la evaluación explica la variación de resultados entre contextos de implementación (calificada 1-5)
• Proporción de recomendaciones de evaluación que especifican las condiciones contextuales necesarias para la replicación

Herramientas Relacionadas

• Planificador de Evaluación — estructure el desarrollo de hipótesis CMO y el plan de recolección de datos
• Constructor de Modelos Lógicos MEStudio — para construir la teoría inicial del programa que sustenta el análisis CMO

Temas Relacionados

• Rastreo de Procesos — un método complementario para rastrear mecanismos causales dentro de casos individuales
• Análisis de Contribución — una alternativa para construir argumentos causales sin diseño experimental
• Evaluación de Métodos Mixtos — la evaluación realista típicamente requiere métodos mixtos para probar configuraciones CMO
• Teoría del Cambio — la teoría del programa que genera las hipótesis CMO iniciales
• Evaluación del Desarrollo — una alternativa para programas altamente emergentes donde las CMO no se pueden preespecificar

Lectura Adicional

• Pawson, R. & Tilley, N. (1997). Realistic Evaluation. London: Sage. El texto fundacional.
• Pawson, R. (2006). Evidence-Based Policy: A Realist Perspective. London: Sage. Se extiende a la síntesis realista.
• Blamey, A. & Mackenzie, M. (2007). "Theories of Change and Realistic Evaluation." Evaluation, 13(4), 439-455. Comparación con otros enfoques basados en teoría.
• Wong, G., Greenhalgh, T., Westhorp, G., & Pawson, R. (2012). "RAMESES Publication Standards: Realist Syntheses." BMC Medicine, 10, 21. Estándares para la presentación de informes de síntesis realista.