La evaluación basada en la teoría verifica si la Teoría del Cambio de un programa se sostiene en la práctica. Para ello, emplea un razonamiento basado en la evidencia en cada etapa, en lugar de depender exclusivamente de una comparación contrafactual.
Funcionamiento de la evaluación basada en la Teoría
Una evaluación basada en la teoría examina la cadena de resultados, desde las actividades hasta los resultados finales, y verifica cada eslabón con evidencia. Para cada afirmación "si X entonces Y" en la Teoría del Cambio, la evaluación plantea tres preguntas clave:
- ¿Se produjo realmente X, con la calidad e intensidad previstas?
- ¿Se observó Y entre los participantes o beneficiarios del programa?
- ¿Existe evidencia de que la relación causal de X a Y operó, y no fue una mera coincidencia de los dos eventos?
Posteriormente, se plantean y analizan sistemáticamente explicaciones alternativas. Por ejemplo: ¿Otra intervención también buscó el mismo resultado? ¿Los participantes ya estaban en una trayectoria de mejora? ¿Podría el resultado reflejar un artefacto de medición en lugar de un cambio real? Una evaluación basada en la teoría creíble descarta estas posibilidades de forma explícita, no por mera afirmación.
El resultado es una cadena de argumentación lógica, no una única estimación de efecto. Cada eslabón de la Teoría del Cambio se evalúa según la solidez de la evidencia que lo respalda, y el juicio general se construye a partir de estas evaluaciones.
Variantes predominantes
Cuatro variantes predominan en la práctica:
- Análisis de contribución. Es la variante más común en la evaluación del desarrollo. Evalúa en qué medida un programa contribuyó a resultados que, por lo general, tienen múltiples causas. Está diseñado para contextos complejos y con múltiples actores.
- Evaluación realista. Se basa en el marco de contexto-mecanismo-resultado de Pawson y Tilley. Se pregunta "¿qué funciona, para quién, en qué circunstancias y por qué?". Es útil cuando se espera que un programa se comporte de manera diferente en distintos entornos.
- Rastreo de procesos. Es un análisis de casos en profundidad con un número reducido (N pequeño) que verifica afirmaciones causales específicas mediante pruebas de evidencia (como las "pruebas de aro", "pruebas de arma humeante" o "pruebas doblemente decisivas"). Es robusto para preguntas de atribución en casos únicos o con pocos casos.
- Cosecha de resultados. Parte de los resultados observados y rastrea hacia atrás para determinar la contribución del programa. Es útil cuando los resultados no se especificaron completamente de antemano.
Cuándo es más adecuada la evaluación basada en la Teoría
La evaluación basada en la teoría es la opción idónea cuando:
- El programa es complejo y los resultados tienen múltiples causas plausibles.
- Un contrafactual no es viable. No existe un grupo de comparación, la aleatorización es ética o políticamente inviable, o el programa opera en un único lugar.
- Los tamaños de muestra son reducidos y la potencia estadística es inalcanzable.
- La Teoría del Cambio es sólida, pero la medición cuantitativa de resultados es limitada.
- La pregunta de evaluación se centra en el mecanismo y el "cómo funcionó esto", no solo en la magnitud del efecto.
Los programas de gobernanza, incidencia, cambio de políticas y fortalecimiento de sistemas son ejemplos paradigmáticos. También lo es cualquier proyecto piloto implementado en un único lugar.
Consideraciones al proponerla
Sugiera la evaluación basada en la teoría cuando un ECA o un diseño cuasi-experimental emparejado sea inviable, como en programas de gobernanza, incidencia, proyectos piloto en un único lugar, iniciativas de cambio de políticas y la mayoría de los trabajos de fortalecimiento de sistemas. La aceptación por parte de los donantes varía. Aquellos con experiencia en evaluación (FCDO, IDRC y varias fundaciones importantes) suelen aceptar los enfoques basados en la teoría sin dificultad. Otros, por defecto, esperan una evaluación de impacto con un contrafactual y requieren una explicación de por qué un diseño contrafactual no es viable o no es la herramienta apropiada para la pregunta planteada.
Dos estrategias al elaborar la propuesta fortalecen su argumentación. Primero, especifique el método concreto (Análisis de Contribución, Evaluación Realista, Rastreo de Procesos) en lugar de usar "basado en la teoría" como una etiqueta genérica. Segundo, justifique por qué un contrafactual es inviable o inapropiado antes de presentar la alternativa. El presupuesto suele situarse en el mismo rango que un diseño cuasi-experimental, aproximadamente entre $50k y $200k dependiendo del alcance, y no es drásticamente más económico. Las propuestas que presentan la evaluación basada en la teoría como un ahorro de costos suelen considerarse poco sólidas.
Contexto de la propuesta
Proponga una evaluación basada en la teoría cuando un ECA o un diseño cuasi-experimental emparejado no sea viable: programas de gobernanza, incidencia, proyectos piloto en un único lugar, iniciativas de cambio de políticas y la mayoría del trabajo de fortalecimiento de sistemas. La receptividad de los donantes varía. Los donantes con alta literacidad evaluativa (FCDO, IDRC y varias fundaciones importantes) aceptan los enfoques basados en la teoría sin problemas. Otros, por defecto, esperan una evaluación de impacto con contrafactual y requieren que se les explique por qué un diseño contrafactual no es viable o no es la herramienta adecuada para la pregunta.
Dos decisiones en la propuesta refuerzan el argumento. Primero, especifique el método concreto (análisis de contribución, evaluación realista, rastreo de procesos) en lugar de usar "basado en la teoría" como etiqueta genérica. Segundo, explique por qué un contrafactual es inviable o inapropiado antes de presentar la alternativa. El presupuesto suele estar en el mismo rango que un diseño cuasi-experimental, aproximadamente entre $50k y $200k según el alcance, y no es drásticamente más económico. Las propuestas que presentan la evaluación basada en la teoría como un ahorro de costos se perciben como débiles.
Errores frecuentes
- Teoría del Cambio débil desde el inicio. La evaluación basada en la teoría solo puede ser tan efectiva como la Teoría del Cambio que busca verificar. Si el modelo lógico es un diagrama impreciso con suposiciones no explícitas, la evaluación también resultará ambigua. Invierta primero en el desarrollo de la Teoría del Cambio.
- Considerar la evaluación basada en la teoría como un sustituto más económico de la evaluación de impacto. No lo es. Responde a una pregunta diferente (¿se sostuvo la lógica causal?) a la que aborda una evaluación de impacto (¿cuál es el efecto neto?). La elección debe basarse en la decisión que se necesita respaldar, no en la disponibilidad presupuestaria.
Conceptos relacionados
- Teoría del Cambio: El modelo lógico que la evaluación basada en la teoría busca verificar.
- Contrafactual: La alternativa al razonamiento basado en la teoría, fundamentada en la comparación.
- Evaluación Sumativa: Los enfoques basados en la teoría se emplean habitualmente en evaluaciones sumativas.
- Evaluación Formativa: La lógica basada en la teoría ayuda a diagnosticar qué eslabón de la cadena causal está fallando.
- Cosecha de Resultados: Un método participativo complementario que prioriza los resultados.