Cuándo Usar
La Evaluación del Desarrollo (ED) es el enfoque idóneo cuando el programa se encuentra en fase de diseño, sus metas y estrategias son verdaderamente emergentes, y la adaptación en tiempo real prevalece sobre la demostración de logros ya establecidos. Desarrollada por Michael Quinn Patton, la ED fue concebida para cubrir el espacio entre la evaluación formativa (que presupone un programa relativamente estable) y la evaluación sumativa (que requiere una finalización).
Es recomendable utilizarla cuando:
- El programa es una innovación social: el equipo está en un proceso genuino de descubrimiento de lo que funciona a través de la iteración; no existe un modelo preestablecido para probar o escalar.
- El entorno es altamente complejo: cambios políticos, fluctuaciones del mercado o dinámicas sociales emergentes exigen que el programa se adapte continuamente para mantener su relevancia.
- Las metas están en constante evolución: la Teoría del Cambio del programa se construye y prueba durante la implementación, en lugar de aplicarse desde un documento de diseño fijo.
- La retroalimentación en tiempo real es más valiosa que un informe final: el equipo del programa requiere un pensamiento evaluativo integrado en su labor, no un veredicto externo al finalizar.
- DFID o donantes similares apoyan la programación adaptativa: un número creciente de donantes financia explícitamente la ED como parte de las inversiones en gestión adaptativa.
La ED no es adecuada para programas consolidados con una Teoría del Cambio estable, ni para evaluaciones donde la rendición de cuentas al donante exige una comparación definida pre/post-intervención, o en situaciones donde la independencia del evaluador debe ser absoluta (la naturaleza integrada de la ED plantea desafíos en los límites de los roles).
| Escenario | ¿Aplicar Evaluación del Desarrollo? | Mejor Alternativa |
|---|---|---|
| Programa en fase de innovación activa | Sí | - |
| Programa estable, evaluando su eficacia | No | Evaluación de Impacto |
| Comprender la variabilidad de los resultados | No | Evaluación Realista |
| Donante exige evaluación sumativa | No | Formativa + Sumativa |
| Programa requiere datos de desempeño | Junto a | Planes de MEL |
| Aprendizaje en respuesta a emergencias | Sí | - |
Cómo Funciona
A diferencia de la evaluación convencional, que sigue una secuencia de 'programa y luego evaluar', la Evaluación del Desarrollo se lleva a cabo de forma simultánea con el desarrollo del programa. El evaluador actúa como un socio reflexivo, no como un observador externo.
Paso 1: Definir el rol y los límites del evaluador
El evaluador de ED se integra en el equipo del programa, participando en reuniones, contribuyendo a las discusiones estratégicas y ofreciendo retroalimentación evaluativa en tiempo real. Es crucial negociar explícitamente los límites: el evaluador debe mantener su independencia intelectual y perspectiva evaluativa, incluso mientras colabora estrechamente con el equipo.
Paso 2: Fomentar el desarrollo de la Teoría del Cambio
En programas complejos, la Teoría del Cambio es inherentemente emergente. La primera contribución del evaluador suele ser ayudar al equipo a explicitar y hacer comprobable su teoría implícita.
Paso 3: Diseñar un sistema de monitoreo en tiempo real
Identificar las incertidumbres críticas en la Teoría del Cambio emergente y diseñar procesos de recolección de datos ágiles y rápidos que puedan informar decisiones en semanas, no en meses. Esto no constituye un sistema integral de monitoreo y evaluación (M&E), sino una recolección de datos dirigida a responder las preguntas específicas que el equipo del programa enfrenta en el momento.
Paso 4: Ofrecer retroalimentación evaluativa continua
El producto principal de la ED no es un informe, sino un flujo continuo de pensamiento evaluativo que nutre las decisiones del programa. Esto puede manifestarse como un memorándum breve tras una consulta con partes interesadas, un análisis de patrones observados en visitas de campo, o una síntesis de señales tempranas de resultados.
Paso 5: Documentar el aprendizaje y el refinamiento de la Teoría del Cambio
Con el tiempo, el proceso de ED genera un registro evolutivo de lo que se ha intentado, lo aprendido y cómo ha evolucionado la Teoría del Cambio del programa. Esta documentación se convierte en la base para evaluaciones sumativas posteriores y para compartir el aprendizaje con un público más amplio.
Componentes Clave
- Evaluador integrado: un evaluador profesional que se integra como socio de aprendizaje dentro del equipo del programa, no como un revisor externo.
- Procesos de retroalimentación en tiempo real: métodos ágiles de recolección y síntesis de datos que generan hallazgos en cuestión de días o semanas.
- Teoría del Cambio viva: una Teoría del Cambio del programa explícitamente documentada y actualizada regularmente que refleja lo aprendido.
- Documentación de la innovación: registro sistemático de lo que se intenta, se adapta y se abandona, y los motivos.
- Claridad de roles: acuerdo explícito entre el evaluador, el equipo del programa y el financiador sobre el alcance y los límites de la ED.
- Informe de evaluación del desarrollo: documentación periódica del aprendizaje y la evolución de la Teoría del Cambio (no un informe de evaluación tradicional).
- Integración con la gestión adaptativa: los hallazgos de la ED deben vincularse con los procesos de toma de decisiones, no solo circularse como documentos.
Mejores Prácticas
Aclare el rol de la ED antes de iniciar. Los evaluadores de ED que no tienen claridad sobre su rol pueden caer en la 'captura' (dejando de evaluar para solo apoyar al equipo) o ser 'marginados' (el equipo deja de interactuar con ellos). Negocie y documente explícitamente el rol del evaluador al inicio del programa.
Utilice la Teoría del Cambio como hipótesis de trabajo, no como un marco rígido. La Teoría del Cambio del programa en la ED es una hipótesis sobre cómo se producirá el cambio. Cada experiencia de implementación es una oportunidad para probarla y refinarla, no para medir el desempeño en función de ella.
No dependa exclusivamente del monitoreo rutinario. Los datos rutinarios le informan qué está sucediendo, pero no por qué; y en programas emergentes, el 'por qué' es la pregunta crítica. La ED requiere métodos que investiguen los mecanismos, no solo que rastreen indicadores.
Realice evaluaciones en tiempo real durante emergencias y cambios de rumbo. Cuando el contexto del programa cambia drásticamente (una crisis política, un cambio de financiación, un fallo importante en la implementación), una revisión rápida de ED puede proporcionar el pensamiento evaluativo necesario para gestionar la situación.
Documente lo que no se llevó a cabo. La contribución más subestimada de la Evaluación del Desarrollo es documentar el camino no tomado: las hipótesis rechazadas, las estrategias abandonadas y sus razones. Este aprendizaje a menudo permanece invisible en los informes de evaluación convencionales.
Errores Comunes
Confundir la ED con una excusa para eludir el rigor. La ausencia de resultados preespecificados no implica que todo sea válido. La ED sigue requiriendo una recolección sistemática de datos, un razonamiento transparente y una comunicación honesta sobre lo que no está funcionando.
Comprometer la independencia del evaluador. Cuando el evaluador se convierte de facto en un miembro del personal del programa, pierde la distancia evaluativa que hace valiosa su contribución. El evaluador debe poder expresar 'esto no está funcionando' sin temor a socavar su posición en el equipo.
Utilizar la terminología de la ED para una evaluación formativa convencional. La ED no es simplemente una 'evaluación temprana'. Es un enfoque específico para programas verdaderamente complejos y emergentes. Aplicar esta etiqueta a una evaluación formativa estándar es malinterpretar ambos conceptos.
No vincular los hallazgos de la ED con las decisiones. El pensamiento evaluativo que permanece en el cuaderno del evaluador no es útil para nadie. Establezca ciclos de retroalimentación explícitos entre los hallazgos de la ED y los procesos de toma de decisiones del programa.
No planificar la transición hacia una evaluación sumativa. La ED genera documentación valiosa sobre el desarrollo del programa. Planifique desde el inicio cómo se utilizará esta información cuando el programa alcance un punto en el que una evaluación sumativa sea apropiada.
Ejemplos
Innovación social en Canadá. Una fundación nacional en Canadá empleó la Evaluación del Desarrollo para respaldar un fondo de innovación social de cinco años, que probaba nuevos modelos para el empleo juvenil en comunidades marginadas. El equipo de ED integrado asistió a reuniones estratégicas trimestrales, realizó observaciones etnográficas rápidas en los sitios de implementación y elaboró breves informes mensuales de aprendizaje. Durante los primeros 18 meses, la evaluación documentó siete revisiones de la Teoría del Cambio a medida que las organizaciones subvencionadas descubrían qué estrategias de compromiso con empleadores generaban colocaciones laborales duraderas frente a las de corto plazo. Estos hallazgos se compartieron en toda la cartera, permitiendo que las organizaciones subvencionadas aprendieran unas de otras casi en tiempo real.
Programa de salud adaptativo en África Oriental. Un programa de fortalecimiento de sistemas de salud financiado por DFID en Uganda utilizó la ED para apoyar a un equipo que trabajaba en tres distritos políticamente complejos. El evaluador documentó cómo la Teoría del Cambio del programa evolucionó de un enfoque centrado en la oferta (capacitación de trabajadores de salud) a uno centrado en la demanda (compromiso comunitario) en 12 meses, a medida que el equipo respondía a las instalaciones que se negaban a implementar los cambios. La documentación de la ED proporcionó la base de evidencia para una revisión de diseño a mitad del programa que el donante aprobó sin requerir el proceso habitual de evaluación externa.
Respuesta de emergencia en Asia Meridional. Tras la respuesta a un ciclón en Bangladesh, una importante ONG internacional empleó una Evaluación del Desarrollo rápida y en tiempo real para evaluar qué mecanismos de coordinación estaban generando una asignación eficiente de recursos y cuáles estaban creando cuellos de botella. La evaluación se llevó a cabo durante seis semanas, en paralelo a la respuesta. Se implementaron tres cambios de coordinación dentro del período de evaluación, basados en los hallazgos, y cada uno fue documentado y probado en tiempo real. El informe final se completó durante la fase de respuesta, en lugar de posteriormente.
Comparado con
| Enfoque | Fase del Programa | Rol del Evaluador | Producto Principal |
|---|---|---|---|
| Evaluación del Desarrollo | Durante la innovación | Socio integrado | Aprendizaje en tiempo real |
| Evaluación Formativa | Durante la implementación estable | Asesor externo | Recomendaciones de mejora |
| Evaluación Sumativa | Post-programa | Evaluador externo | Veredicto de eficacia |
| Evaluación Centrada en la Utilización | Cualquiera | Externo, con enfoque en el usuario | Hallazgos relevantes para la toma de decisiones |
| Evaluación Realista | Posterior o durante | Analista externo | Teoría de rango medio |
Indicadores Relevantes
16 indicadores en marcos de DFID, UNDP y fundaciones. Ejemplos destacados:
- Número de adaptaciones del programa formalmente documentadas y basadas en los hallazgos de la ED
- Calificación de calidad del proceso de colaboración entre evaluador y equipo (evaluada por ambas partes)
- Frecuencia de la retroalimentación en tiempo real proporcionada al equipo del programa (meta: al menos mensual)
- Grado de refinamiento de la Teoría del Cambio documentado durante el período de evaluación
Herramientas Relacionadas
- MEStudio Logic Model Builder: para desarrollar y actualizar la Teoría del Cambio viva.
- Evaluation Planner: para estructurar el enfoque de monitoreo de la ED y la recolección de datos en tiempo real.
Temas Relacionados
- Gestión Adaptativa: la práctica de gestión de programas que la ED está diseñada para apoyar.
- Evaluación Centrada en la Utilización: un enfoque relacionado donde las necesidades del usuario previsto guían todas las decisiones de evaluación.
- Agendas de Aprendizaje: las prioridades de aprendizaje estructuradas que pueden fundamentar la recolección de datos de la ED.
- Teoría del Cambio: el marco vivo que la ED prueba y refina continuamente.
- Cambio Más Significativo: un método complementario para capturar resultados inesperados o transformadores durante la ED.