Resumen
Comparativa detallada
| Factor | Cosecha de Resultados (CR) | Cambio Más Significativo (CMS) |
|---|---|---|
| Desarrollado por | Ricardo Wilson-Grau (2015) | Rick Davies y Jessica Dart (2005) |
| Punto de partida | Resultados observados, rastreados hasta la atribución | Historias de cambio recopiladas de los participantes |
| Impulsado por | Evaluador/facilitador, con aportes de informantes | Participantes y miembros del panel de selección |
| Formato de producto | Declaraciones de resultados estructuradas: descripción, significancia, contribución, evidencia | Historias narrativas clasificadas por paneles de partes interesadas |
| Plazo típico | 4-8 semanas para el ciclo de evaluación | 3-6 meses para un ciclo completo con paneles de selección |
| El rigor proviene de | Proceso de substanciación: verificación de cada resultado con múltiples fuentes | Paneles de selección: filtrado multinivel por partes interesadas que justifican sus elecciones |
| Voz de los participantes | Moderada (entrevistas a informantes, no autoría de los participantes) | Alta (los participantes redactan las historias con sus propias palabras) |
| Adecuación para informes de rendición de cuentas | Fuerte (los productos estructurados funcionan para los informes de los donantes) | Moderada (las historias necesitan estructuración para los productos de los donantes) |
| Mejor para | Programas complejos/emergentes, incidencia, cambio de sistemas, innovación | Programas participativos, empoderamiento, liderados por la comunidad, contextos de cambio imprevisto |
| Habilidad del facilitador requerida | Alta (diseño de substanciación, triangulación de evidencia) | Alta (diseño de paneles de selección, facilitación en todos los niveles) |
| Costo | Moderado: 30-60% de una evaluación sumativa estándar | Moderado a alto: 40-80% de una evaluación sumativa estándar |
Para las definiciones formales de los métodos, consulte cosecha de resultados y cambio más significativo.
Principios comunes
Ambos métodos comparten tres características fundamentales que los distinguen de los enfoques de evaluación basados en contrafactuales.
Ambos se fundamentan en la teoría, no en contrafactuales. Ninguno busca establecer una comparación de "qué habría sucedido sin el programa". En su lugar, ambos indagan: "¿qué cambio es observable y cómo ha influido el programa?". Esto los hace idóneos cuando un diseño contrafactual es inviable (por ejemplo, con un tamaño de muestra pequeño, cuestiones éticas o resultados emergentes) o inapropiado (en programas complejos donde un grupo de control carece de sentido). Para más información, consulte contrafactual y evaluación basada en la teoría.
Ambos son predominantemente cualitativos. Operan con el lenguaje de la narrativa y la descripción, en contraposición a las estadísticas y los tamaños de efecto. Si bien sus hallazgos pueden complementarse con datos cuantitativos, no dependen de la medición cuantitativa para sus conclusiones principales.
Ambos priorizan el aprendizaje y la rendición de cuentas. No son meras herramientas de cumplimiento. Ambos están concebidos para generar hallazgos que el programa pueda aplicar de forma efectiva, incluyendo resultados imprevistos que los enfoques de M&E convencionales podrían pasar por alto.
Estos principios comunes implican que ambos métodos se alinean de forma natural con la gestión adaptativa, las agendas de aprendizaje y el razonamiento de la Teoría del Cambio. Para una comprensión más amplia, consulte Teoría del Cambio.
Cuándo Aplicar Cada Método
Ventajas de la cosecha de resultados
La Cosecha de Resultados (CR) es la opción más adecuada en las siguientes situaciones:
El programa es complejo o emergente. Las iniciativas de incidencia, la reforma de la gobernanza, los cambios de sistemas y los proyectos de innovación suelen generar resultados que no son totalmente predecibles en la fase de diseño. La CR aborda esto eficazmente: parte de los hechos ocurridos en lugar de lo planificado, y rastrea la contribución específica del programa. Los programas con Teorías del Cambio muy específicas (como la prestación de servicios o el cambio de comportamiento dirigido) podrían encontrar la CR menos diferenciada que el CMS o los métodos convencionales.
El plazo es limitado. Un ciclo estándar de CR dura entre 4 y 8 semanas, incluyendo la identificación de resultados, la redacción de declaraciones, la substanciación con informantes y la finalización. Los ciclos de CMS, debido a sus paneles de selección, se extienden de 3 a 6 meses. Si la evaluación debe alimentar un informe de donante con un vencimiento de 3 meses, la CR es viable; el CMS, probablemente no.
Múltiples actores contribuyeron a los resultados. El marco de análisis de contribución de la CR es idóneo para programas donde la iniciativa comparte el mérito con otros (por ejemplo, coaliciones de incidencia, reformas políticas o proyectos con múltiples partes interesadas). El formato de declaración de resultados (descripción, contribución, evidencia) exige transparencia sobre la contribución específica del programa.
El entregable principal es un producto de rendición de cuentas. La CR genera declaraciones de resultados estructuradas que pueden tabularse, cuantificarse y agregarse. Un informe para un donante que mencione "28 resultados documentados, 18 con sólida substanciación" es efectivo. El formato narrativo del CMS, en cambio, es más complejo de tabular sin un esfuerzo de síntesis adicional.
Ventajas del Cambio más significativo
El Cambio Más Significativo (CMS) es la opción más adecuada en las siguientes situaciones:
La voz de los participantes es fundamental para la Teoría del Cambio del programa. Las iniciativas de empoderamiento, los programas con enfoque de localización, el desarrollo comunitario y los proyectos participativos tienen el compromiso explícito de priorizar las perspectivas de los beneficiarios. El CMS materializa este principio mediante historias autorizadas por los participantes y un proceso de selección liderado por ellos. Si bien la CR puede incorporar la voz de los participantes, no la exige estructuralmente.
Se anticipan resultados imprevistos. La pregunta abierta del CMS (generalmente: "En los últimos X meses, ¿cuál fue el cambio más significativo que observó en Y?") anima a los participantes a identificar resultados que el evaluador no había previsto. La CR es más eficaz para estructurar resultados ya conocidos; el CMS, para descubrir los desconocidos.
La evaluación dispone de tiempo para los paneles de selección. La característica distintiva de rigor del CMS es su proceso de paneles de selección multinivel: se recogen historias, luego los paneles a nivel de campo las seleccionan, seguidos por los paneles a nivel de gestión, y finalmente los paneles de partes interesadas o de la junta directiva. Cada nivel debe justificar su elección. Este proceso requiere un mínimo de 3 a 6 meses y es esencial para la metodología. Omitir o reducir la selección compromete la validez del CMS.
El aprendizaje es el objetivo principal. Las historias del CMS tienen un gran poder de conexión emocional. Son muy efectivas en eventos de aprendizaje internos, comunicaciones externas y en la promoción ante audiencias que valoran las narrativas. Si el resultado de la evaluación busca influir en la percepción del personal interno sobre el programa o en cómo lo ven las audiencias externas, las historias del CMS son más impactantes que las declaraciones estructuradas de la CR.
Combinando ambos métodos
Algunos programas optan por combinar la CR y el CMS. Un flujo de trabajo combinado típico es el siguiente:
- Recopilación de historias (fase CMS): Se solicitan historias de cambio a los participantes y al personal de primera línea, utilizando las preguntas del CMS. Se suelen recopilar entre 40 y 100 historias.
- Selección (fase CMS abreviada): Los paneles a nivel de campo y de programa seleccionan entre 20 y 30 historias consideradas más significativas. Se opta por un solo nivel de selección en lugar de multinivel para optimizar el tiempo.
- Cosecha de resultados a partir de historias (fase CR): En lugar de contactar a los informantes sin un punto de partida, se utilizan las historias seleccionadas del CMS como base. A partir de cada historia, se redactan declaraciones de resultados que incluyen: descripción, significancia, contribución y evidencia.
- Substanciación (fase CR): Se verifica cada declaración de resultados con al menos una fuente adicional, distinta del autor original de la historia.
- Síntesis: Se organizan las declaraciones de resultados en grupos temáticos, se identifican patrones y se redacta el informe final.
El ciclo combinado suele durar entre 3 y 4 meses, con un costo aproximado de 1.3 a 1.6 veces el de aplicar cualquiera de los métodos por separado. Esta combinación es ideal cuando se busca tanto la riqueza de la voz de los participantes (fortaleza del CMS) como un producto estructurado para la rendición de cuentas (fortaleza de la CR). Sin embargo, resulta excesiva si uno de los métodos por sí solo es suficiente para los objetivos de la evaluación.
Metodología Paso a Paso
Proceso de la cosecha de resultados
El proceso estándar de la CR, desarrollado por Wilson-Grau, consta de seis pasos:
- Diseño (1-2 semanas): Se define la pregunta central de la cosecha (qué tipo de resultados son relevantes), el marco temporal y los informantes clave a contactar. Una pregunta típica podría ser: "¿A qué cambios en las prácticas o políticas de los actores clave ha contribuido el programa en los últimos 24 meses?"
- Recopilación de descripciones de resultados (2 semanas): Se revisan documentos del programa, se entrevista a informantes y se recopilan resultados potenciales. Cada uno de estos es una declaración de resultados preliminar.
- Formulación de declaraciones de resultados (1 semana): Se refina cada resultado al formato estándar: descripción (qué cambió, cuándo, dónde, quién), significancia (por qué es relevante) y contribución (cómo ha participado el programa).
- Substanciación (1-2 semanas): Se verifica cada declaración de resultados con al menos una fuente adicional, más allá del informante inicial. Este paso es crucial para el rigor de la CR; los resultados no substanciados deben ser señalados o descartados.
- Análisis (1 semana): Se agrupan los resultados por temas, se identifican patrones y se redactan los hallazgos.
- Apoyo al uso (1 semana): Se presentan los hallazgos y se brinda apoyo al equipo del programa para la toma de decisiones basada en ellos.
El ciclo total suele oscilar entre 6 y 9 semanas, y es dirigido por un facilitador experto. El presupuesto destinado a la substanciación es fundamental; una CR sin una substanciación rigurosa se convierte en una mera lista de afirmaciones.
Proceso del Cambio más significativo
El proceso estándar del CMS, desarrollado por Davies y Dart, consta de ocho pasos:
- Establecimiento de dominios de cambio (2 semanas): Se identifican entre 3 y 5 dominios en los que el programa busca influir. Estos dominios son categorías amplias (por ejemplo, "cambios en la participación de las mujeres en las decisiones comunitarias"), no indicadores específicos.
- Recopilación de historias (4-6 semanas): Se solicita a los participantes y partes interesadas que compartan historias sobre el cambio más significativo que hayan observado en cada dominio. La pregunta estándar es: "Mirando hacia atrás en los últimos X meses, ¿cuál considera que fue el cambio más significativo en [dominio]?"
- Selección a nivel de campo (1 semana): Los equipos de campo eligen la historia más significativa por dominio, acompañando su selección con una justificación escrita.
- Selección a nivel de programa (1 semana): El panel a nivel de programa revisa las selecciones de campo y elige la historia más significativa por dominio, también con su justificación.
- Selección a nivel de partes interesadas (1 semana): Un panel de nivel superior (como la junta directiva, la gerencia o, si es pertinente, el donante) selecciona la historia más significativa.
- Bucles de retroalimentación (2 semanas): Se comparten las historias seleccionadas y el razonamiento detrás de su elección con los participantes, el personal de campo y los equipos del programa. Este es el punto donde se materializa el aprendizaje participativo del CMS.
- Verificación (opcional, 2 semanas): Se verifican las afirmaciones clave de las historias seleccionadas utilizando fuentes secundarias.
- Síntesis: Se elabora un informe que incluye las historias seleccionadas, el razonamiento de su elección y los patrones temáticos identificados.
El ciclo total suele durar entre 3 y 6 meses. La habilidad fundamental reside en el diseño del panel de selección; un diseño deficiente puede hacer que el CMS se perciba como una mera colección de 'historias favoritas' en lugar de una evaluación cualitativa rigurosa.
Ejemplos por Sector
Ejemplos por sector
Salud: coalición de incidencia en control del tabaco, África Austral
Una coalición regional dedicada a la incidencia en políticas de control del tabaco en África Austral empleó la Cosecha de Resultados para su evaluación trienal. La CR fue la elección acertada porque: los resultados implicaban cambios a nivel de política, con la contribución de múltiples coaliciones y actores gubernamentales; los indicadores preestablecidos habrían omitido logros políticos en áreas inesperadas; y el plazo para los informes de los donantes era de solo 8 semanas. La cosecha generó 34 declaraciones de resultados en 4 categorías (política nacional, regulación subnacional, cumplimiento de la industria, conciencia pública). De estas, 22 fueron substanciadas con documentos gubernamentales, noticias o entrevistas con socios. El donante aceptó la CR como un método adecuado para la evaluación de incidencia, y la coalición utilizó los hallazgos para planificar su siguiente fase.
Educación: programa de empoderamiento para la educación de niñas, Asia Meridional
Un programa de educación para niñas de 4 años en Asia Meridional optó por el Cambio Más Significativo, dado que la voz de las participantes era fundamental para la Teoría del Cambio de empoderamiento del programa. La recopilación de historias incluyó a 600 niñas y 300 miembros de sus familias en 60 comunidades. Los paneles de selección a nivel de campo (comités comunitarios) eligieron 20 historias por comunidad; el panel del programa las redujo a 60; y el panel de partes interesadas (junta directiva y revisores externos) seleccionó 12 como las más relevantes. El proceso duró 5 meses. Las historias seleccionadas revelaron un resultado inesperado: madres que reportaban cambios en su propio comportamiento al apoyar la educación de sus hijas mayores. Este hallazgo no estaba contemplado en la Teoría del Cambio original y motivó un ajuste en el diseño del programa para el quinto año.
Gobernanza: programa de rendición de cuentas pública, África Occidental
Un programa de gobernanza trienal en África Occidental combinó la CR y el CMS. El CMS permitió recopilar 140 historias de ciudadanos, funcionarios de primera línea y socios de la sociedad civil. Los paneles de campo y de programa seleccionaron 45; un panel de partes interesadas realizó la selección final. Posteriormente, el equipo de evaluación transformó las 45 historias seleccionadas en 38 declaraciones de resultados de CR (algunas historias se agruparon en un único resultado), substanció 30 mediante fuentes secundarias y elaboró un informe de síntesis. El ciclo combinado se extendió por 4.5 meses. Este enfoque híbrido ofreció al donante productos estructurados para la rendición de cuentas y al programa material de aprendizaje participativo para su siguiente fase.
Medios de vida: programa de medios de vida para pastores, sahel
Un programa de medios de vida para pastores en el Sahel optó por la Cosecha de Resultados en lugar del CMS, ya que su Teoría del Cambio era relativamente específica (diversificación de medios de vida, adopción de grupos de ahorro, aceptación de la vacunación del ganado) y la dirección del programa requería una evaluación rápida para una revisión del donante. La CR generó 24 declaraciones de resultados en 3 componentes del programa en 7 semanas. De estas, 19 fueron substanciadas mediante registros del programa, entrevistas comunitarias y datos de mercado. El equipo de evaluación identificó 5 resultados con substanciación débil y recomendó un monitoreo adicional. La CR fue la decisión acertada para este programa; el CMS habría ofrecido historias más ricas, pero no se habría ajustado al cronograma.
Errores Comunes y Lista de Verificación
Errores frecuentes
Error 1: elegir CR o CMS como un atajo para la evaluación de impacto. Ambos métodos son herramientas específicas para preguntas distintas, no alternativas económicas a los ECA o diseños cuasi-experimentales. Los programas que optan por CR o CMS bajo el argumento de que 'la evaluación de impacto es demasiado costosa' suelen terminar con evaluaciones incapaces de responder a la pregunta de impacto que intentaban eludir. Consulte ECA vs cuasi-experimental para determinar cuándo es realmente indispensable un contrafactual.
Error 2: subestimar el presupuesto para la facilitación. Ambos métodos dependen de la disciplina y pericia de un facilitador experto. Una CR sin una substanciación rigurosa se convierte en una mera lista de afirmaciones; un CMS sin un diseño de panel de selección riguroso es solo una colección de 'historias favoritas'. Los facilitadores con experiencia tienen un costo mayor, y estos métodos no son efectivos si son implementados por facilitadores junior sin experiencia previa.
Error 3: omitir o reducir los paneles de selección en el CMS. El proceso de selección multinivel es el elemento que diferencia al CMS de una simple recopilación de historias. Recortar los niveles de selección o llevar a cabo paneles sin una justificación disciplinada y adecuada, compromete el rigor fundamental del método.
Error 4: afirmar rigor sin substanciación en la CR. Cada declaración de resultados en un informe de CR debe estar respaldada por evidencia de substanciación. Los resultados no substanciados deben ser claramente indicados o descartados. Los informes que presentan todos los resultados como igualmente verificados minan la credibilidad.
Error 5: considerar la CR y el CMS como intercambiables. Ambos métodos responden a preguntas diferentes. La CR indaga: '¿qué cambió y cómo contribuyó el programa?'. El CMS, por su parte, pregunta: '¿qué fue lo más significativo para los participantes de lo que cambió?'. Aunque relacionadas, estas son preguntas distintas, y seleccionar el método incorrecto para la pregunta planteada resultará en un producto insatisfactorio.
Error 6: no justificar el propósito ante el donante. La CR y el CMS no gozan de la misma aceptación por parte de todos los donantes. Las propuestas que emplean cualquiera de estos métodos deben justificar explícitamente por qué un diseño contrafactual no es adecuado (debido a la complejidad, consideraciones éticas, tamaño de muestra reducido o resultados emergentes), cómo se garantiza el rigor (mediante substanciación, paneles de selección, triangulación) y cuál es la estructura de resultados esperada. Sin esta justificación, cualquiera de los métodos podría parecer insuficiente para los donantes más tradicionales.
Lista de verificación: CR vs. CMS
Revise esta lista durante la planificación de la evaluación para determinar qué método se ajusta mejor a sus necesidades.
Características del programa:
- Tipo de programa: prestación de servicios / incidencia / cambio de sistemas / empoderamiento / innovación (marcar lo aplicable)
- Teoría del Cambio: específica y predefinida o emergente e impredecible
- Centralidad de la voz de los participantes: fundamental para la Teoría del Cambio o complementaria
- Contribución de múltiples actores: programa único o de múltiples partes interesadas
Restricciones de la evaluación:
- Plazo disponible: 4-8 semanas (CR factible) vs 3-6 meses (CMS factible)
- Presupuesto para facilitación: facilitador experto en CR o CMS asegurado
- Aceptación del donante: método previamente aprobado por el donante si es necesario
Requisitos de producto:
- Formato de producto principal necesario: declaraciones de resultados estructuradas (CR) o historias narrativas (CMS)
- Rendición de cuentas vs aprendizaje: cuál es el propósito principal
- Audiencia para los hallazgos: informe de donante, aprendizaje interno, comunicación externa
Decisión de método mixto:
- Si se combinan CR + CMS: el presupuesto soporta un costo de 1.3-1.6 veces en comparación con un solo método
- Plazo combinado de 3-4 meses disponible
Para una selección de metodología más amplia, consulte cómo elegir la metodología de evaluación y cualitativos vs cuantitativos vs métodos mixtos. Para el marco de evaluación basada en la teoría en el que se inscriben ambos métodos, consulte evaluación basada en la teoría. Para consultar los espacios de trabajo actuales, vea el catálogo de playbooks.