Evaluación Centrada en la Utilización

Cuándo Usar

La Evaluación Centrada en la Utilización (ECU) es el enfoque adecuado cuando la preocupación principal es asegurar que los hallazgos de la evaluación se utilicen realmente —no solo se produzcan. Desarrollada por Michael Quinn Patton, la ECU parte de una premisa simple pero radical: las evaluaciones se juzgan no solo por la calidad metodológica, sino por si producen hallazgos que informen decisiones reales. Una evaluación que nadie usa es un fracaso, independientemente de su calidad técnica.

Úsela cuando:

• Evaluaciones anteriores no han sido utilizadas —un historial de informes de evaluación acumulando polvo indica que el proceso de diseño ignoró a los usuarios previstos
• Los tomadores de decisiones tienen opciones específicas y con plazos definidos que tomar —y la evaluación puede diseñarse para proporcionar exactamente la información necesaria, cuando sea necesaria
• Múltiples partes interesadas tienen diferentes necesidades de información —la ECU proporciona un marco para negociar y priorizar entre necesidades competitivas
• La política del donante o de la organización lo requiere —CRS, CARE y varios donantes bilaterales han institucionalizado la ECU como su enfoque de evaluación estándar
• Fortalecimiento de capacidades de evaluación —involucrar a los usuarios en el proceso de evaluación construye su capacidad para usar evidencia en la toma de decisiones futura

La ECU no es una excusa para producir solo los hallazgos que los usuarios quieren ver. El evaluador mantiene la independencia profesional e informa los hallazgos honestamente, incluso cuando son incómodos. La ECU moldea las preguntas y la comunicación alrededor de las necesidades de los usuarios, no los hallazgos mismos.

Cómo Funciona

La ECU no es un método específico de recolección de datos —es un marco de proceso para diseñar cualquier evaluación alrededor de las necesidades de los usuarios. El evaluador aplica pensamiento evaluativo y rigor profesional a cualquier método que sea más apropiado para las preguntas que los usuarios necesitan responder.

Paso 1: Identificar al(les) usuario(s) principal(es) previsto(s)

Este es el paso más crítico. El usuario principal previsto es una persona o personas específicas y nombradas que usarán los hallazgos para tomar una decisión específica. "El programa" no es un usuario. "El Director del Programa, quien presentará los hallazgos al Consejo en marzo para decidir si renovar el contrato" es un usuario. Patton llama a esto el "factor personal" —usuarios abstractos producen evaluaciones abstractas que nadie usa.

Paso 2: Identificar el uso previsto

¿Qué decisiones o acciones específicas tomará el usuario principal basándose en la evaluación? El uso previsto moldea todo: las preguntas, los métodos, el cronograma y el enfoque de comunicación. Uso no determinado = diseño de evaluación no posible aún.

Paso 3: Involucrar a los usuarios en el diseño de la evaluación

Involucrar a los usuarios principales previstos en el desarrollo de preguntas de evaluación, revisar el diseño de la evaluación e interpretar hallazgos preliminares. Esto no es una consulta pública —es una relación de trabajo con las personas específicas que usarán los resultados.

Paso 4: Alinear métodos a preguntas, no a convención

En la ECU, las preguntas de evaluación (derivadas de las necesidades de los usuarios) determinan los métodos —no al revés. Si los usuarios necesitan una respuesta rápida en seis semanas, una evaluación de impacto de dos años es incorrecta independientemente de su superioridad metodológica. Usar cualquier método que produzca hallazgos creíbles y útiles dentro del cronograma de decisión de los usuarios.

Paso 5: Comunicar para el uso

El formato, tiempo y encuadre de los hallazgos deben coincidir con cómo los usuarios consumirán y compartirán. Un informe técnico de 60 páginas entregado dos semanas después de una decisión del Consejo no sirve a nadie. Un resumen de dos páginas con recomendaciones claras, entregado antes de la decisión, sí sirve.

Paso 6: Dar seguimiento al uso

Después de que se entreguen los hallazgos, dar seguimiento para documentar cómo se usaron (o por qué no). Esta rendición de cuentas cierra el ciclo y permite al evaluador mejorar la utilización futura.

Componentes Clave

• Usuarios principales previstos nombrados —individuos específicos, no organizaciones o audiencias generales
• Uso previsto especificado —documentado antes de que comience el diseño de la evaluación
• Proceso de participación de usuarios —involucramiento estructurado de usuarios en el desarrollo de preguntas e interpretación
• Evaluador como facilitador activo —el evaluador gestiona activamente el proceso de utilización, no solo la recolección de datos
• Métodos seleccionados por utilidad —elecciones de diseño justificadas por lo que producirá hallazgos útiles, no por convención metodológica
• Plan de comunicación —salidas adaptadas para las necesidades y cronograma de decisión de cada usuario identificado
• Documentación del uso —registros de cómo se usaron realmente los hallazgos

Mejores Prácticas

Nombre al usuario, nombre el uso. La disciplina de escribir el nombre y rol específico del usuario principal previsto y la decisión específica que enfrenta transforma la planificación de evaluación abstracta en utilidad concreta. Hágalo antes que cualquier otra cosa.

Comience con el uso, no con las preguntas. La evaluación convencional comienza con "¿qué queremos saber?". La ECU comienza con "¿qué necesitamos decidir, y qué información mejoraría esa decisión?". La diferencia es sutil pero consecuente.

Proteger la independencia del evaluador. La participación de usuarios no significa que el evaluador diga a los usuarios lo que quieren oír. La responsabilidad del evaluador es proporcionar hallazgos honestos y creíbles. La ECU moldea preguntas y comunicación, no hallazgos.

Alinear el cronograma de evaluación con el cronograma de decisión. Una evaluación entregada después de que se ha tomado una decisión es inútil. Construya el cronograma de evaluación alrededor de cuándo los usuarios necesitan hallazgos.

Documentar el uso previsto en los Términos de Referencia. Los Términos de Referencia de la evaluación deben declarar explícitamente a los usuarios principales previstos y las decisiones específicas que informará la evaluación. Esto crea responsabilidad para la utilización desde el inicio.

Errores Comunes

Identificar organizaciones en lugar de personas como usuarios. "El Ministerio de Salud" no es un usuario. "Dr. Amara Diallo, Director de Atención Primaria de Salud, quien está decidiendo si recomendar el despliegue nacional" es un usuario. La especificidad sobre quién usará los hallazgos es lo que hace que la ECU funcione.

Confundir consulta con participación. Mostrar un borrador de informe a las partes interesadas para comentarios es consulta. La ECU requiere participación sustantiva de usuarios en el desarrollo de preguntas, revisión de metodología e interpretación preliminar de hallazgos.

Usar la ECU como justificación para evitar métodos rigurosos. "El usuario no necesita un RCT, solo necesita una encuesta básica" es válido —si una encuesta básica realmente proporciona respuestas creíbles a las preguntas del usuario. La ECU no es una razón para hacer evaluaciones de menor calidad; es una razón para elegir la evaluación de la calidad correcta para las preguntas que importan.

Omitir cerrar el ciclo de utilización. Si no da seguimiento después de que se entreguen los hallazgos para documentar qué se decidió y cómo los hallazgos lo influyeron, no tiene evidencia de utilización —solo esperanza de ello.

Tratar la ECU como una metodología. La ECU es un marco de proceso, no un método de recolección de datos. Métodos mixtos, encuestas, estudios de caso y entrevistas pueden todos usarse dentro de un enfoque de ECU. Los métodos se eligen basándose en lo que producirá hallazgos creíbles y útiles para los usuarios identificados.

Ejemplos

Revisión de mitad de período, West Africa. Un programa de empoderamiento económico femenino financiado por CARE en Senegal utilizó la ECU para su revisión de mitad de período. El usuario principal previsto fue el Director del País, quien necesitaba decidir cuáles de los tres componentes del programa profundizar y cuáles retirar antes de la planificación del Año 3. La evaluación fue diseñada con tres paquetes de hallazgos separados: uno para la decisión de recursos del Director del País, uno para los ajustes operativos del equipo del programa, y uno para los requisitos de rendición de cuentas del donante. Cada paquete usó datos de la misma evaluación pero fue encuadrado, formateado y cronologizado de manera diferente. El Director del País implementó los tres cambios de componente recomendados dentro de 30 días de recibir los hallazgos.

Evaluación sumativa, East Africa. Un programa de gobernanza financiado por USAID en Kenya utilizó la ECU para su evaluación final. Los usuarios principales previstos fueron la Misión de USAID y la contraparte del programa del gobierno anfitrión, cada uno con usos previstos diferentes. El evaluador gestionó un taller de aprendizaje conjunto donde ambas partes revisaron hallazgos preliminares juntos, aclarando interpretaciones e identificando implicaciones antes de que se escribiera el informe final. El informe resultante se usó directamente en el diseño del programa de seguimiento de USAID —un uso documentado que satisfizo los requisitos de utilización de evaluación de USAID.

Aprendizaje organizacional, South Asia. Una ONG internacional en Bangladesh con un historial de evaluaciones que no fueron leídas comisionó una revisión de proceso de ECU antes de realizar cualquier nueva evaluación. La revisión identificó que las evaluaciones pasadas fallaron porque respondieron preguntas que ningún tomador de decisiones consideraba importante y fueron entregadas después de que se tomaron decisiones. El marco de la ECU se aplicó entonces para rediseñar el sistema de evaluación, conectando las preguntas de evaluación explícitamente al ciclo anual de revisión del programa.

Comparado Con

Indicadores Relevantes

24 indicadores a través de los marcos de CRS, USAID, DFID y CARE. Ejemplos clave:

• Número de usuarios principales previstos involucrados sustantivamente en el diseño de la evaluación (meta: mínimo 2)
• Proporción de preguntas de evaluación directamente rastreables a necesidades de decisión de usuarios nombrados
• Instancias documentadas de hallazgos de evaluación usados en decisiones de programa u organizacionales dentro de 6 meses del informe
• Puntuación de satisfacción del usuario para relevancia y oportunidad de la evaluación (calificada en escala de 1-5)

Herramientas Relacionadas

• Planificador de Evaluación —estructure su diseño de evaluación con usuarios, uso previsto y cronograma

Temas Relacionados

• Términos de Referencia de Evaluación —el documento donde los usuarios y uso previstos deben especificarse
• Agendas de Aprendizaje —una herramienta complementaria para identificar preguntas de aprendizaje prioritarias a través de la organización
• Gestión Adaptativa —la práctica de gestión de programas que depende de que los hallazgos de evaluación se usen en tiempo real
• Evaluación del Desarrollo —el enfoque de Patton para programas complejos y emergentes, que comparte el enfoque de uso de la ECU
• Planes de MEL —el plan de monitoreo operativo que proporciona datos para evaluaciones centradas en la utilización

Lecturas Adicionales

• Patton, M.Q. (2008). Evaluación Centrada en la Utilización. 4ta ed. Thousand Oaks: Sage. El texto fundamental y completo.
• Patton, M.Q. (2012). Esenciales de Evaluación Centrada en la Utilización. Thousand Oaks: Sage. Una versión introductoria accesible.
• CRS (2011). Fundamentos de MEAL en la Práctica. Catholic Relief Services. Implementa la ECU como estándar organizacional para todas las evaluaciones.
• Johnson, K., Greenseid, L.O., Toal, S.A., King, J.A., Lawrenz, F., & Volkov, B. (2009). "Investigación sobre el Uso de la Evaluación." American Journal of Evaluation, 30(3), 377-410. Revisión de investigación sobre factores de uso de evaluación.