Evaluación Centrada en la Utilización (ECU)

Cuándo Aplicar la Evaluación Centrada en la Utilización

La Evaluación Centrada en la Utilización (ECU) es el enfoque ideal cuando la prioridad principal es asegurar que los hallazgos de la evaluación se utilicen de manera efectiva, no solo que se generen. Desarrollada por Michael Quinn Patton, la ECU se basa en una premisa simple pero radical: las evaluaciones se valoran no solo por su calidad metodológica, sino por su capacidad para generar hallazgos que informen decisiones concretas. Una evaluación que nadie utiliza es un fracaso, independientemente de su calidad técnica.

Úsela cuando:

• Evaluaciones previas no han sido utilizadas: Un historial de informes de evaluación que acumulan polvo sugiere que el proceso de diseño no consideró a los usuarios previstos.
• Los tomadores de decisiones enfrentan opciones específicas y con plazos definidos: La evaluación puede diseñarse para proporcionar exactamente la información necesaria, en el momento oportuno.
• Múltiples partes interesadas tienen diferentes necesidades de información: La ECU ofrece un marco para negociar y priorizar entre necesidades diversas.
• La política del donante o de la organización lo exige: CRS, CARE y varios donantes bilaterales han institucionalizado la ECU como su enfoque de evaluación estándar.
• Fortalecimiento de capacidades de evaluación: Involucrar a los usuarios en el proceso de evaluación desarrolla su habilidad para utilizar la evidencia en futuras tomas de decisiones.

La ECU no debe ser una excusa para generar únicamente los hallazgos que los usuarios desean ver. El evaluador debe mantener su independencia profesional e informar los resultados con honestidad, incluso cuando resulten incómodos. La ECU adapta las preguntas y la comunicación a las necesidades de los usuarios, no los hallazgos en sí mismos.

Cómo Funciona la ECU

La ECU no es un método específico de recolección de datos, sino un marco de proceso para diseñar cualquier evaluación en función de las necesidades de los usuarios. El evaluador aplica el pensamiento evaluativo y el rigor profesional a cualquier método que sea más apropiado para las preguntas que los usuarios necesitan responder.

Paso 1: Identificar al(los) usuario(s) principal(es) previsto(s)

Este es el paso más crítico. El usuario principal previsto es una persona o personas específicas y con nombre que utilizarán los hallazgos para tomar una decisión concreta. «El programa» no es un usuario. «El Director del Programa, quien presentará los hallazgos al Consejo en marzo para decidir si renovar el contrato» sí es un usuario. Patton lo denomina el «factor personal»: usuarios abstractos generan evaluaciones abstractas que nadie utiliza.

Paso 2: Identificar el uso previsto

¿Qué decisiones o acciones específicas tomará el usuario principal basándose en la evaluación? El uso previsto define todo: las preguntas, los métodos, el cronograma y el enfoque de comunicación. Si el uso no está determinado, el diseño de la evaluación aún no es posible.

Paso 3: Involucrar a los usuarios en el diseño de la evaluación

Involucrar a los usuarios principales previstos en el desarrollo de las preguntas de evaluación, la revisión del diseño de la evaluación y la interpretación de los hallazgos preliminares. Esto no es una consulta pública, sino una relación de trabajo con las personas específicas que utilizarán los resultados.

Paso 4: Alinear métodos a preguntas, no a convenciones

En la ECU, las preguntas de evaluación (derivadas de las necesidades de los usuarios) determinan los métodos, no al revés. Si los usuarios necesitan una respuesta rápida en seis semanas, una evaluación de impacto de dos años es inapropiada, independientemente de su superioridad metodológica. Se debe utilizar cualquier método que produzca hallazgos creíbles y útiles dentro del cronograma de decisión de los usuarios.

Paso 5: Comunicar para el uso

El formato, el momento y el enfoque de los hallazgos deben coincidir con la forma en que los usuarios los consumirán y compartirán. Un informe técnico de 60 páginas entregado dos semanas después de una decisión del Consejo no es útil para nadie. Un resumen de dos páginas con recomendaciones claras, entregado antes de la decisión, sí lo es.

Paso 6: Dar seguimiento al uso

Una vez entregados los hallazgos, se debe realizar un seguimiento para documentar cómo se utilizaron (o por qué no). Esta rendición de cuentas cierra el ciclo y permite al evaluador mejorar la utilización futura.

Componentes Clave de la ECU

• Usuarios principales previstos identificados por nombre: Individuos específicos, no organizaciones o audiencias generales.
• Uso previsto especificado: Documentado antes de iniciar el diseño de la evaluación.
• Proceso de participación de usuarios: Involucramiento estructurado de los usuarios en el desarrollo de preguntas y la interpretación de hallazgos.
• El evaluador como facilitador activo: El evaluador gestiona activamente el proceso de utilización, no solo la recolección de datos.
• Métodos seleccionados por su utilidad: Las decisiones de diseño se justifican por lo que producirá hallazgos útiles, no por convención metodológica.
• Plan de comunicación: Productos adaptados a las necesidades y al cronograma de decisión de cada usuario identificado.
• Documentación del uso: Registros de cómo se utilizaron realmente los hallazgos.

Mejores Prácticas para la ECU

Identifique al usuario, especifique el uso. La disciplina de registrar el nombre y rol específico del usuario principal previsto, así como la decisión concreta que enfrenta, transforma la planificación de evaluación abstracta en utilidad tangible. Realícelo antes que cualquier otra cosa.

Comience con el uso, no con las preguntas. La evaluación convencional comienza con «¿qué queremos saber?». La ECU, en cambio, se inicia con «¿qué necesitamos decidir y qué información mejoraría esa decisión?». La diferencia es sutil pero significativa.

Proteja la independencia del evaluador. La participación de los usuarios no implica que el evaluador deba decirles lo que quieren oír. La responsabilidad del evaluador es proporcionar hallazgos honestos y creíbles. La ECU adapta las preguntas y la comunicación, no los hallazgos.

Alinear el cronograma de evaluación con el cronograma de decisión. Una evaluación entregada después de que se ha tomado una decisión resulta inútil. Establezca el cronograma de la evaluación en función de cuándo los usuarios necesitan los hallazgos.

Documentar el uso previsto en los Términos de Referencia. Los Términos de Referencia de la evaluación deben especificar explícitamente a los usuarios principales previstos y las decisiones concretas que informará la evaluación. Esto genera responsabilidad sobre la utilización desde el inicio.

Errores Comunes en la ECU

Identificar organizaciones en lugar de personas como usuarios. «El Ministerio de Salud» no es un usuario. «La Dra. Amara Diallo, Directora de Atención Primaria de Salud, quien está decidiendo si recomendar el despliegue nacional» sí es un usuario. La especificidad sobre quién utilizará los hallazgos es clave para el éxito de la ECU.

Confundir consulta con participación. Presentar un borrador de informe a las partes interesadas para comentarios es una consulta. La ECU, en cambio, exige una participación sustantiva de los usuarios en el desarrollo de preguntas, la revisión de la metodología y la interpretación preliminar de los hallazgos.

Usar la ECU como justificación para evitar métodos rigurosos. «El usuario no necesita un ensayo controlado aleatorio (ECA), solo una encuesta básica» es válido, siempre y cuando una encuesta básica proporcione respuestas creíbles a las preguntas del usuario. La ECU no es un pretexto para realizar evaluaciones de menor calidad; es una razón para seleccionar la evaluación de la calidad adecuada para las preguntas relevantes.

Omitir cerrar el ciclo de utilización. Si no se realiza un seguimiento después de la entrega de los hallazgos para documentar qué se decidió y cómo estos influyeron en la decisión, no se tendrá evidencia de utilización, solo la esperanza de ello.

Tratar la ECU como una metodología. La ECU es un marco de proceso, no una metodología de recolección de datos. Métodos mixtos, encuestas, estudios de caso y entrevistas pueden utilizarse dentro de un enfoque de ECU. Los métodos se seleccionan en función de lo que producirá hallazgos creíbles y útiles para los usuarios identificados.

Ejemplos de Aplicación de la ECU

Revisión de medio término, África Occidental. Un programa de empoderamiento económico femenino financiado por CARE en Senegal aplicó la ECU para su revisión de medio término. El usuario principal previsto fue el Director de País, quien necesitaba decidir cuáles de los tres componentes del programa fortalecer y cuáles reducir antes de la planificación del Año 3. La evaluación se diseñó con tres paquetes de hallazgos separados: uno para la decisión de recursos del Director de País, otro para los ajustes operativos del equipo del programa y un tercero para los requisitos de rendición de cuentas del donante. Cada paquete utilizó datos de la misma evaluación, pero fue enmarcado, formateado y entregado en momentos diferentes. El Director de País implementó los tres cambios de componentes recomendados en un plazo de 30 días tras recibir los hallazgos.

Evaluación sumativa, África Oriental. Un programa de gobernanza financiado por USAID en Kenia aplicó la ECU para su evaluación final. Los usuarios principales previstos fueron la Misión de USAID y la contraparte del programa del gobierno anfitrión, cada uno con usos previstos distintos. El evaluador facilitó un taller de aprendizaje conjunto donde ambas partes revisaron los hallazgos preliminares, aclarando interpretaciones e identificando implicaciones antes de la redacción del informe final. El informe resultante se utilizó directamente en el diseño del programa de seguimiento de USAID, un uso documentado que satisfizo los requisitos de utilización de evaluación de USAID.

Aprendizaje organizacional, Asia Meridional. Una ONG internacional en Bangladés, con un historial de evaluaciones que no eran leídas, encargó una revisión del proceso de ECU antes de llevar a cabo cualquier nueva evaluación. La revisión identificó que las evaluaciones anteriores fallaron porque respondían a preguntas que ningún tomador de decisiones consideraba importantes y se entregaron después de que las decisiones ya se habían tomado. El marco de la ECU se aplicó entonces para rediseñar el sistema de evaluación, vinculando explícitamente las preguntas de evaluación al ciclo anual de revisión del programa.

Comparado Con Otros Enfoques

Indicadores Relevantes

24 indicadores a través de los marcos de CRS, USAID, DFID y CARE. Ejemplos clave:

• Número de usuarios principales previstos involucrados sustantivamente en el diseño de la evaluación (meta: mínimo 2)
• Proporción de preguntas de evaluación directamente vinculadas a necesidades de decisión de usuarios identificados por nombre
• Casos documentados de hallazgos de evaluación utilizados en decisiones programáticas u organizacionales dentro de los 6 meses posteriores al informe
• Puntuación de satisfacción del usuario respecto a la relevancia y oportunidad de la evaluación (calificada en una escala de 1 a 5)

Herramientas Relacionadas

• Planificador de Evaluación: Estructure su diseño de evaluación considerando usuarios, uso previsto y cronograma.

Temas Relacionados

• Términos de Referencia de Evaluación: El documento donde deben especificarse los usuarios y el uso previstos.
• Agendas de Aprendizaje: Una herramienta complementaria para identificar preguntas de aprendizaje prioritarias en toda la organización.
• Gestión Adaptativa: La práctica de gestión de programas que depende de que los hallazgos de evaluación se utilicen en tiempo real.
• Evaluación del Desarrollo: El enfoque de Patton para programas complejos y emergentes, que comparte el énfasis en el uso de la ECU.
• Planes de M&E: El plan de monitoreo operativo que proporciona datos para evaluaciones centradas en la utilización.