Términos de Referencia de Evaluación (TdR)

Cuándo Utilizar los TdR de Evaluación

Los Términos de Referencia de Evaluación (TdR) son el documento clave cuando se encarga una evaluación, ya sea interna o externa, y se necesita establecer expectativas claras sobre qué se evaluará, por qué, cómo y qué productos se esperan. Utilícelos cuando:

• Para encargar una evaluación externa: Son esenciales para solicitar propuestas de evaluadores cualificados y sirven como base para el contrato de evaluación. Los TdR informan a los evaluadores potenciales sobre las necesidades y les permiten proponer su enfoque, metodología y honorarios.

• Para alinear a las partes interesadas antes de la planificación de la evaluación: Aseguran que todos los actores internos estén de acuerdo con el propósito, alcance y preguntas clave de la evaluación antes de invertir en el proceso. Unos TdR bien elaborados previenen la expansión del alcance y expectativas contradictorias.

• Para especificar los requisitos del evaluador: Definen las competencias, experiencia y cualificaciones necesarias del equipo de evaluación. Esto es crucial al seleccionar evaluadores mediante licitación competitiva.

• Para establecer el cronograma y los productos de la evaluación: Fijan expectativas claras sobre cuándo se realizará la evaluación, qué informes y otros productos se esperan, y sus plazos de entrega.

Los TdR de evaluación son menos útiles cuando aún se está decidiendo si una evaluación es necesaria (en cuyo caso, realice primero una evaluación de evaluabilidad) o cuando se necesitan desarrollar las preguntas y criterios de evaluación (estos deben ser informados por el proceso de elaboración de los TdR, pero pueden refinarse durante la planificación de la evaluación).

Cómo Elaborar los TdR

La elaboración de unos Términos de Referencia de Evaluación sigue un proceso estructurado. La secuencia es importante: cada sección se basa en la anterior y nutre la siguiente.

1. Definir el propósito y los objetivos de la evaluación. Comience articulando el porqué de esta evaluación. ¿Es un requisito de cumplimiento? ¿Una oportunidad de aprendizaje? ¿Un ejercicio de rendición de cuentas? El propósito es el motor de todo lo demás. Sea específico: "Evaluar la eficacia del programa de salud materna e identificar lecciones para su escalamiento" es accionable; "Evaluar el proyecto" no lo es. Esta sección también debe especificar el tipo de evaluación (formativa, sumativa, de medio término, final, de impacto, etc.).

2. Especificar qué se evaluará. Defina el objeto de la evaluación: el programa, proyecto o intervención a evaluar. Incluya el marco temporal, el alcance geográfico, las poblaciones objetivo y cualquier componente o actividad específica que esté dentro o fuera del alcance. Esto evita que los evaluadores hagan suposiciones sobre qué deben examinar.

3. Articular las preguntas de evaluación. Estas deben derivarse directamente del propósito y alinearse con los criterios de evaluación de la OECD-DAC (Pertinencia, Coherencia, Eficacia, Eficiencia, Impacto, Sostenibilidad). Las preguntas son el corazón de los TdR: determinan qué datos se recopilarán y cómo se analizarán. Asegúrese de que sean lo suficientemente específicas para guiar la metodología, pero lo suficientemente flexibles para permitir la innovación del evaluador.

4. Definir los requisitos metodológicos. Especifique qué enfoques metodológicos se requieren o prefieren. ¿La evaluación necesitará un componente comparativo? ¿Profundidad cualitativa? ¿Rigor cuantitativo? ¿Enfoques participativos? ¿Alguna restricción en los métodos de recopilación de datos? Esta sección debe equilibrar la especificidad con la flexibilidad para que los evaluadores propongan su enfoque óptimo.

5. Especificar las cualificaciones del evaluador y la composición del equipo. Defina las competencias requeridas del equipo de evaluación. ¿Qué experiencia sectorial se necesita? ¿Qué experiencia metodológica? ¿Requisitos de idioma? ¿Conocimiento local? Especifique si se requiere un evaluador externo, si deben incluirse socios locales y cualquier requisito de diversidad para el equipo.

6. Establecer el cronograma y los productos. Especifique cuándo debe realizarse la evaluación, los hitos clave y todos los productos esperados (informe de inicio, herramientas de recopilación de datos, informe preliminar, informe final, presentación, etc.). Incluya el plazo de la evaluación y cualquier requisito de informe del donante que impulse el cronograma.

7. Definir las líneas de reporte y la participación de las partes interesadas. Especifique a quién reportará la evaluación, a quién se debe consultar durante el proceso y cómo se incorporará la retroalimentación de las partes interesadas. Aquí es donde se detallan los requisitos de participación de las partes interesadas y se asegura que la evaluación esté centrada en la utilización.

Elementos Clave de unos TdR

Unos Términos de Referencia de Evaluación bien estructurados incluyen estos elementos esenciales:

• Antecedentes y contexto: Una descripción concisa del programa o proyecto a evaluar, incluyendo sus objetivos, historial de implementación y estado actual. Esto proporciona a los evaluadores el contexto necesario para comprender lo que están evaluando.

• Propósito y objetivos: Una declaración clara del porqué de la evaluación y qué busca lograr. Esto impulsa todas las demás secciones y asegura que la evaluación cumpla su función prevista.

• Alcance de la evaluación: Definición explícita de lo que está incluido y excluido de la evaluación, incluyendo el alcance geográfico, el período de tiempo, los componentes del programa y los grupos de población. Un alcance claro previene la expansión del mismo y expectativas poco realistas.

• Preguntas de evaluación: Las preguntas específicas que la evaluación responderá, típicamente organizadas por los criterios de evaluación (Pertinencia, Coherencia, Eficacia, Eficiencia, Impacto, Sostenibilidad). Estas son el núcleo de los TdR.

• Requisitos metodológicos: Especificaciones para el enfoque de evaluación, incluyendo métodos requeridos, requisitos de muestreo, herramientas de recopilación de datos y enfoques de análisis. Esta sección debe especificar los requisitos permitiendo a la vez la innovación del evaluador.

• Cualificaciones del evaluador: Descripción detallada de las competencias, experiencia y cualificaciones requeridas del equipo de evaluación. Esto constituye la base para la selección de evaluadores.

• Productos y cronograma: Una lista completa de los productos esperados con sus plazos, incluyendo el informe de inicio, los instrumentos de recopilación de datos, los informes preliminares y finales, las presentaciones y cualquier otro producto requerido.

• Reporte y participación de las partes interesadas: Especificación de a quién reportará la evaluación, cómo se involucrará a las partes interesadas y cómo se difundirán y utilizarán los hallazgos de la evaluación.

• Presupuesto y logística: Cualquier restricción presupuestaria, apoyo logístico proporcionado y consideraciones prácticas que los evaluadores deben conocer al proponer su enfoque.

Buenas Prácticas

Iniciar la planificación de la evaluación con antelación. La planificación de la evaluación debe especificar qué se evaluará, por qué, por quién, cuándo y cómo se utilizarán los resultados. Conecte las preguntas de evaluación con los datos de monitoreo siempre que sea posible. Comience este proceso al inicio del programa, no al final.

Elaborar los TdR antes de la selección del evaluador. La planificación de la evaluación debe comenzar al inicio del programa, y los TdR deben elaborarse antes de seleccionar a los evaluadores. Esto asegura que se tenga claridad sobre las necesidades antes de involucrar a partes externas.

Asegurar que las preguntas de evaluación estén bien formuladas. Las preguntas de evaluación deben desarrollarse y acordarse al inicio de la planificación de la evaluación. Deben derivarse del propósito de la evaluación y alinearse con los criterios de la OECD-DAC. Las preguntas bien formuladas guían la metodología y aseguran que la evaluación responda a lo que realmente importa.

Ser específico sobre las competencias del evaluador. Al seleccionar evaluadores externos, valore la familiaridad con el tipo de proyecto, la experiencia previa en el tipo de evaluación a realizar, el conocimiento del entorno local y la experiencia metodológica. Incluya evaluadores externos para asegurar una distancia saludable y objetividad.

Incluir enfoques participativos. Los planes de evaluación deben proponer enfoques de evaluación participativa que involucren a las partes interesadas durante todo el proceso. Esto aumenta la apropiación y la utilización de los hallazgos.

Especificar la dotación de personal adecuada. El plan de evaluación debe proponer una dotación de personal adecuada para su realización, ya sea interna o externa. Considere la complejidad de la evaluación, la experiencia requerida y la capacidad organizacional al determinar las necesidades de personal.

Equilibrar especificidad con flexibilidad. Los TdR deben especificar los requisitos claramente, pero permitir que los evaluadores propongan su metodología óptima. Unos TdR demasiado prescriptivos limitan la innovación del evaluador; unos demasiado vagos conducen a propuestas que no satisfacen las necesidades.

Asegurar recursos adecuados para el alcance. Una evaluación con un alcance amplio pero recursos muy limitados puede ser peor que ninguna evaluación si conduce a conclusiones superficiales. Asegúrese de que el presupuesto y el cronograma de la evaluación sean adecuados para responder las preguntas clave de manera apropiada. Tres semanas suelen ser insuficientes para una evaluación significativa.

Errores Frecuentes al Elaborar TdR

Elaborar los TdR después de la selección del evaluador. El error más común es seleccionar a los evaluadores primero y luego elaborar los TdR para que coincidan con sus propuestas, en lugar de definir las necesidades primero y luego seleccionar a los evaluadores que puedan satisfacerlas. Esto invierte la secuencia adecuada y puede llevar a evaluaciones que no responden a las preguntas clave.

Formular preguntas de evaluación demasiado amplias o demasiado estrechas. Las preguntas de evaluación demasiado amplias ("¿Fue exitoso el proyecto?") no pueden responderse con rigor. Las preguntas demasiado estrechas pierden la visión general. Las preguntas deben ser lo suficientemente específicas para guiar la recopilación de datos, pero lo suficientemente amplias para capturar ideas significativas.

Establecer cronogramas poco realistas. Las evaluaciones finales de proyecto deben planificarse al menos seis meses antes de la finalización del proyecto para permitir tiempo adecuado para la recopilación de datos, el análisis y el reporte. Comprimir una evaluación en las últimas semanas de un proyecto conduce a un trabajo apresurado y a hallazgos superficiales.

No especificar las cualificaciones del evaluador. Unos TdR que no especifican claramente las competencias requeridas conducen a propuestas de evaluadores que pueden ser metodológicamente sólidos, pero carecen de experiencia sectorial o conocimiento local. Esto puede resultar en evaluaciones que omiten factores contextuales importantes.

Utilizar la evaluación para resolver disputas internas. Las evaluaciones no deben utilizarse para resolver disputas internas o mediar entre visiones conflictivas sobre el valor o la dirección futura de un proyecto. Esto socava la objetividad de la evaluación y puede llevar a hallazgos politizados.

Establecer cronogramas inadecuados para el alcance. El alcance de trabajo de la evaluación debe centrarse en solo unas pocas preguntas clave e incluir los recursos (tiempo, personal, presupuesto) para responderlas adecuadamente. Tres semanas suelen ser insuficientes para una evaluación significativa.

Ignorar la utilización desde el inicio. Unos TdR que no especifican cómo se utilizarán los hallazgos, quiénes son los usuarios principales y cómo se involucrará a las partes interesadas, corren el riesgo de producir una evaluación que termina archivada. Asegúrese de que los TdR especifiquen la planificación de la utilización como parte del proceso de evaluación.

Ejemplos Prácticos

Salud - África Subsahariana (Evaluación Final)

Un programa de salud materna financiado por USAID en tres países requirió una evaluación final seis meses antes del cierre del proyecto. Los TdR especificaron: (1) cinco preguntas de evaluación alineadas con los criterios de la OECD-DAC, (2) un diseño de métodos mixtos que requería datos de resultados cuantitativos y estudios de caso cualitativos, (3) cualificaciones del evaluador que incluían experiencia en salud materna y con evaluaciones de USAID, (4) un cronograma detallado con informe de inicio (2 semanas), recopilación de datos (6 semanas) e informe final (2 semanas), y (5) requisitos explícitos de participación de las partes interesadas, incluyendo talleres de validación en cada país. Los TdR se desarrollaron tres meses antes de la selección del evaluador, lo que permitió un proceso de licitación competitiva que resultó en un consorcio de evaluadores internacionales y locales. La evaluación identificó lecciones clave para el escalamiento que informaron el diseño del programa de seguimiento.

Gobernanza - Sudeste Asiático (Evaluación Intermedia)

Un programa de gobernanza que trabajaba con organizaciones de la sociedad civil encargó una evaluación intermedia para valorar el progreso e informar decisiones de gestión adaptativa. Los TdR enfatizaron enfoques participativos, requiriendo entrevistas con partes interesadas, incluyendo socios gubernamentales, OSC beneficiarias y representantes de donantes. Especificaron que la evaluación debía utilizar la cosecha de resultados como método principal para capturar tanto los resultados planificados como los no planificados. Las cualificaciones del evaluador requerían experiencia en evaluación participativa y programación de gobernanza. El cronograma incluyó un taller de validación intermedio para asegurar que los hallazgos informaran los ajustes del programa antes del cierre del proyecto. La evaluación reveló resultados no planificados significativos a través de vías de influencia informal, lo que llevó a la adaptación del programa.

Educación - Asia Meridional (Evaluación de Impacto)

Un programa de educación financiado por una fundación requirió una evaluación de impacto cuasi-experimental para valorar los resultados de aprendizaje. Los TdR especificaron requisitos metodológicos rigurosos, incluyendo diseño de grupo de comparación, análisis de potencia para el tamaño de muestra y recopilación de datos longitudinales. Requirieron que los evaluadores tuvieran experiencia en evaluación de impacto en educación y capacidades de análisis estadístico. Los TdR también especificaron que la evaluación debía incluir un análisis de costo-efectividad. La selección de evaluadores se basó en propuestas técnicas que demostraban experiencia metodológica, con una propuesta de presupuesto separada. La evaluación resultante proporcionó evidencia robusta sobre la eficacia del programa que informó las decisiones de escalamiento.

Comparativa con Otros Documentos de Evaluación

Los Términos de Referencia de Evaluación son uno de varios documentos utilizados en la planificación y gestión de evaluaciones. Las diferencias clave son:

Indicadores Clave Relacionados

12 indicadores de 5 marcos de donantes principales (USAID, DFID, UNDP, IFRC, Global Fund) se relacionan con la elaboración y el uso de los Términos de Referencia de Evaluación:

• Momento de desarrollo de los TdR: "Proporción de evaluaciones con Términos de Referencia desarrollados antes de la selección del evaluador" (USAID)
• Enfoques participativos: "Porcentaje de TdR de evaluación que incluyen enfoques participativos" (UNDP)
• Especificación de competencias del evaluador: "Proporción de TdR de evaluación que especifican las competencias requeridas del evaluador" (DFID)
• Adecuación del cronograma: "Tiempo promedio entre el desarrollo de los TdR y la finalización de la evaluación" (IFRC)

Temas Relacionados

• Matriz de Evaluación: El documento que mapea las preguntas de evaluación a las fuentes de datos y métodos.
• Criterios de Evaluación (DAC): Los cinco criterios de la OECD-DAC que deben estructurar las preguntas de evaluación.
• Selección de Evaluadores: Proceso para seleccionar evaluadores cualificados basándose en los requisitos de los TdR.
• Planificación de la Evaluación: El proceso más amplio de planificación de evaluaciones, del cual la elaboración de los TdR es un componente clave.
• Evaluación Centrada en la Utilización: Enfoque que enfatiza el uso de la evaluación, y que debe especificarse en los TdR.
• Preguntas de Evaluación: Las preguntas específicas que la evaluación responderá, un componente central de los TdR.
• Informe de Inicio: El plan de trabajo detallado del evaluador, desarrollado después de la revisión de los TdR y antes de la recopilación de datos.