Términos de Referencia de Evaluación

Cuándo Usar

Unos términos de referencia de evaluación (ToR) es el documento adecuado cuando está encargando una evaluación —ya sea interna o externa— y necesita establecer expectativas claras sobre qué se evaluará, por qué, cómo y qué salidas se esperan. Úselo cuando:

• Encargando una evaluación externa — para solicitar propuestas de evaluadores calificados y servir como base para el contrato de evaluación. El ToR indica a los evaluadores potenciales lo que necesita y les permite proponer su enfoque, metodología y tarifas.

• Alineando a las partes interesadas antes de la planificación de la evaluación — para asegurar que todas las partes interesadas internas estén de acuerdo con el propósito, alcance y preguntas clave de la evaluación antes de invertir en el proceso de evaluación. Un ToR bien desarrollado previene el crecimiento del alcance y expectativas conflictivas más tarde.

• Especificando requisitos de evaluador — para definir las competencias, experiencia y calificaciones requeridas del equipo de evaluación. Esto es crítico al seleccionar evaluadores mediante licitación competitiva.

• Estableciendo cronograma de evaluación y entregas — para establecer expectativas claras sobre cuándo ocurrirá la evaluación, qué informes y otras salidas se esperan, y cuándo están vencidas.

Un ToR de evaluación es menos útil cuando aún está determinando si se necesita una evaluación (realice primero una evaluación de evaluabilidad) o cuando necesita desarrollar las preguntas y criterios de evaluación (estos deben ser informados por el proceso de desarrollo del ToR pero pueden refinarse durante la planificación de la evaluación).

Cómo Funciona

Desarrollar unos términos de referencia de evaluación sigue un proceso estructurado. La secuencia importa —cada sección se construye sobre la anterior e informa la siguiente.

1. Definir el propósito y objetivos de la evaluación. Comience articulando por qué se está realizando esta evaluación. ¿Es un requisito de cumplimiento? ¿Una oportunidad de aprendizaje? ¿Un ejercicio de rendición de cuentas? El propósito impulsa todo lo demás. Sea específico: "Evaluar la eficacia del programa de salud materna e identificar lecciones para el escalado" es accionable; "Evaluar el proyecto" no lo es. Esta sección también debe especificar qué tipo de evaluación es (formativa, sumativa, a mitad de periodo, final, de impacto, etc.).

2. Especificar qué se evaluará. Defina el objeto de la evaluación —el programa, proyecto o intervención que se está evaluando. Incluya el marco temporal, alcance geográfico, poblaciones objetivo y cualquier componente o actividad específico que esté dentro o fuera del alcance. Esto previene que los evaluadores hagan suposiciones sobre qué deben examinar.

3. Articular las preguntas de evaluación. Estas deben fluir directamente del propósito y estar alineadas con los criterios de evaluación de la OECD-DAC (relevancia, eficacia, eficiencia, impacto, sostenibilidad). Las preguntas son el corazón del ToR —determinan qué datos se recolectarán y cómo se analizarán. Asegúrese de que sean lo suficientemente específicas para guiar la metodología pero lo suficientemente flexibles para permitir la innovación del evaluador.

4. Definir los requisitos de metodología. Especifique qué enfoques metodológicos se requieren o prefieren. ¿La evaluación necesitará un componente comparativo? ¿Profundidad cualitativa? ¿Rigor cuantitativo? ¿Enfoques participativos? ¿Alguna restricción en los métodos de recolección de datos? Esta sección debe equilibrar la especificidad con permitir que los evaluadores propongan su enfoque óptimo.

5. Especificar calificaciones de evaluador y composición del equipo. Defina las competencias requeridas del equipo de evaluación. ¿Qué experiencia sectorial se necesita? ¿Qué experiencia metodológica? ¿Requisitos de idioma? ¿Conocimiento local? Especifique si se requiere un evaluador externo, si deben incluirse socios locales, y cualquier requisito de diversidad para el equipo.

6. Establecer cronograma y entregas. Especifique cuándo debe ocurrir la evaluación, hitos clave y todas las entregas esperadas (informe de inicio, herramientas de recolección de datos, informe preliminar, informe final, presentación, etc.). Incluya el plazo de la evaluación y cualquier requisito de informe del donante que impulse el cronograma.

7. Definir líneas de reporte y participación de partes interesadas. Especifique a quién informará la evaluación, a quién se debe consultar durante la evaluación, y cómo se incorporará la retroalimentación de las partes interesadas. Aquí es donde especifica los requisitos de participación de las partes interesadas y asegura que la evaluación sea centrada en la utilización.

Componentes Clave

Unos términos de referencia de evaluación bien construidos incluyen estos elementos esenciales:

• Antecedentes y contexto — una descripción concisa del programa o proyecto que se está evaluando, incluyendo sus objetivos, historia de implementación y estado actual. Esto proporciona a los evaluadores el contexto que necesitan para entender qué están evaluando.

• Propósito y objetivos — una declaración clara de por qué se está realizando la evaluación y qué busca lograr. Esto impulsa todas las demás secciones y asegura que la evaluación sirva a su función pretendida.

• Alcance de la evaluación — definición explícita de lo que está incluido y excluido de la evaluación, incluyendo alcance geográfico, período de tiempo, componentes del programa y grupos de población. Un alcance claro previene el crecimiento del alcance y expectativas poco realistas.

• Preguntas de evaluación — las preguntas específicas que la evaluación responderá, típicamente organizadas por criterio de evaluación (relevancia, eficacia, eficiencia, impacto, sostenibilidad). Estas son el núcleo del ToR.

• Requisitos de metodología — especificaciones para el enfoque de evaluación, incluyendo métodos requeridos, requisitos de muestreo, herramientas de recolección de datos y enfoques de análisis. Esta sección debe especificar requisitos mientras permite la innovación del evaluador.

• Calificaciones de evaluador — descripción detallada de las competencias, experiencia y calificaciones requeridas del equipo de evaluación. Esto forma la base para la selección de evaluadores.

• Entregas y cronograma — una lista completa de salidas esperadas con plazos, incluyendo informe de inicio, instrumentos de recolección de datos, informes preliminares y finales, presentaciones y cualquier otra salida requerida.

• Reporte y participación de partes interesadas — especificación de a quién informará la evaluación, cómo se participará a las partes interesadas, y cómo se difundirán y usarán los hallazgos de la evaluación.

• Presupuesto y logística — cualquier restricción presupuestaria, apoyo logístico proporcionado, y consideraciones prácticas que los evaluadores necesitan saber al proponer su enfoque.

Mejores Prácticas

Iniciar la planificación de la evaluación temprano. La planificación de la evaluación debe especificar qué se evaluará, por qué, por quién, cuándo y cómo se usarán los resultados. Conecte las preguntas de evaluación con los datos de monitoreo donde sea posible. Comience este proceso al inicio del programa, no al final.

Desarrollar el ToR antes de la selección del evaluador. La planificación de la evaluación debe comenzar al inicio del programa, y el ToR debe desarrollarse antes de seleccionar evaluadores. Esto asegura que tenga claridad sobre sus necesidades antes de involucrar a partes externas.

Asegurar que las preguntas de evaluación estén bien formadas. Las preguntas de evaluación deben desarrollarse y acordarse al inicio de la planificación de la evaluación. Deben derivarse del propósito de la evaluación y alinearse con los criterios de la OECD-DAC. Las preguntas bien formadas guían la metodología y aseguran que la evaluación responda lo que importa.

Ser específico sobre las competencias del evaluador. Al seleccionar evaluadores externos, valore la familiaridad con el tipo de proyecto, antecedentes en el tipo de evaluación que se está realizando, conocimiento del entorno local y experiencia metodológica. Incluya evaluadores externos para asegurar distancia saludable y objetividad.

Incluir enfoques participativos. Los planes de evaluación deben proponer enfoques de evaluación participativa que involucren a las partes interesadas durante todo el proceso. Esto aumenta la propiedad y utilización de los hallazgos.

Especificar la dotación de personal apropiada. El plan de evaluación debe proponer un plan de dotación de personal apropiado para su realización, ya sea interno o externo. Considere la complejidad de la evaluación, la experiencia requerida y la capacidad organizacional al determinar las necesidades de personal.

Equilibrar especificidad con flexibilidad. El ToR debe especificar requisitos claramente pero permitir que los evaluadores propongan su metodología óptima. Un ToR demasiado prescriptivo limita la innovación del evaluador; uno demasiado vago conduce a propuestas que no cumplen sus necesidades.

Asegurar recursos adecuados para el alcance. Una evaluación con amplio alcance pero recursos muy limitados puede ser peor que ninguna evaluación si conduce a conclusiones superficiales. Asegúrese de que el presupuesto y cronograma de la evaluación sean adecuados para responder las preguntas clave adecuadamente. Tres semanas típicamente son insuficientes para una evaluación significativa.

Errores Comunes

Desarrollar el ToR después de la selección del evaluador. El fallo más común es seleccionar evaluadores primero y luego desarrollar el ToR para coincidir con sus propuestas, en lugar de definir sus necesidades primero y luego seleccionar evaluadores que puedan cumplirlas. Esto invierte la secuencia adecuada y puede llevar a evaluaciones que no responden sus preguntas.

Escribir preguntas de evaluación demasiado amplias o demasiado estrechas. Las preguntas de evaluación demasiado amplias ("¿Fue exitoso el proyecto?") no pueden responderse rigurosamente. Las preguntas demasiado estrechas pierden el panorama general. Las preguntas deben ser lo suficientemente específicas para guiar la recolección de datos pero lo suficientemente amplias para capturar ideas significativas.

Establecer cronogramas poco realistas. Las evaluaciones finales de proyecto deben planificarse al menos seis meses antes de la finalización del proyecto para permitir tiempo adecuado para recolección de datos, análisis y reporte. Comprimir una evaluación en las últimas semanas de un proyecto conduce a trabajo apresurado y hallazgos superficiales.

No especificar calificaciones de evaluador. Un ToR que no especifica claramente las competencias requeridas conduce a propuestas de evaluadores que pueden ser metodológicamente sólidos pero carecen de experiencia sectorial o conocimiento local. Esto puede resultar en evaluaciones que pierden factores contextuales importantes.

Usar la evaluación para resolver disputas internas. Las evaluaciones no deben usarse para resolver disputas internas o mediar entre visiones conflictivas sobre el valor o dirección futura de un proyecto. Esto socava la objetividad de la evaluación y puede llevar a hallazgos politizados.

Establecer cronogramas inadecuados para el alcance. El alcance de trabajo de la evaluación debe centrarse en solo unas pocas preguntas clave e incluir los recursos (tiempo, personal, presupuesto) para responderlas adecuadamente. Tres semanas típicamente son insuficientes para una evaluación significativa.

Ignorar la utilización desde el inicio. Un ToR que no especifica cómo se usarán los hallazgos, quiénes son los usuarios principales y cómo se participará a las partes interesadas corre el riesgo de producir una evaluación que se queda en un estante. Asegúrese de que el ToR especifique la planificación de la utilización como parte del proceso de evaluación.

Ejemplos

Salud — África Subsahariana (Evaluación Final)

Un programa de salud materna financiado por USAID en tres países requirió una evaluación final seis meses antes del cierre del proyecto. El ToR especificó: (1) cinco preguntas de evaluación alineadas con los criterios de la OECD-DAC, (2) un diseño de métodos mixtos que requiere datos de resultados cuantitativos y estudios de caso cualitativos, (3) calificaciones de evaluador incluyendo experiencia en salud materna y experiencia con evaluaciones de USAID, (4) un cronograma detallado con informe de inicio (2 semanas), recolección de datos (6 semanas), e informe final (2 semanas), y (5) requisitos explícitos de participación de partes interesadas incluyendo talleres de validación en cada país. El ToR se desarrolló tres meses antes de la selección del evaluador, permitiendo un proceso de licitación competitiva que resultó en un consorcio de evaluadores internacionales y locales. La evaluación identificó lecciones clave para el escalado que informaron el diseño del programa de seguimiento.

Gobernanza — Sudeste Asiático (Evaluación Intermedia)

Un programa de gobernanza trabajando con organizaciones de la sociedad civil encargó una evaluación intermedia para evaluar el progreso e informar decisiones de gestión adaptativa. El ToR enfatizó enfoques participativos, requiriendo entrevistas con partes interesadas con socios gubernamentales, beneficiarios OSC y representantes de donantes. Especificó que la evaluación debe usar cosecha de resultados como método principal para capturar tanto resultados planificados como no planificados. Las calificaciones de evaluador requirieron experiencia con evaluación participativa y programación de gobernanza. El cronograma incluyó un taller de validación intermedio para asegurar que los hallazgos informaran ajustes del programa antes del cierre del proyecto. La evaluación reveló resultados no planificados significativos a través de vías de influencia informal, llevando a adaptación del programa.

Educación — Asia Meridional (Evaluación de Impacto)

Un programa de educación financiado por una fundación requirió una evaluación de impacto cuasi-experimental para evaluar resultados de aprendizaje. El ToR especificó requisitos metodológicos rigurosos incluyendo diseño de grupo de comparación, análisis de potencia para tamaño de muestra, y recolección de datos longitudinales. Requirió que los evaluadores tengan experiencia con evaluación de impacto en educación y capacidades de análisis estadístico. El ToR también especificó que la evaluación debe incluir análisis de costo-efectividad. La selección de evaluadores se basó en propuestas técnicas que demuestran experiencia metodológica, con una propuesta de presupuesto separada. La evaluación resultante proporcionó evidencia robusta sobre la eficacia del programa que informó decisiones de escalado.

Comparado Con

Unos términos de referencia de evaluación es uno de varios documentos usados en planificación y gestión de evaluación. Las diferencias clave:

Indicadores Relevantes

12 indicadores a través de 5 marcos de donantes principales (USAID, DFID, UNDP, IFRC, Global Fund) se relacionan con el desarrollo y uso de términos de referencia de evaluación:

• Momento de desarrollo de ToR — "Proporción de evaluaciones con términos de referencia desarrollados antes de la selección del evaluador" (USAID)
• Enfoques participativos — "Porcentaje de ToRs de evaluación que incluyen enfoques participativos" (UNDP)
• Especificación de competencia de evaluador — "Proporción de ToRs de evaluación que especifican competencias de evaluador requeridas" (DFID)
• Adecuación del cronograma — "Tiempo promedio entre desarrollo de ToR y finalización de evaluación" (IFRC)

Herramientas Relacionadas

• Plantilla de Términos de Referencia de Evaluación — Plantilla guiada para desarrollar términos de referencia de evaluación integrales con verificaciones integradas para componentes clave
• Matriz de Puntuación de Evaluadores — Herramienta para evaluar y comparar propuestas de evaluadores contra requisitos del ToR

Temas Relacionados

• Matriz de Evaluación — El documento que mapea preguntas de evaluación a fuentes de datos y métodos
• Criterios de Evaluación (CAD) — Los cinco criterios de la OECD-DAC que deben estructurar preguntas de evaluación
• Selección de Evaluadores — Proceso para seleccionar evaluadores calificados basados en requisitos del ToR
• Planificación de la Evaluación — El proceso más amplio de planificación de evaluaciones, del cual el desarrollo del ToR es un componente clave
• Evaluación Centrada en la Utilización — Enfoque que enfatiza el uso de la evaluación, que debe especificarse en el ToR
• Preguntas de Evaluación — Las preguntas específicas que la evaluación responderá, un componente central del ToR
• Informe de Inicio — El plan de trabajo detallado del evaluador desarrollado después de la revisión del ToR y antes de la recolección de datos

Lecturas Adicionales

• Evaluaciones — Política y guía de USAID sobre requisitos de evaluación, incluyendo expectativas de desarrollo de ToR.
• Guía de Términos de Referencia de Evaluación — Guía integral de UNDP para desarrollar ToRs de evaluación con ejemplos y plantillas.
• Directrices de la OECD-DAC sobre Términos de Referencia de Evaluación — Guía de la OECD sobre ToRs de evaluación alineados con estándares del CAD.
• BetterEvaluation: Términos de Referencia — Colección de plantillas y guía de ToR de la comunidad de evaluación.