Diseñar los criterios de selección de evaluadores
Diseñe los criterios de selección y la matriz de puntuación para unos Términos de Referencia de evaluación (especificidad de la experiencia, calibración, transparencia en la puntuación, diversidad, equidad).
Redactar: Diseñar los criterios de selección de evaluadores
Complete sus datos (5 campos)
Agregue su información para obtener un prompt a su medida. También puede usarlo tal cual.
Contexto del sector y del financiador (opcional)
Su prompt (con sus datos)
Este es el prompt completo, listo para copiar y pegar.
Usted es un especialista senior de M&E con experiencia en adquisiciones, encargado de diseñar los criterios de selección de evaluadores y la matriz de puntuación para los Términos de Referencia de la evaluación de su programa.
Los criterios deben identificar al candidato adecuado en función del contenido, permitir una puntuación reproducible y resistir cualquier cuestionamiento por parcialidad.
Requisitos:
- Especificidad de la experiencia requerida. Especifique las competencias técnicas, el conocimiento sectorial (subsector, no solo 'salud' o 'educación'), el conocimiento metodológico (cualitativo, cuantitativo o mixto con técnicas específicas) y el manejo de herramientas o software cuando sea pertinente.
- Amplitud y profundidad de la experiencia. Establezca un número mínimo de años calibrado según el alcance (ej.: responsable principal vs. miembro del equipo), un número mínimo de encargos similares, experiencia geográfica y experiencia metodológica dentro de un período reciente definido.
- Claridad de la matriz de puntuación. Construya una matriz transparente y ponderada que dos evaluadores que la apliquen puntúen de manera similar. Especifique las dimensiones, las ponderaciones, los anclajes de puntuación (1-5 con definiciones) y la forma en que se agregan las puntuaciones.
- Diversidad y consideraciones GESI. Incluya criterios relativos a la experiencia local, el equilibrio de género, el dominio del idioma y la experiencia vivida pertinente para el alcance de la evaluación.
- Equidad en la contratación. Asegúrese de que los criterios sean objetivos, basados en evidencia y coherentes con la política interna de adquisiciones. Evite criterios que, en la práctica, preseleccionen a un licitante conocido.
- Criterios de descalificación y requisitos obligatorios. Distinga entre los criterios puntuados y los requisitos obligatorios de descalificación (ej.: conflicto de interés, estado de registro).
Formato de salida:
Produzca:
- Un párrafo de encuadre del enfoque de selección.
- Una lista de las competencias requeridas (técnicas, sectoriales, metodológicas, herramientas) con especificidad.
- Una tabla de la matriz de puntuación (dimensión, ponderación, anclajes de puntuación 1-5, evidencia requerida).
- Una subsección sobre diversidad y GESI.
- Una lista de requisitos de descalificación.
- Una nota breve sobre cómo los criterios se alinean con el alcance de la evaluación y permiten evitar cuestionamientos previsibles por parcialidad.
Revisar: Puntúe con la rúbrica Criterios de selección del evaluador
El prompt de revisión
Pegue el borrador al final de este prompt y ejecútelo. Puntúa cada criterio del 1 al 5 y explica por qué.
Usted es un especialista experto en contratación de evaluaciones de M&E. Puntúe la sección de criterios de selección del evaluador de los Términos de Referencia que le proporcionaré utilizando la rúbrica a continuación.
RÚBRICA DE PUNTUACIÓN - Criterios de Selección del Evaluador Puntúe cada dimensión de 1 a 5 utilizando los siguientes criterios:
DIMENSIÓN 1: Especificidad de la Experticia Requerida
- Puntaje 5: Los cuatro elementos presentes. Habilidades técnicas requeridas nombradas de forma específica (por ejemplo, "diseño de evaluación de impacto cuasi-experimental", "análisis de contribución", "codificación cualitativa con NVivo"), conocimiento sectorial especificado (subsector, no solo "salud" o "educación"), conocimiento de métodos especificado (cualitativos, cuantitativos o mixtos con técnicas nombradas), y dominio de herramientas o software listado cuando sea pertinente.
- Puntaje 4: Al menos tres de los cuatro elementos presentes. Habilidades y sector nombrados; métodos o herramientas parciales.
- Puntaje 3: Al menos dos de los cuatro elementos presentes. Habilidades genéricas con un elemento específico. Sector nombrado pero de forma amplia.
- Puntaje 2: Habilidades formuladas como "experiencia en M&E" o "experticia en evaluación" sin especificidad. Sin métodos ni herramientas nombradas.
- Puntaje 1: Sin experticia requerida indicada, O requisitos de experticia sin relación con el alcance de la evaluación.
DIMENSIÓN 2: Amplitud y Profundidad de la Experiencia
- Puntaje 5: Los cuatro elementos presentes. Años mínimos de experiencia indicados y calibrados al alcance (por ejemplo, 8+ años para el líder, 4+ para miembros del equipo), experiencia sectorial especificada con número mínimo de encargos similares, experiencia geográfica especificada (región, tipo de país o países específicos), y experiencia metodológica especificada (por ejemplo, "mínimo dos evaluaciones de métodos mixtos en los últimos cinco años").
- Puntaje 4: Al menos tres de los cuatro elementos presentes. Años y sector calibrados; experiencia geográfica o metodológica parcial.
- Puntaje 3: Al menos dos de los cuatro elementos presentes. Años indicados pero sector o geografía genéricos.
- Puntaje 2: Años indicados sin calibración con el alcance. Sin requisitos de encargos previos.
- Puntaje 1: Sin requisitos de experiencia, O requisitos claramente inadecuados al alcance (demasiado bajos o irrealmente altos).
DIMENSIÓN 3: Claridad de la Matriz de Puntuación
- Puntaje 5: Los cuatro elementos presentes. Matriz de puntuación incluida con criterios nombrados, ponderaciones declaradas por criterio (que sumen 100% o un total declarado), escala de puntos definida por criterio (por ejemplo, 0-10), y guía de puntuación que describe qué evidencia produce qué puntaje, de modo que dos revisores converjan.
- Puntaje 4: Al menos tres de los cuatro elementos presentes. Matriz con ponderaciones y escala; guía a los revisores parcial.
- Puntaje 3: Al menos dos de los cuatro elementos presentes. Matriz incluida pero ponderaciones o escala incompletas.
- Puntaje 2: Criterios listados sin matriz, ponderaciones ni escala de puntuación.
- Puntaje 1: Sin enfoque de puntuación descrito, O puntuación dejada al juicio no documentado del revisor.
DIMENSIÓN 4: Diversidad y Consideraciones de GESI
- Puntaje 5: Los cuatro elementos presentes. Requisito de experticia local o nacional especificado, equilibrio de género abordado (expectativas de composición del equipo o consideración explícita), requisitos lingüísticos especificados (idiomas de trabajo más los idiomas locales necesarios para el trabajo de campo), y experiencia vivida o representación pertinente al programa nombrada cuando corresponda (por ejemplo, investigación liderada por personas con discapacidad, participación juvenil).
- Puntaje 4: Al menos tres de los cuatro elementos presentes. Experticia local e idioma abordados; género o experiencia vivida parciales.
- Puntaje 3: Al menos dos de los cuatro elementos presentes. Experticia local o idioma abordados, pero género y experiencia vivida ausentes.
- Puntaje 2: Un elemento presente. Diversidad referenciada como una casilla a marcar sin contenido.
- Puntaje 1: Sin consideraciones de diversidad o GESI.
DIMENSIÓN 5: Equidad del Proceso de Contratación
- Puntaje 5: Los cuatro elementos presentes. Los criterios son objetivos (verificables contra el CV o evidencia de la propuesta), los criterios son no discriminatorios (sin requisitos que excluyan a candidatos calificados sin justificación programática), el proceso de evaluación está documentado (quién revisa, cómo se combinan los puntajes, cómo se desempatan los empates), y se ofrece o referencia retroalimentación a los oferentes no seleccionados.
- Puntaje 4: Al menos tres de los cuatro elementos presentes. Criterios objetivos y proceso documentado; no discriminación o retroalimentación parciales.
- Puntaje 3: Al menos dos de los cuatro elementos presentes. Criterios objetivos pero proceso o retroalimentación no declarados.
- Puntaje 2: Criterios subjetivos (por ejemplo, "encaja con la cultura organizacional") sin definición operativa. Sin proceso.
- Puntaje 1: Sin proceso documentado, O los criterios contienen elementos discriminatorios sin justificación.
FORMATO DE SALIDA: Devuelva su evaluación como una tabla seguida de un resumen:
| Dimensión | Puntaje (1-5) | Evidencia de los Criterios de Selección | Revisión Prioritaria |
|---|---|---|---|
| Especificidad de la Experticia Requerida | |||
| Amplitud y Profundidad de la Experiencia | |||
| Claridad de la Matriz de Puntuación | |||
| Diversidad y Consideraciones de GESI | |||
| Equidad del Proceso de Contratación |
Total: X/25 Nivel: Sólido (22-25) / Adecuado (17-21) / Requiere Revisión (11-16) / Revisión sustancial (5-10) Revisión más importante: [Una oración específica]
Para cualquier dimensión puntuada con 1 o 2, añada una breve explicación y un ejemplo de revisión concreto.
CRITERIOS DE SELECCIÓN DEL EVALUADOR A PUNTUAR: [Pegue aquí su sección de criterios de selección del evaluador]
Corregir: Corrija lo que obtuvo una puntuación baja
El prompt de corrección
Pegue el borrador y sus puntuaciones al final de este prompt. Corrige las partes con puntuación inferior a 4.
Usted es un especialista experto en contratación de evaluaciones de M&E. Revise el borrador de criterios de selección del evaluador que le proporcionaré y corrija cada problema que esté por debajo del umbral Bueno (4) de la rúbrica Criterios de Selección del Evaluador.
QUÉ BUSCAR Y CORREGIR:
Problemas de Especificidad de la Experticia: Habilidades genéricas (por ejemplo, "experiencia en M&E", "experticia en evaluación") sin métodos nombrados. Sector nombrado de forma amplia (por ejemplo, "salud") sin subsector. Sin métodos ni herramientas especificados.
Problemas de Experiencia: Años indicados sin calibración con el alcance. Sin requisitos de encargos previos. Experiencia geográfica ausente o genérica. Experiencia metodológica sin expectativa de recencia.
Problemas de Matriz de Puntuación: Sin matriz incluida. Ponderaciones ausentes o que no suman un total declarado. Escala de puntos faltante. Sin guía a los revisores que explique qué evidencia produce qué puntaje.
Problemas de Diversidad y GESI: Sin requisito de experticia local. Sin requisito lingüístico más allá del idioma de trabajo. Sin consideración de equilibrio de género. Experiencia vivida o representación pertinente ausentes.
Problemas de Equidad del Proceso: Criterios subjetivos ("buen encaje", "química de equipo") sin definición operativa. Sin proceso de revisión documentado. Sin reglas de desempate. Requisitos discriminatorios sin justificación programática.
FORMATO DE SALIDA: Para cada problema encontrado:
- Dimensión: [qué dimensión]
- Ubicación: [qué subsección de los criterios de selección]
- Problema: [una oración describiendo el problema]
- Versión revisada: [el texto corregido]
Luego proporcione los criterios de selección revisados completos incorporando todas las correcciones.
BORRADOR DE CRITERIOS DE SELECCIÓN DEL EVALUADOR A REVISAR: [Pegue aquí su borrador de criterios de selección del evaluador]