Usted es un metodólogo experto en M&E con experiencia en métodos cuantitativos y cualitativos. Califique la sección de metodología del documento que adjunté o pegué utilizando la rúbrica a continuación. El documento puede ser un plan MEL, ToR de evaluación, informe de inicio, informe de evaluación, análisis de contribución, evaluación de necesidades, plan de muestreo, o cualquier documento donde las elecciones metodológicas requieran justificación y salvaguardias de calidad.
RÚBRICA DE CALIFICACIÓN - Rigor Metodológico
Califique cada dimensión del 1 al 5 utilizando estos criterios:
DIMENSIÓN 1: Justificación de Metodología y Ajuste Método-Pregunta
| 5 | Los cuatro elementos están presentes. La metodología está explícitamente justificada en relación con las preguntas de investigación o evaluación (no solo nombrada). Cada método principal se mapea a preguntas específicas que está diseñado para responder. Se han considerado alternativas y rechazado con razonamiento documentado. La elección es apropiada al contexto (entorno operativo, disponibilidad de datos, restricciones éticas, capacidad), no solo mejores prácticas académicas en abstracto. |
|---|---|
| 4 | Al menos tres de los cuatro elementos. Metodología justificada y mapeada a preguntas; alternativas o consideraciones de contexto parciales. |
| 3 | Metodología nombrada y vinculada ampliamente a preguntas pero justificación débil. Alternativas no consideradas. Ajuste contextual asumido en lugar de examinado. |
| 2 | Metodología nombrada sin justificación. Sin mapeo método-pregunta. |
| 1 | Sin metodología descrita o metodología desconectada de las preguntas de investigación. |
DIMENSIÓN 2: Adecuación del Muestreo y Fuentes de Datos
| 5 | Los cuatro elementos están presentes. El tamaño de muestra o cobertura de fuentes de datos está justificado (cálculo de poder estadístico para cuantitativos, lógica de saturación para cualitativos, lógica de cobertura comprehensiva para revisión documental). El método de muestreo es apropiado para el tipo de pregunta. Los criterios de inclusión y exclusión son claros y operacionales. El marco muestral está documentado. |
|---|---|
| 4 | Al menos tres elementos. Tamaño justificado y método apropiado; criterios o marco parciales. |
| 3 | Muestreo descrito pero justificación débil. Criterios implícitos. Marco parcialmente documentado. |
| 2 | Muestreo descrito con justificación mínima. Adecuación de cobertura poco clara. |
| 1 | Sin justificación de muestreo o marco muestral. |
DIMENSIÓN 3: Triangulación y Estrategia Multi-Método
| 5 | Los cuatro elementos están presentes. Se utilizan múltiples fuentes de datos o métodos para preguntas clave (no solo para el estudio general). La estrategia de triangulación es explícita (qué hallazgo será verificado contra qué fuente, cuándo, cómo). Diferentes métodos abordan diferentes aspectos de la pregunta. Las fuentes o métodos se complementan en lugar de duplicar la cobertura. |
|---|---|
| 4 | Al menos tres elementos. Múltiples métodos utilizados; estrategia de triangulación parcial o algunos métodos se solapan. |
| 3 | Múltiples métodos presentes pero lógica de triangulación vaga ("triangularemos"). Métodos se solapan en cobertura. |
| 2 | Método único o dos métodos usados redundantemente. Sin estrategia de triangulación. |
| 1 | Método único sin reconocimiento de sus limitaciones. |
DIMENSIÓN 4: Salvaguardias de Calidad de Datos
| 5 | Los cuatro elementos están presentes. Procedimientos de aseguramiento de calidad documentados (supervisión, verificaciones puntuales, retrotraducción si aplica, registros de auditoría). Verificaciones de consistencia especificadas donde corresponde (confiabilidad inter-evaluadores para codificación, doble entrada para encuestas). Pretest o piloto planificado y descrito para cualquier recolección de datos primarios. Protocolos de limpieza de datos especificados. |
|---|---|
| 4 | Al menos tres elementos. Procedimientos de QA y pretest documentados; verificaciones de consistencia o limpieza parciales. |
| 3 | Algunos procedimientos de QA nombrados pero no operacionalizados. Pretest mencionado pero no descrito. Protocolos de limpieza ausentes. |
| 2 | Mención genérica de "calidad" sin procedimientos específicos. Sin plan de pretest. |
| 1 | Sin salvaguardias de calidad de datos descritas. |
DIMENSIÓN 5: Transparencia, Limitaciones y Mitigación de Sesgos
| 5 | Los cuatro elementos están presentes. Limitaciones explícitamente declaradas y específicas (no genéricas). Sesgos nombrados con estrategias de mitigación concretas. Supuestos documentados. La replicación es factible: otro investigador podría reproducir los hallazgos clave a partir de lo documentado. |
|---|---|
| 4 | Al menos tres elementos. Limitaciones y sesgos nombrados; mitigación o replicabilidad parciales. |
| 3 | Limitaciones genéricas declaradas. Sesgos mencionados sin mitigación. Supuestos implícitos. |
| 2 | Limitaciones son texto formulaico estándar. Sin reconocimiento de sesgos. |
| 1 | Sin limitaciones, sesgos o supuestos documentados. |
FORMATO DE SALIDA:
Devuelva su evaluación como una tabla seguida de un resumen:
| Dimensión | Puntuación (1-5) | Evidencia del Documento | Revisión Prioritaria |
|---|---|---|---|
| Justificación de Metodología y Ajuste Método-Pregunta | |||
| Adecuación del Muestreo y Fuentes de Datos | |||
| Triangulación y Estrategia Multi-Método | |||
| Salvaguardias de Calidad de Datos | |||
| Transparencia, Limitaciones y Mitigación de Sesgos |
Total: X/25 Banda: Sólido (22-25) / Adecuado (17-21) / Necesita Revisión (11-16) / Revisión sustancial (5-10) Revisión más importante: [Una frase específica]
Para cualquier dimensión calificada con 1 o 2, añada una breve explicación y un ejemplo de revisión concreto.
DOCUMENTO A CALIFICAR:
(Vea el documento adjunto o pegado.)
Documento a revisar: Adjunto, o pegado abajo. Base todo lo anterior en ese material y no invente detalles que no aparezcan en él.