Calidad de la sección de metodología

Usted es un evaluador experto en M&E con experiencia en la evaluación de secciones de metodología en informes de evaluación, investigación y análisis. Puntúe la sección de metodología que adjunté o pegué utilizando la rúbrica a continuación. Léala como lo haría un revisor par competente: ¿podría replicar o criticar el estudio solo a partir de esta sección?

RÚBRICA DE EVALUACIÓN - Calidad de la Sección de Metodología

Puntúe cada dimensión de 1 a 5 utilizando los siguientes criterios:

DIMENSIÓN 1: Justificación del Diseño

5	Todos los elementos presentes. El diseño general está nombrado (por ejemplo, evaluación basada en teoría, análisis de contribución, métodos mixtos transversal, cuasi-experimental con grupo de comparación, evaluación realista, cosecha de resultados) y justificado con un razonamiento claro vinculado al propósito y las preguntas de evaluación. El lector entiende por qué este diseño y no una alternativa.
4	Diseño nombrado y justificado. La justificación puede ser breve pero los vínculos con el propósito o las preguntas están presentes.
3	Diseño nombrado pero no justificado, o justificado en términos genéricos sin vincular al contexto específico de la evaluación.
2	La etiqueta del diseño aparece pero el lector no puede saber qué se hizo realmente. Sin justificación.
1	Sin diseño nombrado. La sección de metodología se lee como una lista de fuentes de datos sin un enfoque general.

DIMENSIÓN 2: Detalle de la Recopilación de Datos

5	Todos los elementos presentes. Cada instrumento está descrito (propósito, formato, extensión, tipo de informante). El muestreo está documentado (marco muestral, tamaño, método de selección, tasas de respuesta cuando corresponda). Los procedimientos están descritos (capacitación, prueba piloto, período de recopilación, modo). Un lector competente podría evaluar el rigor de la recopilación de datos.
4	La mayoría de los elementos presentes. Instrumentos y muestreo descritos; procedimientos parciales (por ejemplo, prueba piloto mencionada pero no detallada).
3	Instrumentos y tamaños de muestra nombrados pero método de muestreo y procedimientos genéricos. El lector no puede evaluar plenamente el rigor.
2	Fuentes de datos enumeradas a alto nivel únicamente ("se realizaron entrevistas clave y grupos focales"). Tamaños de muestra dados pero método de selección ausente. Procedimientos ausentes.
1	Recopilación de datos descrita en una o dos oraciones sin detalle.

DIMENSIÓN 3: Enfoque Analítico

5	Todos los elementos presentes. El enfoque analítico para cada tipo de dato está especificado: cuantitativo (estadísticas descriptivas, pruebas inferenciales, software, tratamiento de datos faltantes); cualitativo (enfoque de codificación, marco o inductivo, software, proceso entre codificadores); métodos mixtos (estrategia de integración, secuenciación). El lector puede rastrear cómo los datos brutos se convirtieron en hallazgos.
4	Enfoque analítico especificado para cada tipo de dato con lagunas menores (por ejemplo, enfoque de codificación cualitativa declarado pero proceso entre codificadores no descrito).
3	Enfoque analítico mencionado pero genérico ("los datos se analizaron temáticamente", "los datos cuantitativos se analizaron usando Excel"). El lector no ve cómo los datos brutos se convirtieron en hallazgos.
2	Análisis descrito en una oración. Sin distinción entre tipos de datos.
1	Sin enfoque analítico descrito.

DIMENSIÓN 4: Aseguramiento de la Calidad

5	Todos los elementos presentes. Salvaguardias de validez (procedimientos de triangulación nombrados, validación de instrumentos, prueba piloto). Salvaguardias de fiabilidad (acuerdo entre codificadores, protocolos de transcripción, pista de auditoría). Salvaguardias éticas (proceso de consentimiento, reglas de anonimización, medidas de protección, manejo de temas sensibles, seguridad de datos, CEI o equivalente cuando corresponda).
4	La mayoría de los elementos de aseguramiento de la calidad presentes. Una categoría más ligera que las otras (por ejemplo, ética descrita pero proceso entre codificadores ausente).
3	Aseguramiento de la calidad mencionado pero genérico ("se siguieron los principios éticos", "se utilizó triangulación"). Procedimientos específicos ausentes.
2	Aseguramiento de la calidad limitado a una sola oración sobre ética. Validez y fiabilidad no abordadas.
1	Sin aseguramiento de la calidad descrito.

DIMENSIÓN 5: Reproducibilidad

5	Todos los elementos presentes. Un lector competente podría replicar o criticar el estudio solo a partir de la sección de metodología. Instrumentos referenciados o anexados (señaladores de anexos provistos). Decisiones de muestreo documentadas. Decisiones analíticas documentadas. Desviaciones del plan original señaladas con justificación.
4	La mayoría de los elementos de reproducibilidad presentes. Un elemento ligero (por ejemplo, instrumentos referenciados pero no anexados).
3	El lector podría replicar el enfoque general pero faltan decisiones procedimentales clave. Instrumentos no referenciados.
2	El lector no puede replicar. La sección de metodología es descriptiva en lugar de procedimental.
1	La sección de metodología es una etiqueta sin contenido procedimental. Reproducción imposible.

FORMATO DE SALIDA:

Dimensión	Puntaje (1-5)	Evidencia	Revisión Prioritaria
Justificación del Diseño
Detalle de la Recopilación de Datos
Enfoque Analítico
Aseguramiento de la Calidad
Reproducibilidad

Total: X/25 Nivel: Sólido (22-25) / Adecuado (17-21) / Requiere Revisión (11-16) / Revisión sustancial (5-10) Revisión más importante: [Una oración específica]

Para cualquier dimensión puntuada con 1 o 2, nombre el detalle procedimental específico que falta y sugiera el texto que debería añadirse.

SECCIÓN DE METODOLOGÍA A EVALUAR:

(Vea el documento adjunto o pegado.)

Documento a revisar: Adjunto, o pegado abajo. Base todo lo anterior en ese material y no invente detalles que no aparezcan en él.