Usted es un metodólogo experto en M&E con experiencia revisando informes de evaluación para donantes y equipos de programa. Evalúe la sección de limitaciones del informe que adjunté o pegué utilizando la rúbrica a continuación.
RÚBRICA DE EVALUACIÓN - Declaración de Limitaciones Metodológicas
Puntúe cada dimensión de 1 a 5 según los siguientes criterios:
DIMENSIÓN 1: Limitaciones de Muestreo
| 5 | Todos los elementos presentes. Las limitaciones de muestreo se nombran con especificidad: brechas de cobertura (grupos, zonas geográficas, períodos no cubiertos), patrones de respuesta (no respuesta, atrición, selección hacia la muestra), riesgos de sesgo de selección y exclusiones realizadas durante el trabajo de campo (sitios descartados, grupos pospuestos). Cifras concretas cuando son relevantes. |
|---|---|
| 4 | Al menos tres de los cuatro elementos presentes. La mayoría de los temas de muestreo nombrados; un elemento parcial o genérico. |
| 3 | Al menos dos de los cuatro elementos presentes. Limitaciones de muestreo nombradas pero vagas. |
| 2 | Declaración genérica del tipo "la muestra no fue aleatoria" sin detalles. |
| 1 | Ausente o inadecuado. Sin limitaciones de muestreo declaradas pese a brechas evidentes. |
DIMENSIÓN 2: Limitaciones por Método
| 5 | Todos los elementos presentes. Cada método utilizado tiene sus limitaciones declaradas de forma específica. Limitaciones de la encuesta (tasa de respuesta, problemas del instrumento), limitaciones de entrevistas a informantes clave o grupos focales (profundidad, dinámicas grupales, efectos del facilitador), limitaciones de la revisión documental (disponibilidad, vigencia, selección), limitaciones de la observación (efectos Hawthorne, cobertura). Las limitaciones coinciden con los métodos realmente empleados. |
|---|---|
| 4 | Al menos tres de los cuatro elementos presentes. La mayoría de los métodos cubiertos; un método tratado de manera genérica. |
| 3 | Al menos dos de los cuatro elementos presentes. Algunos métodos tratados con detalle; otros agrupados en declaraciones genéricas. |
| 2 | Limitaciones expuestas en un único párrafo genérico que no distingue métodos. |
| 1 | Ausente o inadecuado. Sin limitaciones específicas por método. |
DIMENSIÓN 3: Limitaciones de Calidad de Datos
| 5 | Todos los elementos presentes. Los patrones de datos faltantes se declaran con conteos o porcentajes cuando son relevantes. Los problemas de recuerdo se reconocen para las preguntas retrospectivas. El sesgo de deseabilidad social se reconoce donde corresponde. Los problemas de traducción o interpretación se declaran. Las inconsistencias detectadas durante la depuración se nombran. |
|---|---|
| 4 | Al menos tres de los cuatro elementos presentes. La mayoría de los temas declarados; un elemento parcial. |
| 3 | Al menos dos de los cuatro elementos presentes. Algunos temas declarados; otros omitidos. |
| 2 | Calidad de datos calificada como "generalmente buena" o similar, sin detalles. |
| 1 | Ausente o inadecuado. Sin limitaciones de calidad de datos declaradas. |
DIMENSIÓN 4: Efecto sobre los Hallazgos
| 5 | Todos los elementos presentes. Cada limitación se vincula con los hallazgos o conclusiones específicos que afecta. La dirección del sesgo se nombra cuando puede inferirse. Los hallazgos que deben interpretarse con cautela adicional se señalan. Los hallazgos no afectados por las limitaciones también se identifican. |
|---|---|
| 4 | Al menos tres de los cuatro elementos presentes. La mayoría de las limitaciones vinculadas a hallazgos; un elemento parcial. |
| 3 | Al menos dos de los cuatro elementos presentes. Algunas limitaciones vinculadas a hallazgos; otras listadas por separado. |
| 2 | Limitaciones listadas en una sección independiente sin vínculo con hallazgos específicos. |
| 1 | Ausente o inadecuado. Sin análisis del efecto sobre los hallazgos. |
DIMENSIÓN 5: Declaración de Mitigación
| 5 | Todos los elementos presentes. Cada limitación tiene una mitigación declarada (qué se hizo durante el diseño, el trabajo de campo o el análisis para reducir su efecto). La incertidumbre residual tras la mitigación se nombra. Cuando la mitigación no fue posible, se dice con honestidad en lugar de disimularlo. Las mitigaciones son concretas (por ejemplo, "triangulación de los resultados de encuesta con entrevistas a informantes clave en los mismos sitios") en lugar de aspiracionales. |
|---|---|
| 4 | Al menos tres de los cuatro elementos presentes. La mayoría de las limitaciones tienen mitigaciones; un elemento parcial. |
| 3 | Al menos dos de los cuatro elementos presentes. Algunas mitigaciones declaradas; otras quedan como limitaciones desnudas. |
| 2 | Mitigaciones formuladas como intenciones genéricas ("tratamos de minimizar esto") sin especificidad. |
| 1 | Ausente o inadecuado. Sin declaraciones de mitigación. |
FORMATO DE SALIDA:
Devuelva su evaluación como una tabla seguida de un resumen:
| Dimensión | Puntaje (1-5) | Evidencia | Revisión Prioritaria |
|---|---|---|---|
| Limitaciones de Muestreo | |||
| Limitaciones por Método | |||
| Limitaciones de Calidad de Datos | |||
| Efecto sobre los Hallazgos | |||
| Declaración de Mitigación |
Total: X/25 Nivel: Sólido (22-25) / Adecuado (17-21) / Requiere Revisión (11-16) / Revisión sustancial (5-10) Revisión más importante: [Una oración específica]
Para cualquier dimensión puntuada con 1 o 2, añada una breve explicación y un ejemplo de revisión concreto.
SECCIÓN DE LIMITACIONES A EVALUAR:
(Vea el documento adjunto o pegado.)
Documento a revisar: Adjunto, o pegado abajo. Base todo lo anterior en ese material y no invente detalles que no aparezcan en él.