El M&E (monitoreo y evaluación) es la práctica de dar seguimiento a lo que hace un programa mientras se ejecuta, y de juzgar si funcionó una vez que hay evidencia suficiente. El monitoreo responde si la ejecución va según lo previsto. La evaluación responde si el programa generó un cambio, y por qué. Un sistema de M&E es lo que hace posibles ambas cosas.
¿Qué es el monitoreo y la evaluación?
El M&E es la forma en que un programa sabe qué está haciendo y si está funcionando. Las dos mitades responden preguntas distintas en calendarios distintos.
El monitoreo es continuo. Da seguimiento a actividades, productos y avance frente a lo planificado, normalmente de forma mensual o trimestral, y su propósito es la gestión: detectar problemas con tiempo suficiente para actuar.
La evaluación es periódica y más profunda. Pregunta si el programa logró lo que se propuso, si el cambio puede atribuirse razonablemente al programa, y qué debería hacerse distinto. Suele realizarse a medio término y al final, a veces años después.
Ninguna sustituye a la otra. El monitoreo sin evaluación produce un programa que reporta actividad indefinidamente sin saber si algo de ello importó. La evaluación sin monitoreo deja al evaluador sin datos con los que trabajar. Para la diferencia en detalle, véase monitoreo vs evaluación.
¿Qué significa M&E, y qué son MEL y MEAL?
M&E significa monitoreo y evaluación. Dos siglas más largas son de uso común y significan cosas ligeramente distintas.
| Sigla | Significado | Qué añade la letra adicional |
|---|---|---|
| M&E | Monitoreo y Evaluación | El par base |
| MEL | Monitoreo, Evaluación y Aprendizaje | Explicita que los hallazgos deben cambiar decisiones, no solo reportarse |
| MEAL | Monitoreo, Evaluación, Rendición de cuentas y Aprendizaje | Añade obligaciones hacia las personas a las que sirve el programa, incluidos mecanismos de retroalimentación y queja |
La elección suele ser una convención organizacional más que una diferencia real de método. Lo que importa es si las funciones de aprendizaje y rendición de cuentas existen realmente, no qué letras aparecen en el nombre del equipo. Véase terminología MEL, M&E y MEAL.
¿Qué contiene un sistema de M&E?
Un sistema de M&E es el conjunto de elementos que deben existir antes de que el monitoreo o la evaluación puedan ocurrir. La mayoría de los sistemas contienen los mismos componentes, se llamen como se llamen localmente.
| Componente | Qué es | Dónde leer más |
|---|---|---|
| Lógica de resultados | La cadena de actividades a productos, resultados e impacto, que declara qué espera cambiar el programa | Cadena de resultados |
| Marco | El documento que especifica qué se medirá, cómo, por quién y con qué frecuencia | Marco de M&E |
| Indicadores | Las variables medibles que dan seguimiento al avance de cada resultado | Indicador |
| Recolección de datos | Los instrumentos, el muestreo y el proceso de campo que producen las cifras | Diseño de encuestas |
| Gestión de datos | Dónde viven los datos, quién puede modificarlos y cómo se verifica su calidad | Aseguramiento de la calidad de datos |
| Reportes y uso | Los informes, revisiones y puntos de decisión donde los hallazgos cambian algo | Plan de M&E |
| Plan de evaluación | Qué se evaluará, cuándo, por quién y frente a qué preguntas | Términos de referencia de evaluación |
Los programas suelen tener los tres primeros y ser débiles en los tres últimos. Un marco con buenos indicadores y sin ningún punto de decisión donde se usen los hallazgos es un sistema de reportes, no un sistema de M&E.
¿Qué herramientas de M&E se utilizan?
"Herramientas de M&E" abarca tres cosas distintas, y la ambigüedad genera confusión real.
Las herramientas de recolección de datos son los instrumentos: cuestionarios, guías de entrevista, listas de verificación de observación y las plataformas móviles usadas para aplicarlos en campo.
Las herramientas de análisis y seguimiento son las que contienen los datos una vez recolectados: sistemas de seguimiento de indicadores, tableros, software estadístico y las hojas de cálculo con las que realmente funcionan la mayoría de los programas.
Las herramientas de planificación son los documentos que estructuran el sistema: el marco lógico, el marco de resultados, la hoja de referencia de indicadores y el plan MEL.
Un programa que pregunta qué herramienta de M&E comprar normalmente necesita la segunda. Uno que pregunta qué herramienta usar normalmente necesita la primera o la tercera.
¿Quién hace el M&E en un programa?
La responsabilidad normalmente se reparte, y el reparto importa más que los cargos.
El personal de programa recolecta la mayor parte de los datos, porque está en contacto con las actividades y las personas participantes. Su carga de reporte es la razón más común por la que los sistemas de M&E fallan en la práctica.
Un oficial o equipo de M&E diseña el sistema, verifica la calidad, agrega y reporta. En programas pequeños esto es una parte del tiempo de una persona, no un puesto.
Los evaluadores externos realizan las evaluaciones formales. Se contratan deliberadamente, con términos de referencia escritos, y la independencia es la razón para usarlos.
La dirección del programa decide qué ocurre como resultado. Es el rol que más a menudo queda sin definir, y el que determina si vale la pena mantener el sistema.
¿Cómo se monta el M&E de un programa?
En orden aproximado, y cada paso depende del anterior.
- Declarar primero la lógica de resultados. Qué se espera que cambie, para quién y mediante qué mecanismo. Todo lo demás se deriva de esto, y saltárselo produce indicadores que nadie puede interpretar.
- Elegir indicadores contra la lógica, no contra una lista. Cada uno debe decir si un resultado concreto está ocurriendo. Pocos indicadores bien definidos superan a una cobertura exhaustiva.
- Definir cada indicador correctamente antes de recolectar datos: redacción exacta, unidad, desagregación, fuente y frecuencia. Para eso sirve una hoja de referencia de indicadores.
- Diseñar la recolección a partir del análisis previsto, trabajando hacia atrás desde lo que se va a reportar y no hacia adelante desde lo que parece interesante preguntar.
- Decidir dónde se usan los hallazgos. Nombrar la reunión, el informe o la revisión donde cada dato cambia una decisión. Lo que no cambia ninguna decisión debe eliminarse.
- Planificar la evaluación por separado. Tiene preguntas, calendario y normalmente autoría distintos de los del sistema de monitoreo.
La herramienta Evaluation Readiness comprueba si un programa está listo para el paso 6, y el Method Selector ayuda con el paso 4.
En qué se diferencia el M&E de trabajos afines
El término se usa de forma imprecisa, y tres actividades vecinas se confunden con él.
| Qué es | En qué se diferencia del M&E | |
|---|---|---|
| Investigación | Genera conocimiento generalizable más allá de un programa | El M&E responde preguntas sobre este programa, para las decisiones de este programa. La investigación pregunta qué es cierto en general |
| Auditoría | Verifica que el dinero y los procesos cumplieron las normas | El M&E pregunta si el trabajo logró algo. Un programa puede aprobar una auditoría sin haber logrado nada |
| Gestión del desempeño | Gestiona el desempeño del personal y de la organización | El M&E mide el programa. Ambos usan un lenguaje parecido y responden ante personas distintas |
La prueba práctica es para quién es la respuesta. Si un hallazgo no puede cambiar una decisión que alguien del programa va a tomar, probablemente no sea M&E.
Cómo se ve el M&E en la práctica
Un programa de medios de vida de tres años. El monitoreo es mensual: hogares alcanzados, sesiones de capacitación impartidas, insumos distribuidos, contrastados con lo planificado por el personal de campo y agregados por un oficial de M&E. Una encuesta de línea de base al inicio y una de cierre miden ingresos y seguridad alimentaria frente a las metas. Una revisión de medio término, interna, pregunta si la ejecución va según lo previsto y qué conviene cambiar. Una evaluación final externa pregunta si los ingresos realmente aumentaron, si el programa puede atribuirse ese cambio, y qué debería hacerse distinto.
Un proyecto de incidencia de un año. El monitoreo es más ligero: reuniones sostenidas, propuestas presentadas, integrantes sumados a la coalición. No hay una encuesta de línea de base significativa, porque el resultado es un cambio de política y no una característica poblacional medible. La evaluación es por tanto cualitativa y centrada en la contribución: qué cambió en el entorno de política y con qué plausibilidad contribuyó el proyecto. Forzar este programa a un diseño experimental produciría una respuesta peor, no mejor.
La diferencia entre ambos no es el presupuesto ni la ambición. Es si el resultado es contable y si existe un contrafactual disponible.
Errores comunes
Medirlo todo. Las listas de indicadores crecen porque añadir uno es más fácil que defender su eliminación. El costo recae en el personal de campo y la calidad de los datos cae en conjunto.
Confundir productos con resultados. Contar capacitaciones impartidas es monitoreo. Saber si alguien cambió lo que hace es evaluación. Los programas que solo reportan lo primero a menudo creen tener evidencia de lo segundo.
Construir el sistema después de que el programa arranca. Los datos de línea de base no se pueden recolectar de forma retrospectiva, y sin ellos la mayoría de las preguntas de evaluación quedan sin respuesta posible.
Tratar el M&E como una obligación de reporte. Un sistema diseñado para satisfacer el informe de un donante satisfará ese informe y no informará nada más. La prueba es si alguna decisión se habría tomado distinto sin él.
Temas relacionados
La entrada monitoreo vs evaluación cubre la distinción en detalle. Marco de M&E y diseño de sistemas de M&E cubren el documento y la infraestructura respectivamente. Para construir el plan, empiece en plan de M&E.