Guía completa de indicadores SMART para monitoreo y evaluación

Específico: la prueba de ambigüedad cero

El criterio Específico es el que más a menudo falla en la práctica de monitoreo y evaluación. El error no suele ser una ambigüedad flagrante, sino una "casi ambigüedad". Frases como "hogares con acceso mejorado al agua" o "jóvenes con habilidades fortalecidas" pueden superar una revisión superficial por sonar concretas, pero son lo suficientemente ambiguas como para que dos encuestadores clasifiquen los hogares de forma distinta, o dos analistas reporten resultados diferentes a partir del mismo conjunto de datos.

La prueba es sencilla y concreta. Escriba el indicador. Entrégueselo a alguien que no haya participado en la reunión de diseño. Pídale que describa exactamente qué datos recopilaría y cómo contaría un caso. Si su respuesta difiere de lo que usted pretendía, el indicador no es lo suficientemente específico.

Tres patrones de fallo:

Ambigüedad en el atributo. "Acceso mejorado al agua" no define qué significa "mejorado". ¿Se refiere a la proximidad (distancia a la fuente), el tiempo (minutos para recolectar agua), la calidad (gestionada de forma segura según las definiciones del JMP) o la fiabilidad (días de funcionamiento al mes)? Cada uno es un indicador diferente y un ejercicio de recopilación de datos distinto. Elija uno y especifíquelo.

Ambigüedad en la población. "Jóvenes capacitados" no define "jóvenes". Un programa dirigido a personas de 15 a 24 años y otro a personas de 18 a 35 años pueden estar capacitando a "jóvenes", pero sus datos no serán comparables. Indique explícitamente el rango de edad y si el conteo incluye individuos únicos o el total de capacitaciones por persona.

Ambigüedad en la unidad. "Hogares alcanzados" no indica si el hogar se cuenta una vez o cada vez que se prestan los servicios del programa. Un hogar que asistió a tres sesiones podría contarse como 3 o como 1, dependiendo de la definición. La definición del indicador debe especificar la unidad de conteo.

Un indicador específico se formula como instrucciones claras que un encuestador podría seguir sin necesidad de aclaraciones. Si el indicador requiere una aclaración en una nota al pie, el contenido de esa nota debe integrarse en el texto del indicador.

Medible: la prueba de la fuente de datos

El criterio Medible evalúa si los datos pueden ser realmente recopilados. La prueba consta de dos partes: ¿existe una fuente de datos y el método de recopilación es viable para este programa?

La existencia de la fuente de datos es el primer filtro. "Porcentaje de hogares que se sienten más seguros" es medible solo si se planea una encuesta de percepción de hogares. Si el programa carece de presupuesto o capacidad para realizar una encuesta de hogares, el indicador será inmedible, por muy específico que sea. Una fuente de datos ausente no se resuelve en la etapa de análisis; el indicador debe eliminarse o se debe añadir una actividad de recopilación de datos.

La viabilidad del método de recopilación es el segundo filtro. Una encuesta trimestral de hogares en 40 aldeas es medible en principio, pero podría no ser viable para un programa de 24 meses con un presupuesto de monitoreo, evaluación y aprendizaje (MEL) de $150,000. Un indicador se vuelve medible solo cuando se asocia a un método de recopilación de datos que el programa puede ejecutar de manera realista. Esto implica generalmente especificar la fuente en la definición del indicador: "según lo reportado en la encuesta trimestral de hogares" o "según lo registrado en la lista de asistencia a la actividad".

Tres categorías de fuentes de datos, clasificadas por su fiabilidad en la práctica de monitoreo y evaluación:

1. Registros administrativos o de actividad (asistencia, registros de distribución, registros de construcción): alta fiabilidad, bajo costo, pero limitados a las actividades del programa.
2. Encuestas y evaluaciones propias del programa (línea de base, línea final, ACD): fiabilidad media, costo medio, limitadas a lo que el programa mide.
3. Datos secundarios (estadísticas gubernamentales, DHS, MICS, registros de instalaciones): fiabilidad variable, bajo costo, pero a menudo desactualizados o sin la granularidad adecuada.

Utilizar dos categorías es más robusto que una sola. Triangular un indicador de resultado con una estimación de encuesta y un registro administrativo permite detectar problemas de calidad de datos que una sola fuente podría pasar por alto. Consulte cómo realizar un ACD para comprender cómo se aplica la evaluación de la calidad de los datos a la mensurabilidad de los indicadores.

Alcanzable: la prueba de factibilidad

Alcanzable es un criterio que se aplica a la meta, no al indicador en sí. El indicador (la medición) puede estar perfectamente especificado, pero la meta (el valor a alcanzar) aún podría ser inalcanzable.

El fallo más común del criterio Alcanzable en monitoreo y evaluación es una meta establecida durante la formulación de la propuesta sin datos de línea de base, y que luego se hereda en el plan de monitoreo, evaluación y aprendizaje (MEL). Una propuesta puede comprometerse a que "el 80% de los hogares practiquen el almacenamiento seguro de agua al final del proyecto" sin haber medido nunca la línea de base. Si la línea de base resulta ser del 22%, una meta de mejora de 58 puntos porcentuales no será alcanzable dentro del plazo o presupuesto del programa. Sin embargo, la meta ya figura en la propuesta, el requisito de informe está en el contrato, y el programa se encuentra en una situación donde no podrá alcanzar su meta incluso antes de que comience la recopilación de datos.

Tres comprobaciones para el criterio Alcanzable:

Meta anclada a la línea de base. La meta debe expresarse como un cambio a partir de la línea de base, no como un valor absoluto desconectado de las condiciones iniciales. "Aumentar del 22% al 50%" es más claro que "alcanzar el 50%", ya que reconoce el punto de partida.

Tasa de cambio consistente con evidencia previa. Si programas comparables lograron mejoras de 5 a 10 puntos porcentuales en 24 meses, una propuesta que aspire a 30 puntos en 18 meses no será alcanzable sin recursos sustancialmente mayores. Consulte las evaluaciones de impacto publicadas de intervenciones similares en contextos análogos antes de establecer la meta.

Verificación de presupuesto y capacidad. La meta puede ser alcanzable en principio, pero no con el presupuesto actual. Una reducción del 15% en la desnutrición requiere actividades programáticas específicas con una intensidad determinada. Compare la meta con lo que el programa realmente está implementando; las metas no deben exceder lo que el diseño del programa puede producir de manera plausible.

Los fallos en el criterio Alcanzable se vuelven políticamente difíciles de corregir una vez que la propuesta ha sido firmada. Establezca metas conservadoras y ancladas a la línea de base desde el principio. Consulte establecimiento de metas para conocer enfoques basados en fórmulas.

Relevante: la prueba de decisión

El criterio Relevante cuestiona si los datos de este indicador serán utilizados por alguien. Si la respuesta es negativa, el indicador está generando costos de recopilación sin contribuir a la toma de decisiones, por lo que debería ser eliminado.

Tres patrones de irrelevancia son comunes en la mayoría de los planes de monitoreo, evaluación y aprendizaje (MEL):

Indicadores de mero cumplimiento. El indicador se añadió porque una plantilla del donante lo exigía. Nadie a nivel interno utilizará esos datos. El programa, sin embargo, debe recopilarlos, limpiarlos y reportarlos. Estos indicadores son difíciles de eliminar, pero deben minimizarse: incluya el campo requerido, recopile con la frecuencia mínima y no invierta recursos significativos en su análisis.

Indicadores huérfanos. El indicador se incluyó para medir una actividad que posteriormente fue eliminada o perdió relevancia, pero nadie actualizó el plan de MEL. El indicador sigue siendo reportado, aunque la actividad que describe ya no es una parte significativa del programa. Realice una revisión anual del plan de MEL y elimine los indicadores huérfanos.

Indicadores por curiosidad. El indicador se añadió porque el diseñador tenía curiosidad por la medición, no porque fuera a informar una decisión. Los indicadores por curiosidad no tienen un destino de informe ni una regla de decisión asociada. Elimínelos a menos que la agenda de aprendizaje los requiera explícitamente.

La prueba de Relevante, aplicada a cada indicador: "¿Quién leerá estos datos y qué decisión tomará de manera diferente gracias a ellos?" Si la respuesta es "nadie" o "no está claro", el indicador falla el criterio Relevante. La mayoría de los planes de MEL contienen entre un 20% y un 40% de indicadores que no superan esta prueba; eliminarlos ahorra recursos y libera capacidad para aquellos indicadores que realmente impulsan las decisiones.

Con plazo definido: la prueba del intervalo

El criterio Con Plazo definido evalúa si el intervalo de medición está claramente establecido y si se alinea con los ciclos de informe y decisión que el indicador debe alimentar.

El fallo más común del criterio Con Plazo definido no es la ausencia de plazos, sino que estos no coincidan con el ciclo de decisión. Un indicador de cobertura trimestral que solo se reporta a mitad y al final del proyecto no puede informar las reuniones trimestrales de gestión adaptativa. Un indicador de resultado anual, destinado a un informe de donante de mitad de año, no cumplirá con la fecha límite de dicho informe.

Dos comprobaciones para el criterio Con Plazo definido:

Intervalo especificado. "Anualmente", "trimestralmente", "en la línea de base, línea media y línea final" son ejemplos de intervalos especificados. "Continuo" y "según sea necesario" no lo son. Si la descripción del indicador establece que los datos se recopilarán "según sea necesario", significa que no se ha definido un cronograma, y la recopilación de datos será inconsistente.

El intervalo coincide con el uso. La frecuencia de medición no debe ser inferior al ciclo de informe o decisión. Si el programa celebra reuniones trimestrales del comité directivo que utilizan este indicador, la medición debe ser trimestral. Si el indicador solo alimenta un informe anual del donante, una medición anual es suficiente. Medir con más frecuencia de lo necesario representa un costo adicional; medir con menos frecuencia hace que los datos sean inutilizables en el momento de la decisión.

Consulte línea de base y las entradas relacionadas con la sincronización de mediciones para coordinar los indicadores con las encuestas de línea de base, línea media y línea final.

Seis ejemplos de revisiones

Ejemplos de indicadores antes y después de aplicar las correcciones SMART.

1. Indicador de cobertura WASH, África Oriental

Antes: Número de personas con acceso mejorado al agua. Falla: Específico (¿qué significa 'mejorado'?), Medible (no se especifica la fuente), Con Plazo definido (no hay intervalo). Después: Número de personas que utilizan una fuente de agua potable gestionada de forma segura (según la definición del JMP), medido en la encuesta anual de hogares realizada en septiembre de cada año del proyecto.

2. Indicador de resultados educativos, Asia Meridional

Antes: Mayores resultados de aprendizaje entre los participantes del programa. Falla: Específico (¿qué tipo de aprendizaje? ¿qué unidad de medida?), Medible (no se especifica la evaluación), Alcanzable (no hay línea de base ni meta). Después: Porcentaje de estudiantes de tercer grado que obtienen una puntuación igual o superior al punto de referencia nacional en la evaluación de alfabetización de fin de año, medida anualmente en mayo. Línea de base (Año 0): 48%. Meta (Año 3): 62%.

3. Indicador de producto de medios de vida, África Occidental

Antes: Beneficiarios que reciben capacitación en medios de vida. Falla: Específico (¿beneficiarios de qué categoría? ¿qué tipo de capacitación?), Relevante (cuenta personas, no habilidades o cambios en los ingresos). Después: Número de mujeres adultas (18-49 años) que completan las cinco sesiones del módulo de capacitación en producción de vegetales, según lo registrado en la lista de asistencia a la capacitación. Se cuenta una vez por participante única durante el período del proyecto.

4. Indicador de prestación de servicios de salud, América Central

Antes: Capacidad fortalecida de los trabajadores de la salud. Falla: Específico (¿cómo se 'fortalece'?), Medible (no hay fuente), Alcanzable (no hay meta), Con Plazo definido (no hay intervalo). Después: Porcentaje de trabajadores de salud comunitarios capacitados que demuestran competencia en la lista de verificación de habilidades post-capacitación de 12 ítems, evaluada al final de cada cohorte de capacitación. Meta: 80% de los trabajadores de salud comunitarios capacitados por cohorte.

5. Indicador de resultados de género, África Meridional

Antes: Igualdad de género mejorada en las comunidades del programa. Falla: Específico (¿igualdad de género en qué ámbito?), Medible (no hay fuente), Relevante (no está claro quién tomará decisiones con estos datos). Después: Porcentaje de mujeres del programa que informan participar en las decisiones del hogar sobre la educación de los hijos y los gastos familiares en el último mes, medido en la encuesta anual de hogares con enfoque de género realizada en noviembre.

6. Indicador de resultados de seguridad alimentaria, el Sahel

Antes: Reducción de la inseguridad alimentaria entre los hogares objetivo. Falla: Específico (¿qué medida de inseguridad alimentaria?), Con Plazo definido (no hay intervalo), Alcanzable (no hay meta). Después: Puntuación promedio de la Escala de Hambre en el Hogar (HHS) entre los hogares del programa, medida trimestralmente. Línea de base Año 0: 2.8 (moderada). Meta Año 2: 1.5 (poca o ninguna).

El patrón en los seis ejemplos es claro: la versión "antes" se lee bien en una narrativa de propuesta, pero falla al menos dos de las cinco pruebas SMART y produciría datos inconsistentes o inutilizables. La versión "después" es más extensa, pero puede ser recopilada por cualquier encuestador capacitado, es comparable entre períodos de tiempo y está vinculada a una decisión específica.

Errores comunes

Error 1: tratar SMART como una escala de calificación en lugar de un filtro. Algunos equipos califican los indicadores según los criterios SMART (por ejemplo, 4 de 5) y mantienen aquellos que cumplen la mayoría. Este es un enfoque incorrecto: un indicador que falla en cualquier criterio, fallará en la práctica. Considere SMART como un filtro de calidad, no como una puntuación.

Error 2: aprobar el criterio específico sin la prueba del colega. Leer su propio indicador y considerarlo claro no es prueba suficiente de que cumpla el criterio Específico. Usted sabe lo que quiso expresar. Un colega que no participó en la reunión de diseño debería poder leer el indicador y recopilar los datos sin necesidad de aclaraciones.

Error 3: declarar un indicador medible sin identificar la fuente de datos. Un indicador es medible solo si se especifica una fuente y un método de recopilación concretos. "Encuesta de hogares" no es suficiente; "la encuesta trimestral de hogares realizada por el equipo de monitoreo y evaluación en septiembre, utilizando el módulo KAP" sí lo es.

Error 4: copiar metas de propuestas sin datos de línea de base. Las metas de las propuestas formuladas antes de disponer de datos de línea de base suelen ser inalcanzables. Evite heredar metas en el plan de monitoreo, evaluación y aprendizaje (MEL) sin una revisión y ajuste basados en la línea de base.

Error 5: mantener indicadores de cumplimiento más allá de su utilidad. Los indicadores de mero cumplimiento permanecen en los planes de monitoreo, evaluación y aprendizaje (MEL) mucho después de que el requisito de cumplimiento haya desaparecido. Revise el conjunto completo de indicadores anualmente y elimine aquellos que nadie utiliza.

Error 6: utilizar "continuo" como intervalo de medición. "Continuo" significa que nadie ha programado la recopilación de datos. Siempre termina por desviarse. Defina una frecuencia específica, aunque sea poco habitual.

Error 7: tratar SMART como un ejercicio puntual. SMART debe volver a aplicarse cada vez que cambie el diseño del programa, se eliminen actividades o las fuentes de datos dejen de estar disponibles. Un indicador que era SMART en la fase de diseño puede dejar de serlo 18 meses después si la fuente de datos se discontinuó. Consulte el error de demasiados indicadores para conocer la disciplina complementaria de depuración.

Error 8: formular indicadores antes que las decisiones. En la práctica, la prueba de Relevante debería aplicarse primero. Identifique en primer lugar las decisiones y los requisitos de informe, y luego diseñe los indicadores para alimentarlos. Formular los indicadores y después buscar decisiones a las que vincularlos es la causa principal del fallo de irrelevancia.

Lista de verificación SMART

Aplique esta lista a cada indicador candidato antes de incorporarlo al plan de monitoreo, evaluación y aprendizaje (MEL) o a la propuesta.

Específico:

• Un colega que no participó en la reunión de diseño puede leer el indicador y describir los datos a recopilar
• El atributo medido está nombrado (calidad, cantidad, estado) sin ambigüedad
• La población está definida (rango de edad, sexo, geografía, grupo del programa)
• La unidad de conteo está especificada (individuos únicos frente a eventos por persona, hogar frente a individuo)

Medible:

• Se especifica una fuente de datos concreta
• Se nombra el método de recopilación (encuesta, registro de asistencia, revisión de registros)
• La frecuencia es viable considerando el presupuesto y la capacidad del programa
• Se establece al menos un control de calidad de datos (capacitación de encuestadores, supervisión por muestreo, ciclo de ACD)

Alcanzable:

• El valor de la línea de base es conocido o hay un estudio de línea de base planificado antes de fijar la meta
• La meta se expresa como un cambio desde la línea de base, no como un valor absoluto desconectado de las condiciones iniciales
• La tasa de cambio es consistente con la evidencia publicada de programas comparables
• El presupuesto y el diseño del programa pueden producir de manera plausible el cambio previsto

Relevante:

• Se especifica la decisión o el requisito de informe al que alimenta el indicador
• Hay una persona o comité con responsabilidad de actuar sobre los datos
• El indicador no duplica otro ya incluido en el plan

Con plazo definido:

• La frecuencia de recopilación está especificada (no "continuo" o "según sea necesario")
• La fecha límite de informe está establecida
• El intervalo de medición coincide con el ciclo de decisión o informe al que alimenta

Ejecute el Verificador de Indicadores SMART para validar cada indicador contra el conjunto completo de criterios antes de presentar el plan de MEL. Para el flujo de trabajo más amplio de diseño de indicadores, consulte indicador frente a meta frente a hito y el error de demasiados indicadores. Para un flujo de trabajo paso a paso asistido por IA, consulte el manual de Desarrollo de Indicadores.