Cómo evaluar la incidencia en políticas sin sobrestimar resultados

Por qué es fácil sobrestimar la incidencia

La incidencia rara vez actúa sola. Una política cambia cuando varias cosas coinciden: otras organizaciones impulsan el mismo mensaje, una autoridad está dispuesta, el ciclo presupuestario abre una ventana o una norma nacional obliga a actuar. El camino no es una línea recta y puede tardar años. Un equipo de incidencia que ve su recomendación en una política nueva se siente tentado a decir "nuestro trabajo la produjo". Eso puede ser cierto en parte. Pocas veces se puede demostrar tal como se dice.

Sobrestimar cuesta credibilidad ante quienes deciden el financiamiento y ante las autoridades con quienes el equipo necesita trabajar. La solución no es afirmar menos de lo ocurrido, sino mostrar lo que pasó en cada paso, indicar quién más participó y ajustar la fuerza de la afirmación a la fuerza de la evidencia.

Esta página trata la evaluación de la incidencia dirigida a quienes toman decisiones. Para los métodos en que se apoya, véanse análisis de contribución, cosecha de resultados y atribución frente a contribución.

Seguir la cadena de evidencia

El esfuerzo se divide en eslabones, desde lo que hizo el equipo hasta lo que cambió para las personas. Para cada eslabón se define qué evidencia mostraría que ocurrió.

Dos reglas mantienen honesta la afirmación. Primero, se afirma solo hasta el último eslabón del que se tiene evidencia. Si hay evidencia de acceso y atención, pero no de posición ni adopción, la afirmación trata de acceso y atención. Segundo, los eslabones iniciales no prueban los finales. Una sesión informativa muy concurrida no demuestra que una política haya seguido por esa causa.

Elegir medidas para cada eslabón

La influencia en políticas es más fácil de medir cuando la medida se ajusta al eslabón. Se combinan conteos, registros y juicios.

Una medida no es un fin en sí misma. Contar las sesiones informativas dice qué se hizo, no qué se logró. Se elige un número reducido de medidas para los eslabones que más importan en la teoría del cambio y se registran los supuestos que deben cumplirse entre ellos.

Métodos adecuados para la incidencia

Cosecha de resultados. Parte de los cambios observados en políticas y prácticas y luego retrocede para averiguar si el equipo contribuyó y cómo. Es adecuada para la incidencia, donde no se pueden prever todos los resultados. Cada resultado se redacta como un enunciado (quién cambió qué, cuándo y dónde) y se verifica con personas que lo conocen, de preferencia algunas ajenas al equipo. Véase cosecha de resultados.

Análisis de contribución. Construye un relato de contribución a partir de la teoría del cambio, reúne evidencia para cada eslabón y pone a prueba otras explicaciones. Termina con una declaración sobre la solidez del argumento de contribución. Véase análisis de contribución.

Rastreo de procesos. Para cada afirmación clave, pregunta qué evidencia se hallaría si fuera cierta y cuál si fuera falsa, y luego la busca. Ayuda cuando el foco es una decisión concreta. Véase rastreo de procesos.

Entrevistas con personas informadas ajenas al equipo. Se pregunta a quienes toman decisiones, a otras organizaciones de incidencia y a observadores qué influyó en la decisión. Se incluye a quienes discreparon del equipo y se registra lo que dicen sobre otras influencias.

Un registro de decisiones. Desde el inicio se lleva un registro con fechas: contactos, reuniones, borradores y cambios de texto. La evidencia reunida a medida que ocurren los hechos es mucho más sólida que el recuerdo años después.

Poner a prueba las otras explicaciones

Para cada resultado que se afirma, se enumeran las otras cosas que podrían explicarlo y se busca evidencia sobre cada una. Basta una tabla breve.

Si la política probablemente se habría adoptado de todos modos, se dice. Si la contribución del equipo fue acelerarla o dar forma al detalle, es un hallazgo válido y útil. También se revisan los supuestos de la teoría del cambio: una teoría de incidencia suele suponer que las autoridades escuchan la evidencia, y ese supuesto se puede poner a prueba.

Formular la afirmación según la evidencia

El lenguaje debe indicar la fuerza de la afirmación. Una escala sencilla:

Se evitan "causó", "condujo a" y "fue responsable de", salvo que la evidencia respalde una causa única o principal. "Contribuyó a" es más sólido cuando va seguido del cómo: qué hizo el equipo y cuál es la evidencia. Se indica quién más participó y qué no se encontró.

Pasos para planificar la evaluación

1. Redactar el cambio de política que se busca y para cuándo podría ocurrir de forma realista.
2. Dibujar la cadena de eslabones desde la actividad hasta el efecto en las personas.
3. Elegir evidencia y una medida para cada eslabón relevante.
4. Crear un registro de decisiones y asignar a alguien para llevarlo.
5. Planificar cómo se cosecharán los resultados y a quién se pedirá confirmarlos.
6. Enumerar las otras explicaciones que se pondrán a prueba.
7. Revisar la evidencia en momentos fijos y actualizar la afirmación.
8. Redactar la afirmación con la escala anterior, nombrando a los otros actores.

Ejemplo resuelto: una partida del presupuesto distrital de salud

Healthy Futures es un programa ficticio de nutrición infantil. Su equipo hace incidencia para que el consejo del distrito añada una partida de detección comunitaria de la desnutrición al presupuesto anual de salud.

El registro de decisiones del equipo muestra tres sesiones informativas a la comisión distrital de salud (actividad y contacto). Luego, la presidencia de la comisión pide una nota técnica (acceso). La nota se cita en el acta de una sesión del consejo (atención). El siguiente borrador de presupuesto incluye una partida de detección (adopción). Al año siguiente se desembolsan los fondos de la partida (implementación).

El equipo pone a prueba otras explicaciones. Ese año, una circular nacional de salud pide a los distritos planificar la detección comunitaria. Además, un grupo local de docentes hizo gestiones sobre la salud infantil. Se entrevista a un miembro del consejo, a un secretario de la comisión y a una persona dirigente del grupo de docentes para averiguar qué influyó en la decisión.

Las entrevistas sugieren que la circular hizo probable la partida y que las sesiones informativas dieron forma a su diseño: está dirigida a niños menores de dos años, como recomendó el equipo. La afirmación del equipo es, por tanto: "El programa contribuyó al diseño de la partida presupuestaria de detección, junto con una circular nacional que exigía a los distritos planificarla. Evidencia: actas de la comisión, texto del borrador de presupuesto y tres entrevistas". No afirma que el programa haya causado la existencia de la partida.

Errores comunes

• Informar productos, como las sesiones informativas realizadas, como si fueran resultados de política.
• Afirmar la adopción sin decir quién más la impulsó.
• Tomar los eslabones iniciales como prueba de los finales.
• Empezar a reunir evidencia solo después de que la política cambió.
• Entrevistar únicamente al equipo y a sus aliados.
• Usar "causó" donde la evidencia solo respalda "contribuyó a".