Reflexiones | La experiencia internacional muestra que las evaluaciones de impacto son una herramienta que contribuye a avanzar hacia un proceso de toma de decisiones basadas en evidencia. A pesar de que hay algunos ejemplos de evaluaciones en países en desarrollo que datan de los años setenta, la explosión de evaluaciones de impacto en América Latina es mucho más reciente.

Por Natalia Aquilino, directora del Programa de Monitoreo y Evaluación de CIPPEC.

Como es conocido, a diferencia de otros tipos de evaluaciones, las de impacto intentan responder a preguntas sobre causa y efecto. Se preocupan por saber cuál es el impacto (o efecto causal) de un programa sobre un resultado de interés. Por eso, resulta válido preguntarnos:

• ¿Hasta dónde están logrando incidir en los tomadores de decisión públicos los hallazgos y las recomendaciones que producen las evaluaciones de impacto que se realizan en América Latina?

• ¿Cuál es el rol del contexto de desarrollo institucional en materia de evaluación de los países y cómo afecta la capacidad de incidencia de los equipos de investigación?

• ¿Cuáles son las estrategias de incidencia política que utilizan los investigadores? ¿Cómo se usan y cómo funcionan?

• ¿Cuáles son los desafíos y las oportunidades que se presentan para los equipos de investigación para establecer un diálogo efectivo con los hacedores de política pública?

Para tratar de responder a estas preguntas, entre 2012 y 2015 monitoreamos la incidencia de 27 evaluaciones de impacto sobre políticas de primera infancia, transferencias condicionadas de ingresos, inclusión financiera, pymes, pensiones y ambiente) realizadas en 9 países de América Latina (Chile, Brasil, Uruguay, Bolivia, Perú, Colombia, El Salvador, Nicaragua y México).

Los resultados muestran diferencias sustanciales en el grado de adopción que tienen los hallazgos y las recomendaciones de evaluaciones de impacto por parte de los tomadores de decisión. La relación entre evidencia proveniente de un ejercicio evaluativo riguroso vis a vis modificación del programa, plan o proyecto no es, con todo, lineal. Hay factores provenientes de distintas dimensiones que afectan ese puente y que se relacionen entre sí:

-El uso de las evaluaciones de impacto es afectado por el contexto nacional de evaluación. No es casual que aquellas evaluaciones con mayor penetración en la política pública sucedan en países con presencia de una política de evaluación institucionalizada.

-La prioridad que tiene el tema evaluado en la agenda de políticas, tanto al momento del diseño como durante la comunicación de resultados, puede variar y por consiguiente su uso puede verse aumentado, disminuido, cuestionado, etc.

-A la hora de procesar cambios, algunos planes/programas/proyectos son más flexibles que otros para incorporar tanto la metodología como los resultados y recomendaciones que se realizan. Esto puede deberse a la escala del programa, a su origen, a dinámicas de poder y a la jerarquía que tenga la intervención dentro de las agencias implementadoras.

-Las evaluaciones que parten de preguntas de investigación que interesan a las agencia implementadora tienen un mayor impacto en términos de incidencia. Por esto, hacer partícipes a los gestores clave durante la evaluación y, sobre todo al principio, es ventajoso.

-Diferentes tipos de usuarios tienen un poder diferencial para modificar la política con base en las recomendaciones derivadas de una evaluación. De allí, la importancia de diferenciarlos y adaptar los mensajes.

-Si se planifica desde el inicio de la evaluación, la estrategia de incidencia para distintos usuarios tiene más probabilidades de aumentar su efectividad. Este enfoque supone una responsabilidad central para los equipos de investigación: la apropiación de las estrategias de incidencia y su implementación.

-Cuando existe una demanda de evaluación más o menos estructurada por parte de la agencia implementadora, se genera un espacio más propicio para que las recomendaciones derivadas de la investigación retroalimenten la política pública.

-Contar con instancias en las que los resultados preliminares sean compartidos y analizados con gestores y técnicos es crítico a la hora de generar recomendaciones que sean “apropiables” por los agencias implementadoras.

-Es importante que exista una relación de confianza entre el equipo investigador y los gestores. En este sentido, la existencia de una relación previa con actores clave puede contribuir a generar un vínculo fluido durante la evaluación.

-Es importante generar algún tipo de incentivo para que los evaluadores se conecten con aquellos que usarán los hallazgos durante a lo largo del procesos de evaluación.

-La efectiva comunicación de hallazgos y recomendaciones también determina el grado de uso y apropiación. Aquellas evaluaciones que empelaron formatos novedosos y actuales tuvieron mayor éxito y penetración de su mensaje que aquellas que se conforman con elaborar documentos técnicos y complejos.

En síntesis, los contextos nacionales de evaluación y, en especial, el grado de institucionalización de los sistemas de seguimiento y evaluación impactan en la capacidad de incidencia efectiva de los resultados de las investigaciones en la toma de decisión de las políticas públicas. En este sentido, aquellos contextos con mayor institucionalización de la evaluación (Chile, México, Uruguay), una incidencia estratégica y activa por parte de los equipo suele redundar en cambios, de distinto alcance y grado, en las políticas públicas. Mientras que en similares contextos, si no se implementa a conciencia una estratégica de incidencia las chances de llegar a la política o a la toma de decisiones disminuyen.

Por el contrario, en aquellos escenarios donde la institucionalización es baja o nula (Bolivia, El Salvador, Nicaragua), una estrategia pensada de incidencia puede resultar efectiva sólo si se combinan algunos factores disparadores muy fuertes de contexto (un “champion” de evaluación, una ventana de oportunidad política única, un tema de agenda candente). Al mismo tiempo, contextos poco permeables a la evaluación de manera sistemática y orgánica combinados con equipos u organizaciones que no ejerzan ninguna acción de incidencia no lograrán atravesar las decisiones para influir con sus resultados.

Con todo, los equipos u organización de investigación, compuestos de manera diversa y con capacidades estratégicas entre evaluación y comunicación, pueden tomar decisiones relativas a la planificación e implementación de estrategias de incidencia que afecten el punto de llegada de la evidencia, hallazgos y recomendaciones que producen las evaluaciones de impacto.