Entrevistas | La situación es muy heterogénea, y eso es importante, porque significa que hay oportunidades para aprender de la experiencia de otros países.

[Nota del Editor: en esta entrevista Osvaldo Néstor Feinstein, profesor del Máster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid, ofrece un diagnóstico sobre los sistemas de M&E en América Latina y enumera los principales desafíos respecto a las evaluaciones de impacto. Esta entrevista fue realizada por Federico Frascheri.]

Federico Frascheri (FF): ¿Cuál es su diagnóstico en materia de sistemas de monitoreo y evaluación de América Latina?

Osvaldo Feinstein (OF): En cuanto al diagnóstico, me basaré en un trabajo que ha sido publicado en 2015 por el Banco Interamericano de Desarrollo y que hicimos con un colega del Banco, Mauricio García Moreno, sobre los sistemas de seguimiento y evaluación en América Latina y el Caribe, basado en estudios de caso para 24 países de la región. Son unas 200 páginas en promedio para cada uno de los países, Argentina entre ellos. Las conclusiones que emergen indican que ha habido avances en seguimiento y evaluación, con la excepción de dos países: Argentina y Honduras. La situación es muy heterogénea, y eso es importante, porque significa que hay oportunidades para aprender de la experiencia de otros países.

Se ha trabajado con un ránking de los países a partir de varias dimensiones, lo cual permite hacer un benchmarking y comparar tanto cómo ha evolucionado cada país entre períodos – se hizo un trabajo en el 2007 y otro en el 2013- como también entre países. Los más avanzados son Colombia, Chile y México. En una segunda línea, Costa Rica y Brasil. De estos cinco, solamente México está entre los que más avanzaron. Pero otros países como Uruguay, Perú y Ecuador han tenido importantes avances entre el 2007 y 2013.

Se constatan menos avances en evaluación que en seguimiento, y que en los sistemas de información estadística. Cabe mencionar que en el caso de Argentina lo que indica el estudio de caso correspondiente es que hubo avances en efectividad del gasto público, pero dada la metodología adoptada en el estudio del BID, esto no aparece en el Sistema de Seguimiento y Evaluación.  

FF: ¿Qué factores favorecen la institucionalización de la evaluación?

OF: Hay varios. Uno de ellos es el liderazgo. A veces se ha hablado de tener un “campeón” por país; este no es un enfoque muy acertado, porque la experiencia indica que si hay solamente una institución o una persona que lidera el proceso, si después por distintas razones dejan de estar presentes en el escenario, el esfuerzo se desvanece. Entonces es muy conveniente que sea un liderazgo distribuido.

Otro factor importante es la existencia de capacidades, potenciales en algunos casos, que permitan volcarse al área de evaluación a través de algunos procesos de capacitación y de concientización. Además de recursos humanos formados en evaluación, hay buenas experiencias con sociólogos, economistas, estadísticos, cientistas políticos e incluso historiadores que se “reinventaron” como evaluadores.

Por supuesto también la disponibilidad de fondos es importante para desarrollar estos procesos de evaluación, incluso para transformar demandas potenciales en demandas reales.

Otro aspecto que vale la pena destacar es el conocimiento de experiencias de otros países; no para copiarlos, pero sí para inspirarse y aprovechar otras experiencias (“aprendizaje vicario”). Por ejemplo, México avanzó más que Chile en la institucionalización de la evaluación de políticas sociales, en tanto que Chile tiene más desarrollada la evaluación vinculada al presupuesto; ambos países pueden aprender de sus diferentes experiencias. Colombia está participando en un proceso de apoyo a otros países. Incluso se está dando un apoyo Sur-Sur, entre algunos países de América Latina y países de África. Hay experiencias en Sudáfrica muy interesantes a nivel municipal, que en América Latina es un tema importante pero en el cual  ha habido pocos avances. En síntesis, los factores claves son el liderazgo, los recursos, las capacidades y el conocimiento de experiencias.

FF: ¿Cuáles son los desafíos en materia de evaluación de impacto en América Latina?

OF: Me parece que vale la pena centrarse en unos pocos, un cuarteto. Por un lado, uno de los desafíos es no caer en la moda, que supone que hay un solo enfoque, considerado el más apropiado, con exclusión de otros enfoques. No es así. Creo que es importante un pluralismo metodológico y el desarrollo de enfoques apropiados a las circunstancias.

Otro desafío que es preciso mencionar, porque estas evaluaciones son relativamente más costosas que otras evaluaciones, es que vale la pena saber si están dadas las condiciones para poder realizarlas adecuadamente, si hay “evaluabilidad”. No es frecuente plantear la evaluabilidad en el contexto de las evaluaciones de impacto, pero vale la pena hacerlo, porque puede ayudar a decidir si tiene sentido realizar una evaluación de impacto para un tema determinado en un contexto específico.

Otro aspecto importante ha sido subestimado, sobre todo por quienes realizan evaluaciones de impacto basadas en controles aleatorios, método riguroso para establecer la validez interna o el primer grado de generalización. Pero para generalizar para una política pública a nivel nacional o de un territorio, que es lo que importa desde el punto de vista de las políticas públicas, hay un salto que se da a la validez externa, que está muy poco analizado. No sólo tiene que ver con el tiempo y el lugar, sino también con la escala a la que se ha dado la intervención que se ha evaluado, porque si cambia la escala, pueden cambiar los resultados.

Y finalmente relacionado con el punto anterior, el desafío de hacer trabajo de síntesis, no necesariamente meta evaluaciones, pero revisiones sistemáticas para inferir resultados a partir de conjuntos de evaluaciones de impacto que se hayan hecho. Esto aporta a la validez externa: saber si los resultados de las evaluaciones son constantes  en contextos diferentes. Además, en algunos casos puede no ser necesario hacer trabajos nuevos, porque se puede aprovechar el conocimiento existente, la puesta en valor del conocimiento existente.

Estos son  cuatro desafíos que es útil destacar: el pluralismo metodológico, la evaluabilidad de las intervenciones, la generalización o la validez externa y la síntesis de las evaluaciones de impacto.