Evaluaciones innovadoras de programas complejos: La experiencia del Programa de Pequeño Productor en México

Read in English

Autores: Erick Herrera-Galván y Karla Pinel | Países: México y Costa Rica

El contexto de los pequeños productores agrícolas

Se estima que hay más de 500 millones de hogares de pequeños productores agrícolas en el mundo, lo que equivale a más de dos mil millones de personas. En general, estos agricultores comparten algunos desafíos comunes como la pobreza, el bajo nivel de alfabetización, baja productividad de la tierra debido al uso de prácticas de cultivo tradicionales y un acceso limitado a tecnologías agrícolas mejoradas, escaso acceso al crédito, falta de organizaciones de productores, y acceso limitado a los mercados modernos (Lowder, S.K., Skoet, J., Raney, T., 2016).

En México, alrededor de 70% de las Unidades Económicas Rurales son familiares y se encuentran en situación de pobreza. Éstas se dedican principalmente a la agricultura, cultivando superficies pequeñas (menores a 5 hectáreas); alrededor de 20% se dedican a actividades de subsistencia, mientras 50% venden sus excedentes de producción en el mercado a través de una red de intermediarios y mayoristas que capturan una parte importante del precio final. Lo anterior contribuye a la concentración de la pobreza en el campo. (SAGARPA, 2014; COFECE, 2015)

Estas limitaciones dan como resultado la producción de pequeñas cantidades de cultivos que terminan vendiéndose localmente al comienzo de la cadena de suministro, lo que limita su acceso a los mercados más lucrativos (FIDA, 2016). Por tanto, es fundamental mejorar la productividad de los pequeños agricultores para mejorar sus condiciones y así, asegurar un proceso de desarrollo inclusivo. Como respuesta a este desafío global, se han implementado múltiples y variadas intervenciones en todo el mundo con el objetivo de mejorar la productividad de los pequeños agricultores, aumentar su acceso a los mercados y reducir la pobreza rural.

Algunas de estas intervenciones han sido evaluadas, y dichas evaluaciones han encontrado que componentes como el suministro de insumos agrícolas, el desarrollo de capacidades agronómicas y financieras, el facilitar el acceso a servicios financieros, a infraestructura y nuevas tecnologías y la creación de vínculos comerciales directos entre los pequeños agricultores y los compradores finales, efectivamente atacan las causas que limitan el acceso a mercados de los pequeños productores.

Caso: Evaluación del Programa de Pequeño Productor en México

El Programa de Pequeño Productor de Fundación Walmart México es una iniciativa que empezó operaciones en 2011 y a la fecha ha trabajado con pequeños productores agrícolas en 14 estados de la república mexicana. Sus tres principales componentes son brindar capacitaciones agronómicas y empresariales, así como dar acompañamiento comercial a los pequeños productores y facilitar su vínculo con grandes compradores.

Después de 6 años de implementación de este programa y ante la búsqueda de escalarlo para aumentar su impacto en el ecosistema de producción agrícola, su personal directivo decidió que era momento de emprender una evaluación del modelo de intervención, contemplando la inminente complejidad que representaba. Esto significó un reto en sí mismo para el proceso evaluativo, pues el propio diseño de la intervención y el contexto complejo (en cuanto al número de actividades, actores y factores intervinientes) en el que se implementa dificultaban establecer teorías y supuestos lineales sobre su funcionamiento y consecución de resultados.

De esta manera, el equipo de evaluación, de forma conjunta con las partes directiva, estratégica e implementadora del programa, realizaron un proceso de evaluación que consistió en cuatro etapas y cuyas preguntas de evaluación fueron las siguientes:

• Diagnóstico: ¿el programa se sustenta en un análisis actualizado del problema que desea atender?
• Teoría del cambio: ¿el programa se sustenta en un modelo de intervención claramente definido y basado en evidencia?
• Diseño: ¿el diseño del programa se sustenta en el diagnóstico y en la Teoría del cambio?
• Resultados: ¿cuáles son los resultados del programa en términos de su Teoría del cambio?

Las tres primeras etapas tuvieron un proceso de evaluación relativamente convencional; se definieron de manera participativa las causas del problema que el programa atiende, la forma en que pretende atenderlo, así como los mecanismos causales teóricos de sus logros. No obstante, el mayor reto se encontró en la parte de evaluación de resultados. Al ser un programa tan complejo, ningún método convencional resultaba ser el adecuado. Por lo tanto, el equipo de evaluación se dio a la tarea de encontrar metodologías que fueran más aptas para atender esta situación. Fue así como se llegó a la conclusión de que una alternativa idónea para la evaluación de resultados sería la adaptación del método de cosecha de alcances (outcome harvesting).

Este método cualitativo, cuyo uso no había sido documentado en programas en México, es una forma innovadora de evaluar intervenciones complejas. En su núcleo se encuentra una estrategia participativa en la que los evaluadores escuchan las distintas voces de las personas relacionadas con el proyecto, que en este caso son los pequeños productores agrícolas y demás actores participantes. Estas voces permiten reconstruir el mapa del ecosistema que el programa busca cambiar y así, entender su complejidad y las percepciones que tienen todos los involucrados sobre éste. Es decir, nos permite identificar los avances y las áreas de oportunidad del programa desde las perspectivas de sus beneficiarios y participantes, para así facilitar que éstas sean consideradas en la toma de decisiones sobre el futuro del programa.

Una de las grandes ventajas de la cosecha de alcances es que permite identificar desde las diversas perspectivas los cambios a los que el programa contribuyó, ya sea que fueran positivos o negativos, intencionales o no intencionales, directos o indirectos. Incluso, la evaluación del PAI nos permitió encontrarnos con algunas sorpresas, por ejemplo: los productores identificaban regularmente que el programa los ayudó a organizarse de manera más sólida, lo que les permitió generar mayor confianza entre los integrantes de su comunidad, la cual giraba en torno al negocio de la producción agrícola. No obstante, el fortalecimiento de las organizaciones productivas no era un componente formal de la intervención, y al ser algo tan valorado por los productores, resultó ser una lección aprendida para el mejoramiento del programa.

Las dos principales lecciones aprendidas

Se derivaron lecciones aprendidas de este proceso de evaluación de mediano aliento. Primero, trabajar bajo un esquema participativo en el que se escuchan las voces de las diferentes personas involucradas en el programa permite comprender la complejidad, tanto del proceso de diseño e implementación de éste como del problema público que intentan atender.

Segundo, el uso de métodos cualitativos de evaluación permite analizar a profundidad los mecanismos causales entre la implementación de un programa y los resultados que pretenden obtener. Lo anterior es complementario a los métodos cuantitativos que miden el efecto promedio de la intervención. El análisis cualitativo genera evidencia que permite tomar decisiones para mejorar las intervenciones sobre la marcha, y así lograr la consecución de sus objetivos.

Erick y Karla son parte del equipo evaluador de CLEAR para América Latina y el Caribe. En esta evaluación participaron Gabriela Pérez Yarahuán, Oliver Peña Habib y nuestra capacitadora Giovanna Montagner.