Evaluando en pandemia: la experiencia de una evaluación de resultados en línea en Brasil

Lire in francais | Read in english

Autor: Hardi Vieira y Rodrigo Dias/ Brasil Hub-FIDA. 

1. Antecedentes y contexto:

La restricción del contacto físico entre personas en la actual pandemia de COVID-19 dificulta la realización de actividades en campo, especialmente para la aplicación de encuestas que antes se realizaban de forma presencial.  En una emergencia surge la necesidad de crear o inventar nuevas formas para recopilar información. Así, se introdujo una nueva metodología para realizar las encuestas de evaluación de resultados en tres proyectos en Brasil:  Viva o Semiárido, Paulo Freire y Pró-Semiárido, todos financiados por el FIDA. 

Durante el primer semestre de 2020, se realizaron tres evaluaciones completamente en línea para obtener información actualizada y fiable sobre los resultados de las acciones llevadas a cabo en campo por los proyectos.  Esto, con un enfoque en los indicadores de efecto que componen el Marco Lógico.  Además, trajo la oportunidad de recopilar datos relevantes sobre los efectos de la pandemia en los medios de vida de las familias.

• Diseño de encuestas, metodología y recopilación de datos:

Los principales actores involucrados en las actividades preparatorias de las evaluaciones de resultados fueron el especialista en monitoreo y evaluación del FIDA, profesionales gubernamentales y de monitoreo y evaluación, técnicos locales y entidades de Asistencia Técnica.  Este equipo emprendió las siguientes medidas para realizar las encuestas:

• Determinar el tamaño de la muestra: La muestra fue diseñada con base en el universo de familias que recibieron inversiones de los proyectos para mejorar las capacidades de producción, las condiciones y la asistencia técnica de la agricultura familiar.  La muestra consideró un número mínimo de beneficiarios jóvenes y mujeres. 
• El cuestionario:  El cuestionario fue cuidadosamente creado para que los beneficiarios lo entendieran fácilmente y se obtuvieran respuestas simples.  Tuvo una duración estimada de 30 minutos y estuvo compuesto por 30 preguntas simples, directas y objetivas agrupadas por diferentes temas para abarcar todo lo que se esperaba evaluar, incluido el impacto de COVID-19.  
• Selección de los entrevistados:  Los equipos del proyecto llevaron a cabo la selección de las familias para participar en las encuestas. Las familias seleccionadas tuvieron que cumplir con cuatro criterios para participar en la encuesta:  
• ser beneficiarias del acuerdo productivo comunitario; 
• tener un teléfono inteligente o acceso a uno dentro de la familia; 
• tener acceso a Internet; y 
• mantener la representatividad por género, edad y ubicación en el territorio. 

• Recopilación de datos: La Unidad de Gestión de Proyectos (UGP) compartió el enlace del formulario de la encuesta con el personal técnico ubicado en campo, quienes a su vez lo reenviaron a los agricultores a través de WhatsApp.  Junto con el enlace de la encuesta, los agricultores recibieron una tarjeta informativa sobre la investigación y un archivo de audio explicando los objetivos de esta acción.
• Ejecución de campo:  Todas las encuestas se llevaron a cabo en el primer semestre de 2020.  Las tres encuestas recibieron 5.587 respuestas en total en menos de dos meses (considerando la planificación y ejecución). Esta velocidad de ejecución es una ganancia sustancial para una encuesta en línea con un promedio de 100 cuestionarios de respuesta por día.  

Sin embargo, es importante señalar que este tipo de encuestas tienen una limitación:  distorsión aleatoria de las estadísticas (sesgos de selección), dado que tener un teléfono inteligente y conexión a Internet era necesario para participar en la encuesta.  Debido a esto, se puede asumir que los participantes en la encuesta tienen mejores posibilidades financieras y acceso a la información que los no participantes.  En otras palabras, no necesariamente los participantes de la encuesta representan la característica de todos los beneficiarios que pertenecen a la comunidad del proyecto. 

• ¿Por qué es una buena idea realizar encuestas en línea en una zona rural?

El despliegue de los resultados de la encuesta permitió obtener importantes lecciones aprendidas para otros proyectos que necesitan trabajo de campo y no pudieron realizarse debido a la pandemia de COVID-19.  Además, es una buena práctica para seguir implementando, ya que la tasa de éxito de respuesta podría ser difícil de reproducir en persona, en un entorno rural, sin tener que invertir más recursos.

La metodología participativa permitió a los beneficiarios desempeñar un papel protagónico, con una participación amplia y directa.  Los jóvenes, debido a su familiaridad con los medios tecnológicos, desempeñaron un papel importante en la realización de la investigación.  Actualmente, los proyectos brasileños están utilizando herramientas en línea aliadas a otras iniciativas (Asistencia Técnica y Extensión Rural (ATER) remota, pequeño comercio, etc.), esta experiencia exitosa fomenta el uso de ésta por parte de los beneficiarios y contribuye a reducir el aislamiento en la zona rural. 

Es importante destacar la rápida planificación, ejecución y el costo extremadamente bajo de los estudios que, de hecho, se prepararon e implementaron en un corto periodo. Realizar una encuesta digital completa también facilita el análisis de los resultados, teniendo en cuenta que las aplicaciones utilizadas generan bases de datos casi al instante.  Sin embargo, debido a sus limitaciones, las encuestas no sustituyen a las evaluaciones de impacto.  Aun así, representan una importante fuente de información en el marco de las encuestas de resultados y para la toma de decisiones para abordar, orientar/ajustar y mejorar las acciones de los proyectos en su último año de implementación (el caso de los proyectos brasileños).

A continuación, algunas lecciones aprendidas y sugerencias provenientes de esta experiencia: 

• Reducir el número de preguntas abiertas para facilitar el proceso de consolidación de respuestas.
• Considerar la aplicación del cuestionario a familias que no son beneficiarias del proyecto.  Tal vez, entrevistar a las familias que residen dentro de la propia comunidad para obtener información de los grupos de control y tratamiento.
• Aumentar la rigurosidad en cuanto a la proporcionalidad de los grupos encuestados. 
• Integrar esta práctica a lo largo de la implementación como herramienta de monitoreo y evaluación en futuros proyectos.
• Utilizar este principio y metodología para otros fines como evaluar la calidad de los servicios prestados y el acceso a proyectos productivos.