BLOG

Évaluation pendant la pandémie : l’expérience d’une enquête en ligne d’évaluation des effets au Brésil

Leer en español | Read in english

Autor: Hardi Vieira et Rodrigo Dias  Hub-IFAD Brésil. 

1. Antécédents et contexte :

La restriction des contacts physiques entre les personnes pendant l’actuelle pandémie de COVID-19 rend difficile la réalisation d’activités sur le terrain, en particulier l’application d’enquêtes qui étaient auparavant effectuées en face à face. En cas d’urgence, la nécessité de créer ou d’inventer de nouvelles façons de faire se fait sentir. Une nouvelle méthodologie a ainsi vu le jour, pour mener les enquêtes d’évaluation des résultats dans trois projets au Brésil : Viva o Semiárido, Paulo Freire et Pró-Semiárido financés par le FIDA.

Au cours du premier semestre 2020, trois évaluations ont été réalisées entièrement en ligne afin d’obtenir des informations actualisées et fiables sur les résultats des actions menées sur le terrain par les projets. Ceci en mettant l’accent sur les indicateurs d’effet qui composent le cadre logique. Ces enquêtes ont également été l’occasion de recueillir des données pertinentes concernant les effets de la pandémie sur les moyens de subsistance des familles.

• Conception de l’enquête, méthodologie et collecte de données :

Les principaux acteurs impliqués dans les activités préparatoires des évaluations des résultats étaient le spécialiste du S&E du FIDA, des professionnels du gouvernement et de S&E, les techniciens locaux et les entités d’assistance technique. Cette équipe a suivi les étapes suivantes pour mener les sondages :

• Détermination de la taille de l’échantillon : L’échantillon a été conçu sur la base de la population des familles qui ont reçu de la part des projets des aides visant à améliorer les capacités de production, les conditions et l’assistance technique de l’agriculture familiale. L’échantillon a pris en compte un nombre minimum de jeunes et de femmes bénéficiaires. 
• Le questionnaire : Le questionnaire a été soigneusement conçu pour être facilement compréhensible par les bénéficiaires et pour obtenir des réponses simples. Il a une durée estimée à 30 minutes et est composé de 30 questions simples, directes et objectives regroupées par thème pour couvrir tout ce qu’il est censé évaluer, y compris l’impact de la COVID-19.
• La sélection des personnes interrogées : Les équipes du projet ont effectué la sélection des familles pour participer aux enquêtes. Les familles sélectionnées devaient répondre à quatre critères pour recevoir le formulaire d’enquête. 
• Être bénéficiaire de l’accord de production communautaire ; 
• Avoir un smartphone ou y avoir accès au sein de leur famille ; 
• Avoir accès à Internet ;
• Maintenir la représentativité selon le sexe, l’âge et l’emplacement sur le territoire. 

• Collecte de données : L’unité de gestion du projet (UGP) a partagé le lien du formulaire d’enquête avec le personnel technique basé sur le terrain, qui l’a transmis aux agriculteurs via WhatsApp. Avec le lien de l’enquête, les agriculteurs ont reçu une fiche d’information concernant l’étude ainsi qu’un fichier audio expliquant les objectifs de cette action.
• Exécution sur le terrain : Toutes les enquêtes ont été réalisées au cours du premier semestre 2020. Les trois enquêtes ont reçu un total de 5 587 réponses en moins de deux mois (en tenant compte de la planification et de l’exécution). Cette vitesse d’exécution est un gain substantiel pour une enquête en ligne avec une moyenne de 100 questionnaires répondus par jour. 

Néanmoins, il est important de noter que ce type d’enquête a une limite : la distorsion aléatoire des statistiques – biais de sélection – étant donné qu’il était nécessaire d’avoir un smartphone et une connexion Internet pour faire partie de l’enquête. On peut supposer que les participants à l’enquête bénéficiaient d’une meilleure situation financière et d’un meilleur accès à l’information que les non-participants. En d’autres termes, les participants à l’enquête ne sont pas forcément représentatifs de tous les bénéficiaires appartenant à la communauté du projet.

• En quoi la mise en place d’enquêtes en ligne en zone rurale est une bonne idée ?

Le déploiement des résultats de l’enquête a permis de tirer des enseignements significatifs pour d’autres projets qui requièrent un travail sur le terrain et qui n’ont pas pu être réalisés en raison de la pandémie de COVID-19. D’autre part, c’est une pratique qui mérite d’être poursuivie car son taux de réussite de réponse pourrait être difficile à reproduire en personne, dans un environnement rural, sans investir plus de ressources.

La méthodologie participative a permis aux bénéficiaires de jouer un rôle de premier plan, avec une participation vaste et directe. Les jeunes, en raison de leur familiarité avec les moyens technologiques, ont joué un rôle important dans la conduite de la recherche. Aujourd’hui, les projets brésiliens utilisent des outils en ligne alliés à d’autres initiatives (assistance technique à distance et vulgarisation rurale (ATER – sigles en anglais), petits commerces, etc.), et cette expérience réussie encourage leur utilisation par les bénéficiaires et contribue à réduire l’isolement des zones rurales. 

Il est important de souligner la rapidité de planification, d’exécution et le coût extrêmement faible des études qui ont effectivement été préparées et mises en œuvre dans un court laps de temps. La réalisation d’une enquête complètement numérique facilite également l’analyse des résultats, étant donné que les applications utilisées génèrent presque instantanément des bases de données. Toutefois, étant donné leurs limites, ces enquêtes ne remplacent pas les évaluations d’impact. Elles constituent néanmoins une importante source d’information dans le cadre des enquêtes sur les résultats et de la prise de décision pour aborder, guider / ajuster et améliorer les actions des projets au cours de leur dernière année de mise en œuvre – le cas des projets brésiliens -.

Voici quelques leçons apprises et suggestions découlant de cette expérience : 

• Réduire le nombre de questions ouvertes pour faciliter le processus de consolidation des réponses.
• Envisager l’application du questionnaire aux familles qui ne sont pas bénéficiaires du projet. Interviewer peut-être les familles résidant dans la communauté elle-même pour obtenir des informations de groupes témoins et de référence.
• Accroître la rigueur concernant la proportionnalité des groupes interrogés. 
• Intégrer cette pratique tout au long de la mise en œuvre en tant qu’outil de S&E dans les projets futurs.
• Utiliser ce principe et cette méthodologie à d’autres fins, comme l’évaluation de la qualité des services fournis et de l’accès aux projets productifs.