BLOG

La complémentarité des différents outils de S&E

Leer en español | Read in English

Autrice : Lycia Lima
Pays : Brésil

Il y a quelques années, on nous a demandé de mener une évaluation d’impact d’un programme de la petite enfance visant à améliorer le développement de l’enfant. C’était un programme qui était publiquement reconnu comme un succès et qui avait même servi de base à l’expansion d’une intervention similaire au niveau national. Lorsque nous avons commencé à travailler avec l’équipe du programme, nous avons réalisé que la perception du succès des gestionnaires du programme reposait principalement sur des preuves anecdotiques plutôt que sur des preuves tangibles prouvant que le programme était efficace pour promouvoir les changements souhaités.

Pour concevoir une évaluation d’impact, la première étape consiste à esquisser la théorie du changement du programme pour établir les liens entre les activités et les produits du programme et les résultats souhaités à court, moyen et long termes. Sans une théorie du changement, les chercheurs chargés de mener une évaluation d’impact ne peuvent pas savoir quels résultats ou impacts doivent être étudiés, et ils sont susceptibles de concevoir des instruments de collecte de données qui ne saisissent pas toutes les dimensions appropriées. Si une évaluation d’impact n’est pas conçue sur la base d’une solide théorie du changement, il y a un risque que des facteurs importants soient laissés de côté et que l’évaluation abouttisse à tort que le programme n’a pas d’impact, alors qu’il le fait dans des dimensions qui n’ont pas été mesurées.

En dépit d’être actif depuis plusieurs années, le programme que nous devions évaluer ne disposait pas d’une théorie du changement bien structurée. Par conséquent, notre première étape a été d’organiser des réunions au cours desquelles plusieurs personnes – qui étaient en quelque sorte engagées dans le programme – ont collaboré à l’élaboration de la théorie du changement. À la surprise de la plupart des participants, la théorie du changement a déclenché un débat intense, qui a révélé qu’il n’y avait pas de consensus quant à la logique causale du programme.

D’après mon expérience, je peux dire que c’est très courant: les programmes qui sont déjà en place et qui fonctionnent manquent souvent de clarté dans leurs chaînes de causalité. Dans le cas du programme que nous évaluions, les gestionnaires de programme ont réalisé que les impacts du programme n’étaient susceptibles de se produire que si toutes les chaînes causales décrites dans la théorie du changement étaient valides, ainsi que les hypothèses sous-jacentes. Cela les a convaincus de l’importance d’une mise en œuvre adéquate et du fait qu’ils ne disposaient pas d’un système de suivi approprié pour suivre la mise en œuvre de leurs programmes.

À la suite de cet exercice, les systèmes de suivi ont été améliorés et leurs programmes sont désormais des interventions bien structurées et fondées sur des données factuelles qui utilisent des outils de S&E à toutes les phases du cycle du programme.

Notre engagement initial était de mesurer l’impact du programme, ce qui a déclenché un exercice de théorie du changement, qui a été très enrichissant et a mis en lumière l’importance d’utiliser des outils de S&E à chaque étape de l’intervention. Le principal message qui peut être tiré est que les outils de S&E sont interconnectés et servent des objectifs différents tout au long du cycle des politiques publiques. Pour vraiment appliquer une approche factuelle, sachez qu’il n’est pas nécessaire de choisir entre les outils de S&E: la plupart d’entre eux génèrent des informations complémentaires et, ensemble, permettent aux responsables de programme d’avoir une vision complète de la performance de leur programme, en leur donnant les outils pour prendre des décisions éclairées et appliquer une approche de gestion véritablement factuelle.

Lycia Lima (@Lycia_Lima) est la sous-directrice de CLEAR au Brésil et en Afrique lusophone et professeure à la Escola de Administração de Empresas de São Paulo dans la Fundação Getulio Vargas.