Pilotear y triangular: elementos clave para el desarrollo de evaluaciones de calidad

Read in English

Autora: Claudia Mir Cervantes | País: México

Hace algunos años, coordiné un equipo para realizar una evaluación en la que se buscaba analizar el abasto de medicamentos para la atención de enfermedades crónico-degenerativas en centros de salud en México. Para esto, se determinó realizar un estudio con métodos mixtos. Así, el estudio arrancó con un proceso de observación estructurada mediante el cual se levantó un inventario de los medicamentos existentes al momento de la visita a los centros de salud. Éste se complementó con una encuesta al personal de los centros realizada por el mismo equipo que generó los inventarios. Adicionalmente, otro equipo realizó un levantamiento de información cualitativa con actores clave de una submuestra de los centros de salud encuestados y con autoridades del sector en oficinas centrales.

Debido a limitaciones de tiempo, el organismo que contrató la evaluación no autorizó el proceso de pilotaje de los instrumentos. El equipo evaluador se aseguró de explicar la importancia de este proceso y, finalmente, aceptó hacer el levantamiento en esas condiciones, bajo responsabilidad del cliente. 

Al procesar la información, el equipo observó que los hallazgos del estudio cualitativo diferían de manera importante de los resultados del estudio cuantitativo. El primero mostraba altas tasas de desabasto de medicamentos, mientras que el segundo mostraba niveles de abasto adecuados. Al analizar a fondo, se llegó a la conclusión de que se había cometido un error en el levantamiento de información cuantitativa: solo se contaban uno a uno los medicamentos en aquellos centros de salud que reportaban tener un sistema electrónico de inventario. ¡Ese no era el objetivo! La idea era contar los medicamentos en todos los centros de salud de la muestra, independientemente de la existencia o ausencia de un sistema de inventario. 

Al explorar a mayor profundidad, se determinó que el error no fue de los encuestadores ni del proceso de levantamiento, se trataba de un problema en el diseño del cuestionario, ya que el candado para determinar el pase de una a otra pregunta era erróneo. Es decir, equivocadamente, el conteo de medicamentos estaba sujeto a la existencia de un sistema de inventario. Este tipo de error suele detectarse fácilmente durante el pilotaje de los instrumentos, pero como éste no se realizó, se pasó por alto con un costo enorme. Además, los responsables de la supervisión del proceso de levantamiento de información cuantitativa no identificaron esto como un error, ya que no habían participado en el diseño del instrumento ni conocían con precisión los objetivos del estudio.

Afortunadamente, se había previsto recabar información que permitiera la triangulación. Así, si bien hubo problemas en el levantamiento mediante observación directa (el inventario), la encuesta a directores de centros de salud retomaba el tema del abasto de medicamentos, al igual que las entrevistas del estudio cualitativo. Con ello, se pudo responder a las preguntas de evaluación de manera general, pero fue imposible cuantificar adecuadamente el abasto promedio en el conjunto de centros de salud estudiados.

Lo que pretendo ilustrar con este ejemplo es lo siguiente: 

1. La importancia de que en todo proceso de levantamiento de datos se consideren el tiempo y recursos para pilotear los instrumentos.
2. La relevancia de que los responsables de la supervisión de los levantamientos de información conozcan con claridad los objetivos del estudio y el uso que se dará a los datos recolectados.
3. La necesidad de prever desde el diseño de la evaluación e instrumentos de recolección de datos, los elementos que permitirán la triangulación de la información obtenida.

Claudia Mir Cervantes es economista, cuenta con 16 años de experiencia en la evaluación de políticas públicas. También es diseñadora y facilitadora de cursos de formación de capacidades en monitoreo y evaluación dirigidos a una gran variedad de actores.