ELEMENTOS METODOLÓGICOS EN LA EVALUACIÓN DE IMPACTO
Y DE RESULTADOS
Estrategias para evaluar los resultados e impacto: la elección del diseño
Cuestiones de validez
Interna
Grado de seguridad que tenemos a la hora de atribuir los cambios al programa de intervención y no a otras causas.
Externa
Generalización de los resultados a diferentes situaciones, participantes, programas o contextos similares.
Constructo
Correspondencia entre los conceptos utilizados y la operativización de los mismos.
Conclusión estadística
Grado de confianza sobre la presencia de covariación entre variables.
La elección del diseño
Diseños experimentales
Experimentales se caracterizan por el control que tiene el evaluador de la variable independiente (el programa objeto de evaluación) y por la asignación aleatoria de los participantes a los grupos o condiciones de intervención y de comparación con base en algún criterio determinado para controlar el efecto de variables extrañas que pudieran contaminar los resultados de la evaluación.
Diseños cuasi-experimentales
Aplicarse tanto a programas de cobertura parcial, como a programas de cobertura total donde el programa cubre a toda la población diana.
Diseños cualitativos o naturalistas
Deben dar dos supuestos
a) Que la relación entre las variable criterio y los pronósticos (VD o indicadores) de ambos grupos tengan las misma función (lineal)
b) Que no existan variables extrañas específicas de los grupos formados, algo que puede ocurrir sobre todo cuando se utilizan como punto de corte puntuaciones extremas.
El análisis de datos
Describir de manera comprensiva conjuntos de datos en bruto
Ayudar a decidir si alguna relación aparente
en los datos puede admitirse con confianza o, por el contrario, podría considerarse una relación espuria debida al azar
Estimar las magnitudes, especialmente cantidades de cambio o diferencias
Determinar si ciertos efectos que aparecen en la información alcanzan un nivel relevante en el contexto del programa.
Qué evaluar y cómo registrar la información
La evaluación de resultados
Las medidas de las variables y/o condiciones sociales que el programa espera cambiar constituyen las variables dependientes
Para describir y evaluar dichos cambios es clave que se
hayan definido adecuadamente los objetivos generales y específicos del programa