EVALUACIÓN DE PROGRAMAS
LA EVALUABILIDAD DE UN PROGRAMA
Está referida a la medida en la cual un determinado programa puede ser evaluado, la evaluabilidad puede ser considerada como un pre- requisito para proceder a hacer una evaluación de programa.
El considerar un programa inevaluable significa que ha sido mal planificado y que existen barreras que dificultan su evaluación.
Wholey (1979, 1983, 1987)
Ha identificado cuatro áreas problemáticas en la evaluación de programas que maximizan su dificultad e inoperancia
Falta de definición del problema atendido por el programa implicado y los objetivos y resultados preestablecidos.
Carencia de base en la teoría del programa.
Carencia de claridad en los propósitos de la evaluación.
Carencia de claridad en las prioridades de la evaluación.
Fernández, R. y Hernández (1989)
Han elaborado un listado de cuestiones relevantes en la evaluación de programas, referido a calidad y obstáculos.
Dimensiones de calidad
• La evaluación de necesidades.
• El establecimiento de objetivos.
• La definición del programa.
• Los criterios de selección del programa.
• El nivel de implantación.
• El diseño de la evaluación.
• La calidad de las operaciones a observar.
• La información sobre el contexto.
Dimensiones de Obstáculos
• La aceptabilidad de la evaluación.
• La implicación del evaluador.
• La finalidad de la evaluación.
• Los costes de la evaluación.
LOS MODELOS DE LA EVALUACIÓN DE PROGRAMAS
La evaluación de programas requiere del cumplimiento de dos condiciones básicas iniciales. Por una parte, hay que precisar el marco conceptual desde el cual se aborda el objeto de la evaluación y por otra, es necesario especificar los supuestos teóricos que fundamentan el modelo evaluativo adoptado para emitir juicios de valor sobre el programa.
Existen diferentes enfoques a la hora de plantearnos una clasificación de los modelos de evaluación de programas
Enfoques centrados sobre la finalidad
Este enfoque plantea la diversidad de propósitos a la hora de especificar la finalidad de la evaluación.
Principales fines que determinan los procesos de evaluación
• Comprobar si los objetivos del programa han sido alcanzados.
• Recabar opiniones fundamentales sobre la valoración que hacen del programa las audiencias implicadas.
• Obtener información cualificada a partir de la cual se pueda tomar decisiones sobre el futuro de un programa específico
Estos fines han dado lugar a la clasificación de los siguientes modelos de evaluación de programas:
MODELO CENTRADO EN LA EVALUACIÓN DE LOS RESULTADOS
Para este modelo de evaluación, la finalidad reside en determinar si se han cumplido los propósitos o metas previstas. Si no se han logrado, cabría investigar la causa para determinar el origen del fallo
MODELOS ORIENTADOS A LAS AUDIENCIAS IMPLICADAS
El criterio fundamental a la hora de estimar la calidad y rentabilidad de un programa de intervención social, es la valoración que efectúa las personas implicadas y beneficiadas con el programa.
MODELOS ENFOCADOS HACIA LAS DECISIONES
La evaluación de programas es el proceso más idóneo para recabar información relevante sobre los ámbitos del programa relativos al contexto, diseño, aplicación y resultados susceptibles de mejora.
MODELO EVALUATIVO SOBRE COSTES-RESULTADOS
Toda intervención social mediante programas involucra la utilización de recursos que en la mayoría de los casos son públicos, necesarios de contrastar desde el punto de vista: costes-beneficios, costes-efectividad
Enfoques centrados sobre el criterio de valor
Es condición de una evaluación de programas la utilización de un criterio de valor establecido previamente, para evaluar la información recogida sobre el programa. Cuando asumimos un criterio de valor, estamos tomando partido de una determinada posición teórica que nos orienta sobre la organización del proceso y sobre la valoración propiamente dicha de la evaluación de programas
Esta es la razón por la cual se usa como enfoque para clasificar los modelos desde otro punto de vista distinto a la finalidad.
MODELOS CENTRADOS SOBRE LA EFICACIA
Cuando los entes públicos entran a evaluar un programa, deben tener claro que lo que quieren evaluar es la cantidad y la calidad de los objetivos alcanzados con la aplicación del programa.
aplicar procedimientos distintos
• Evaluar el grado de consecución de los objetivos previstos.
• Evaluar los efectos colaterales del programa.
• Evaluar en forma abierta, evaluando los resultados esperados y no esperados.
MODELOS CENTRADOS SOBRE LA EFICIENCIA
A la hora de evaluar un programa puede ser que el interés esté centrado en saber cuáles son los beneficios del programa en función de los recursos empleados.
proceden mediante
• Enfoques basados en la relación costes-beneficios, donde tanto el inicio como la terminación de la aplicación de un programa se calcula en términos monetarios.
• Enfoques coste-eficiencia, donde se evalúa el inicio del programa en términos económicos y la terminación de la aplicación en función de impacto real.
MODELOS ORIENTADOS HACIA LA CALIDAD TOTAL
Dentro de este enfoque de criterios de valor podemos situar los modelos que buscan determinar la calidad del programa, donde el enfoque asumido es integral, en el sentido de abarcar todos los aspectos del programa, así como todos los implicados.
MODELOS CENTRADOS EN LOS PARTICIPANTES
El criterio para evaluar los programas, es la respuesta que ellos dan a la satisfacción de las necesidades, a las expectativas y a los intereses de las personas participantes
Son modelos descriptivos que se agrupan
• Modelos basados en los participantes a quienes va dirigido el programa.
• Modelos basados en las expectativas e intereses de los destinatarios del programa
MODELOS PROFESIONALES
Tienen su razón de ser, en la falta de concreción de los objetivos del programa, cuando no se ha pautado un proceso de evaluación desde la planificación del programa. Entonces, el evaluador es la persona encargada de fijar los criterios de valor que utilizará en la evaluación del programa.
Enfoques en función del rol que desempeña el evaluador
La acción del evaluador y el procedimiento que ha de aplicar en la evaluación de programas, constituye otro factor a tener en cuenta a la hora de clasificar los modelos de evaluación de programas
MODELOS DE EVALUACIÓN EX ANTES/EX POST
El criterio utilizado para hacer la presente clasificación de los modelos de evaluación de programas es la previsión o no del proceso de evaluación. En tal sentido, si el proceso de evaluación del programa está pautado desde la etapa inicial de planificación de la intervención, el evaluador podrá realizar el procedimiento y tomar las previsiones necesarias en dicho procedimiento de evaluación
MODELOS DE EVALUACIÓN INTERNA / EXTERNA
El evaluador con el programa? Constituye otro interrogante que determina el papel ejercido por el evaluador en la evaluación. Si el especialista se encuentra frente a una evaluación que ha sido planificada en la etapa de planificación de la intervención, su papel será más interno, orientado a evaluar el programa en función a los objetivos previstos del servicio que promueve la intervención. Si, por el contrario, el evaluador se sitúa fuera del programa y realiza una tarea más de valoración sobre las estrategias llevadas a cabo en función de las necesidades de los destinatarios, sus planteamientos sobre el proceso son distintos, y los criterios que orientan sus juicios serán más o menos objetivos, dependiendo de la condición de su papel interno o externo frente al programa objeto de evaluación.
MODELOS ORIENTADOS HACIA LA EVALUACIÓN SUMATIVA/FORMATIVA
Es la evaluación llevada a cabo durante la aplicación del programa y se usa esencialmente para
la mejora y perfeccionamiento del programa. Por otra parte, la evaluación sumativa también llamada de resultado o de impacto, se realiza al final de la aplicación de la intervención y se usa para emitir juicios sobre el programa y sobre la contabilidad y justificación del mismo. Estos modelos constituyen dos tipos de evaluación complementaria, pues un programa necesita tanto la evaluación formativa de todos los elementos que lo conforman en su elaboración, como de una evaluación de sus resultados finales.
Enfoques en función a los propósitos o funciones de la evaluación
Cuando el propósito o función de la evaluación es asistir a la toma de decisiones sobre el programa, estaremos frente a una evaluación Proactiva, y si el propósito o función de la evaluación es la contabilidad del programa, entonces la evaluación es reactiva y se usa para justificar la asignación presupuestaria.