INTRODUCCIÓN
Aguilar y Ander-Egg (1994:18), apoyados en una serie de consideraciones de diferentes autores (Stufflebeam, Pineault y Daveluy y Weiss) establecen lo que llaman una definición operativa, a saber:
La evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante, en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de sus resultados”.
Cuando ya se ha puesto en marcha un programa de intervención social puede ser necesario evaluar cómo está funcionando. Esta Evaluación puede ser global o de alguno de los aspectos puntuales que comporta el proceso de ejecución del programa y que puede ser objeto de seguimiento.
La evaluación del proceso aborda diferentes componentes relacionados con el funcionamiento del programa y con los servicios producidos. Comprende varios aspectos y dimensiones: en primer lugar, la, cobertura del programa (en qué medida alcanza a la población-objeto), los aspectos técnicos de la implementación (cómo se operacionaliza el programa), los aspectos estructurales y funcionales del organismo responsable del programa o de la prestación de los servicios y, por último, el rendimiento del personal responsable de llevar a cabo el programa.
Este trabajo tiene como finalidad dar a conocer detalles fundamentales en qué consiste, en términos generales, cada una de estas evaluaciones puntuales.
EVALUACIÓN DE LA INSTRUMENTACIÓN Y SEGUIMIENTO DEL PROGRAMA
La evaluación así entendida es una forma de investigación aplicada, por lo cual su procedimiento general se basa en los requisitos del método científico, siguiendo los lineamientos generales de la investigación científica. Se trata asimismo, de un proceso centrado en el enjuiciamiento de procesos y de resultados de lo que se ha hecho, se está realizando o se va a realizar, valorándolo y apreciándolo (cuantitativamente y/o cualitativamente). Señalan los autores que en la práctica, toda evaluación comporta el análisis de determinadas áreas de coherencia interna y otras de coherencia externa, lo cual va a depender de cada caso concreto en relación con el momento de la evaluación, es decir, si los programas se están ejecutando o si ya se han ejecutado, según las necesidades e interés del desarrollo de la investigación.
Se establecen la clasificación de los tipos de evaluación de acuerdo al criterio de los aspectos a evaluar, centrándose en una triple distinción:
- Evaluación del diseño y conceptualización del programa,
- Evaluación de la instrumentación y seguimiento del programa (evaluación de proceso) y
- Evaluación de eficacia y eficiencia del programa (evaluación de resultados o efectos).
Estos tipos de evaluación coinciden con las tres fases o momentos de la intervención social señalados por los mismos autores, es decir, antes de iniciar la ejecución del programa, durante la ejecución y al finalizar la ejecución.
La evaluación del diseño y conceptualización del programa
Para los autores este tipo de investigación evaluativa se centra básicamente en los que llaman un trabajo de gabinete ya que se juzga la pertinencia formal y potencial de un programa, teniendo en cuenta básicamente la coherencia interna entre sus distintos componentes.
Para este tipo de evaluación, toman en cuenta tres aspectos fundamentales: la evaluación del estudio-investigación, la evaluación del diagnóstico y la evaluación del diseño y concepción del programa. Señalan la importancia de que la investigación y/o el diagnóstico reflejen adecuadamente la realidad, ya que de no ser así, todo el trabajo posterior (desde el diseño hasta la ejecución) se fundamentará sobre una base falsa.Consideran que evaluar el diseño y concepción del programa es evaluar el modelo de intervención social al que se recurre para resolver determinada situación problemática. Dependiendo entonces, de cuales sean las estrategias de acción, las actividades propuestas y sobre todo, los métodos, técnicas y procedimientos que se propone en el programa utilizar, debe evidenciarse el modelo o paradigma subyacente.
La evaluación de la instrumentación y seguimiento del programa
Señalan los autores que, en algunos casos cuando un programa social se está ejecutando puede ser necesario evaluar cómo está funcionando. Este tipo de evaluación puede ser global o de alguno de sus aspectos puntuales. Los aspectos o componentes a ser evaluados, relacionados con el funcionamiento y con los servicios producidos, comprenden, en primer lugar, la cobertura del programa (en que medida alcanza a la población-objeto, si llega a la población destinataria y en qué medida se cubre el área de actuación, si tiene una cobertura efectiva), los aspectos técnicos de la implementación (cómo se operacionaliza el programa, si no está alcanzando los objetivos, resultados o efectos deseados, lo que implicaría deficiencias en la implementación, medios e instrumentos), así como: los aspectos estructurales y funcionales del organismo responsable del programa (si favorece o dificulta la marcha del programa) o de la prestación de los servicios y, por último, el rendimiento del personal responsable de llevar a cabo el programa (capacidad, competencia, habilidad del personal)” (Aguilar y Ander-Egg, 1994:39).
Evaluación de la cobertura.
Todo programa de acción social tiene unos destinatarios y pretende cubrir una determinada área de actuación. De lo que se trata es de establecer en la evaluación de la cobertura lo siguiente:
- en qué medida se llega a la población destinataria.
- la población-objeto conoce el programa: cuántos, en qué medida.
- el programa es accesible; si no lo es, qué barreras u obstáculos dificultan la accesibilidad.
- es aceptado el programa por la población.
- en qué medida se cubre el área de actuación; cuál es la cobertura efectiva.
Evaluación de la implementación.
Para llevar a cabo cualquier tipo de actividades es necesario que lo programado sea implementado. Esto significa que se hayan previsto los instrumentos necesarios para traducir operativamente lo que quería realizarse en un espacio y tiempo determinado.
A veces un programa no está alcanzando los objetivos, resultados o efectos deseados, porque hay deficiencias enla implementación, es decir, porque los instrumentos y medios utilizados no son los adecuados. Para esto hay que establecer si estos medios e instrumentos son:
- necesarios: cuando no se puede prescindir de ellos porque contribuyen significativamente al éxito del programa.
- suficientes, en el sentido de que bastan para alcanzar las metas y objetivos propuestos.
- idóneos, es decir, tienen la capacidad de cumplir con las metas establecidas (obtener resultados en cantidad y calidad dentro de los plazos propuestos).
- potentes: en cuanto tienen la capacidad de atacar la situación-problema y de sortear obstáculos y dificultades.
- eficaces, puesto que los medios utilizados son los más idóneos en relación a los objetivos y propósitos que se buscan.
Evaluación del ambiente organizacional en el que se desarrolla el programa.
De lo que se trata, es de valorar hasta qué punto la organización responsable del programa favorece o dificulta la marcha del mismo, ya sea en sus aspectos estructurales como funcionales. Este tipo de evaluación implica analizar tanto el aspecto organizativo formal como el psicosocial, a la luz de los objetivos y fines de la institución y el ambiente o contexto social en que se inserta.
Entendiendo la organización —desde una perspectiva sistémica— como un sistema abierto compuesto de cinco sub-sistemas: objetivos y valores, tecnológico, estructural, psicosocial y administrativo; la evaluación del ambiente organizacional incluiría a estos cinco sub-sistemas componentes, en su relación con el programa de intervención y el contexto o supra-sistema en que se inserta.
Evaluación del rendimiento personal.
La evaluación del rendimiento personal consiste en medir la capacidad, competencia y habilidad de un individuo para efectuar determinadas actividades y tareas que le son asignadas, como propias de su trabajo, dentro de un programa. Descrito de una manera general lo que comporta el rendimiento personal, pareciera fácilmente delimitable aquello que queremos evaluar, pero en cuanto comenzamos a desglosar los componentes y elementos observables que comportan, el problema se torna mucho mis complejo, habida cuenta de que hay muchos aspectos a considerar en lo que configura el rendimiento personal; de aquí algunos:
- las habilidades y aptitudes necesarias para la tarea;
- la actitud frente al trabajo y las motivaciones para realizarlo responsablemente;
- la capacidad de aplicar conocimientos (teóricos y prácticos) y de sistematizar la propia experiencia;
- forma y capacidad de organizar el trabajo y de solucionar los problemas concretos.
Cada uno de estos elementos refleja una parte del rendimiento total; evaluar uno solo de estos aspectos puede ser totalmente insuficiente. Hemos de decir, además, que para la evaluación del rendimiento personal, la actuación primera y básica que hay que realizar es la de identificar las actividades y áreas que hay que evaluar.
La evaluación de la eficacia (resultados) y la evaluación de eficiencia (rentabilidad).
La evaluación de eficacia también llamada de efectividad, tiene como propósito analizar en qué medida se están alcanzando los resultados previstos, aunque en algunos casos sería oportuno evaluar resultados o efectos no previstos.
Esta evaluación de resultados se establece en relación a los usuarios/beneficiarios del programa. Cuando se tiene en cuenta al conjunto de la población (de la que forma parte los destinatarios del programa) se realiza lo que se denomina evaluación de impacto.
Es importante señalar que los autores consideran que este tipo de evaluación (de resultados) tiene una importancia y centralidad indiscutible en relación con los otros aspectos de la evaluación que han venido analizando. Tanto es así, que consideran que todos los otros aspectos pueden ser interesantes y útiles para una investigación evaluativa, pero siempre en función última de los resultados. Por lo que plantean que ¿De qué vale o sirve que funcione la institución responsable del programa, si no se logran resultados esperados?, ¿de qué vale o sirve una adecuada implementación, si luego no se alcanzan los resultados previstos?, ¿de qué vale o sirve alcanzar la cobertura prevista, si no se obtiene el efecto deseado?… (Aguilar y Ander-Egg, 1994:42).
Evaluación de la eficiencia o rentabilidad económica de un programa
En algunos casos es conveniente considerar también en la evaluación, la rentabilidad política y social, sin embargo, la evaluación de eficiencia es básicamente una evaluación de rentabilidad económica.
La evaluación de eficiencia es básicamente una evaluación de rentabilidad económica (existe cambien la rentabilidad política y social) que en algunos casos conviene considerar dentro de la evaluación.
Cuando hablamos de evaluación económica, aludimos a un tipo de análisis que tiene en cuenta:
- el coste del programa en relación
- a los resultados que se han obtenido.
Los autores señalan que hay tres tipos de análisis: Costo-efectividad o costo-eficacia, costo-utilidad y costo-beneficio.
- coste-efectividad, o coste-eficacia,
- coste-utilidad,
- coste-beneficio.
MODALIDADES DE EVALUACIÓN SEGÚN EL ASPECTO DEL PROGRAMA O LA NATURALEZA DEL OBJETO DE EVALUACIÓN
| TIPOS |
|
| Momento más oportuno para realizar la evaluación. | En la fase de formulación del programa y planeamiento de la intervención. | Cuando ya se ha puesto en marcha el programa y durante su ejecución. | Cuando el programa lleva funcionando un largo tiempo y/o al terminarlo. |
Preguntas para la evaluación de la instrumentación y seguimiento del programa o evaluación del proceso
Evaluación de la cobertura
- ¿Llega el programa a la población objeto del mismo?
- ¿Llega realmente el programa al segmento o grupo de población que sí desea que sea su destinatario?
- ¿Cuál es el grado de utilización de los servicios y el perfil del usuario?
- ¿Existe infracobertura o sobrecobertura? ¿Por qué?
- ¿Existe conocimiento, accesibilidad y aceptación del programa por parte de los usuarios potenciales y reales?
- ¿Cuál es el grado de participación de la pentc en el programa?
Evaluación de la implementación y seguimiento
- ¿Si implementa el programa como estaba previsto en el diseño?
- Se están llevando a cabo los esfuerzos de intervención en la forma indicada en el diseño del programa? ¿Se realizan las actividades y áreas del modo previsto?
- Se han realizado las tareas de preparación y motivación necesarias para crear un clima favorable a la implantación del programa?
- ¿Cuál es la disponibilidad real de recursos pan la ejecución e implementación del programa?
- ¿Existe un adecuado sistema de control operacional sobre la marcha el programa?
- ¿Existe un adecuado sistema de información para el seguimiento del programa?
- Cuáles son los costos de funcionamiento del programa?
- ¿Se están utilizando adecuadamente los recursos?
- ¿Los procedimientos utilizados son acordes a los objetivos que se persiguen? ¿Facilitan la consecución de los mismos?
- ¿Los procedimientos utilizados son oportunos desde el punto de ta político, económico, social, cultural y/o institucional?
- ¿El programa tiene una coordinación adecuada dentro y fuera de la organización que lo promueve?
CONCLUSION
Como se desprende del análisis comparativo, en el enfoque manejado por Aguilar y Ander-Egg y Ballart, privan los criterios del modelo clásico de evaluación por objetivos, ya que los criterios que prevalecen se relacionan con el cumplimiento efectivo de lo programado y la racionalidad en el uso de los recursos para el cumplimiento de los objetivos y metas trazados.
A pesar de que Aguilar y Ander-Egg, a lo largo de su trabajo, destacan la importancia -como punto de partida- de la evaluación como proceso de intervención social, la separación que realizan de los momentos más adecuados para realizar la evaluación (antes, durante y después) llevan a concluir que aún cuando introducen la evaluación de ejecución del programa, la evaluación es concebida como una fase o etapa de la planificación, que se inicia y culmina en la misma etapa en la cual se está realizando, lo que conlleva a una visión parcializada y estática del proceso.
En general, este tipo de evaluación es realizada desde el Estado en las instituciones públicas, con el propósito de evaluar la cobertura de los servicios ofrecidos. Es una concepción de la evaluación que funciona como un control externo, que tiene una función penalizadota y que en la práctica tiene escasa utilización en la toma de decisiones fundamentales para la gestión de los programas.
Como consecuencia de los problemas de aplicación y de utilización de los resultados de las evaluaciones realizadas conforme al paradigma racional-científico clásico por objetivos y en función de la importancia de la dimensión política de los procesos de evaluación, surgen modelos alternativos de evaluación.
BIBLIOGRAFIA
- Aguilar, M. y Ander-egg, E. (1994). Evaluación de servicios y programas sociales. Buenos Aires, Argentina. Editorial Lumen.
- Aguilar, M. Trabajo social: concepto y metodología. Editorial Paraninfo.
- Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Madrid, España. Ministerio para las Administraciones Públicas. Serie Administración del Estado.
- González, L. (1996). La política social en Venezuela. Curso de Formación Sociopolítica. Caracas, Venezuela.
- Indriago, M. (2008) Evaluación de la Instrumentación y Seguimiento del Programa Casa del Niño Trabajador “Panchito Mandefuá”. Cumaná, Estado Sucre. http://ri.bib.udo.edu.ve/handle/123456789/230
- Kast, F. y Rosenzweig, J. (1979), Administración en las organizaciones. Un enfoque de sistemas, México, Mac Graw Hill.
- Lara, S. y Morales, V. (1998). Tesis: Metodología para la Evaluación de la Cobertura de Servicios de Salud en los Municipios Externos al Área Metropolitana de Monterrey.
- Maingón, T. (1992). La política social y el nuevo rol del Estado. Espacio abierto, Nº 3. Maracaibo, Venezuela.
- Pichardo, A. (1993). Evaluación del impacto Social. El valor de lo humano ante la crisis y el ajuste. Buenos Aires, Argentina. Editorial HVMANITAS.
Citar este texto en formato APA: _______. (2017). WEBSCOLAR. Evaluación de la instrumentación y seguimiento del programa. https://www.webscolar.com/evaluacion-de-la-instrumentacion-y-seguimiento-del-programa. Fecha de consulta: 23 de noviembre de 2024.