Estudios sociológicos aplicados a la intervención social. Estudios de caso (III)

La importancia de la evaluación de programas sociales: el modelo accountability vs la evaluación de empoderamiento (empowerment evaluation).

Evaluación vs Investigación

Evaluación: valoración de elementos concretos; se valora y se analiza el funcionamiento de algo específico.

Investigación: análisis general de un contexto determinado (por ejemplo, puedo investigar una universidad mediante cuestionarios para luego evaluar resultados).

Elementos diferenciadores

  • Contexto social: puede ser un programa, plan o proyecto (un ámbito general que interesa, y que luego se concreta para su evaluación).
  • Objeto: ¿Qué y cómo investigar/evaluar? En evaluación es importante conocer el objeto de estudio de forma práctica y cercana; en investigación se puede partir de una aproximación más abierta.
  • Resultados: Generar conocimiento y/o tomar decisiones. En evaluación, generar conocimiento puede conducir a la toma de decisiones.
  • Agentes: Conocimiento previo sobre los agentes implicados. En evaluación es necesario conocer el objeto y tener un conocimiento previo; en investigación no siempre es imprescindible.
  • Términos de referencia: Vinculados a uno o varios objetivos de la evaluación. Son los elementos que consideraremos para valorar si un proyecto (tarea, programa…) está bien. Agrupan un conjunto de indicadores y criterios con los que se evaluará la adecuación del proyecto.
    • Criterios de evaluación: ejemplo: percepción, consumo, etc.
    • Indicadores: medidas más reducidas y concretas.
    • Ítems: preguntas o elementos concretos que permiten ver cambios (por ejemplo, si ha bajado el consumo).

Sentido de la evaluación

Sentido explícito / manifiesto: Evaluamos para ver cambios, para justificarnos, para mejorar, etc.

Sentido implícito / latente: Evaluamos por interés hacia algún aspecto o por razones no declaradas abiertamente.

Historia del proceso de evaluación

  • EE. UU. (década de 1960): Rand Corporation – proyectos vinculados a la II Guerra Mundial y posguerra. La evaluación se conceptualiza como mecanismo para rendir cuentas. En esta época se desarrollaron instrumentos y prácticas para valorar inversiones y programas.
  • Europa: Consolidación del Estado de bienestar y surgimiento de la Unión Europea. Aparecen marcos para evaluar políticas públicas y programas comunitarios.

Fondos de desarrollo y cohesión: En las décadas de 1980 y 1990 surgen los Fondos FEDER y otras líneas que requieren evaluaciones para justificar la financiación.

Reserva de eficacia: Concepto ligado a la asignación de recursos para fomentar determinadas políticas o intervenciones en función de objetivos de eficacia.

España: La evaluación se asocia al juicio y valoración de políticas públicas y subvenciones.

Metodología aplicada a la evaluación

Enfoques cuantitativos: trabajan con cantidades y números. Se enmarcan en tradiciones positivistas y post-positivistas: medir y observar la realidad, empleando técnicas como los cuestionarios como instrumento para la recogida de información.

Enfoques cualitativos: entrevistas, análisis de discursos, etc. Se puede analizar el discurso desde posiciones críticas, constructivistas (interpretación y construcción de significados) y pragmáticas (centradas en la práctica). La entrevista es una técnica; el guion es el instrumento. La encuesta combina técnica e instrumento y determina el tipo de muestra.

Modelos de evaluación

Modelo Tyler

El modelo de Ralph W. Tyler surge en Estados Unidos entre finales de los años 30 y principios de los 40 en el ámbito educativo, con el objetivo de analizar la efectividad de los currículos escolares y la inversión educativa.

Tyler fue pionero en evaluaciones educativas y propuso un modelo centrado en el contraste de objetivos predefinidos. La secuencia lógica que plantea puede resumirse en:

  1. Establecimiento de objetivos en función del objeto a evaluar.
  2. Jerarquización de objetivos según su importancia.
  3. Selección de técnicas de investigación.
  4. Recogida sistemática de datos.
  5. Contraste y verificación de objetivos.

Modelo Stufflebeam (Modelo CIPP)

Daniel Stufflebeam desarrolló el modelo CIPP (Context, Inputs, Process, Product), muy reconocido entre evaluadores. Surge en un periodo de crisis y reconceptualización de la evaluación, buscando superar deficiencias que impedían su uso efectivo.

  • Contexto: Analiza dónde y bajo qué condiciones se va a desarrollar la evaluación. Responde a preguntas como ¿qué necesidades existen? ¿cómo se pueden afrontar?
  • Inputs: Se refiere a la estructura intrínseca del programa y a las estrategias de planificación para la evaluación. Incide en la planificación de la intervención.
  • Proceso: Se concentra en la implementación, examinando discrepancias entre planificación y ejecución.
  • Producto: Analiza los resultados obtenidos y su concordancia con los objetivos planteados inicialmente.

Modelo Stake (enfoque cualitativo)

Robert Stake propuso un enfoque centrado en las necesidades del cliente y de carácter más cualitativo. Establece tres niveles de indagación interdependientes:

  • Base lógica: Análisis de la estructura y diseño del programa o servicio.
  • Matriz de descripción: Registro de la información referida al programa o servicio. Debe contemplar tres dimensiones: antecedentes (hechos previos), actividades (acciones en desarrollo) y resultados (consecuencias de dichas acciones).
  • Matriz de enjuiciamiento: Valorar el proceso en base a criterios de valor establecidos. Incluye normas (grado de calidad establecido por los grupos de referencia) y juicios (que examinan los datos descriptivos y elaboran un argumento crítico-constructivo).

Este planteamiento configura bloques analíticos interconectados que permiten valorar la evaluación de forma más amplia y adaptada a las necesidades de quien solicita la evaluación.

Modelo Scriven (enfoque mixto, centrado en el consumidor)

Michael Scriven propuso una evaluación centrada en las necesidades de los destinatarios finales del programa o servicio. Plantea nueve dimensiones de análisis básicas (según Stufflebeam y Shinkfield, 1987; Alvira, 1991):

  • Antecedentes, contexto, recursos y función del programa/servicio.
  • Sistema de distribución del programa/intervención.
  • Descripción de los usuarios o población objetivo.
  • Necesidades y valores de quienes se ven afectados por la intervención.
  • Existencia o no de normas/criterios previos para la evaluación.
  • Proceso de la intervención social.
  • Resultados de la intervención.
  • Costes de la intervención.
  • Comparación con programas/servicios alternativos.

Scriven desplaza el énfasis exclusivo en la medición de objetivos finales hacia la consideración del contexto y de los destinatarios, que son quienes finalmente experimentan los efectos del programa y de la propia evaluación.

Modelo Patton (Evaluación orientada al uso)

Michael Patton, con una orientación más profesional que puramente académica, subraya la importancia de la validez y del uso de la evaluación, considerando el eje participativo como motor del modelo. Entre sus directrices principales (Bustelo, 2001) destacan:

  • La preocupación por la utilidad debe guiar la evaluación.
  • Esta preocupación ha de ser continua y obligar a dar respuestas desde el inicio.
  • El factor personal (intereses y compromisos) influye en el uso de la evaluación.
  • Es necesario identificar a los agentes críticos y a los usuarios principales mediante un análisis cuidadoso.
  • Las evaluaciones útiles deben diseñarse y adaptarse a cada situación; las recetas estandarizadas no siempre funcionan.
  • Los evaluadores deben aumentar su credibilidad siendo activos y reactivos.

El objetivo es reducir la brecha entre los resultados de la evaluación y su utilización práctica, ayudando a responsables de programas a formular preguntas útiles para resolver problemas y mejorar sus intervenciones. La idea no es la estandarización, sino la adaptación a las peculiaridades de cada proceso para configurar una herramienta práctica y perdurable (UNICEF, 1998).

Tipos de evaluación

  • Evaluación externa: realizada por evaluadores ajenos a la institución que desarrolla el programa o proyecto.
  • Evaluación interna: llevada a cabo por personas vinculadas institucionalmente al objeto a evaluar, pero que no ejecutan el programa.
  • Evaluación mixta: realizada por personal externo y personal interno coordinados; es un híbrido de las dos anteriores.
  • Autoevaluación: desarrollada por los propios ejecutores del programa. Puede ser individual o colectiva y su objetivo es valorar el logro de actuaciones y metas previstas.

Concepto de evaluación del empoderamiento

Evaluación del empoderamiento: Uso de conceptos, técnicas y hallazgos que permiten la mejora y la autodeterminación (Fetterman, 2001:3). Este enfoque suele integrar la participación activa de los agentes implicados para que la evaluación contribuya al fortalecimiento de capacidades y al control sobre las decisiones que les afectan.

Referencias citadas: Alvira (1991); Bustelo (2001); Stufflebeam y Shinkfield (1987); UNICEF (1998); Fetterman (2001).