Las evaluaciones son apreciaciones periódicas y objetivas de un proyecto, política o programa planeado o en curso. También constituyen un proceso integral de observación, recolección, medición, análisis sistemático e interpretación de información acerca del desempeño y efectividad de un programa, así como de comunicación de información, que provee insumos para la formulación de políticas y toma de decisiones¹.

Existen distintos tipos de evaluación, cuya diferencia radica en la evaluación de los diferentes componentes del programa. Algunos evalúan el diseño, otros los resultados y algunos ambos componentes. Con la evaluación se conoce en profundidad una intervención, sea esta pública o privada, lo que permite alcanzar un juicio valorativo, basado en evidencias, respecto de su diseño, implementación, resultados e impacto. Por lo tanto, la evaluación es esencial para lograr el objetivo de formular políticas basadas en evidencia empírica.

La evaluación orienta la toma de decisiones hacia la asignación eficiente y efectiva de recursos y ayuda a identificar obstáculos.

En esta etapa también se trata el análisis de costo-efectividad, como se indicó al inicio, aunque no sea este un tipo de evaluación estrictamente hablando.

La evaluación de resultados se enfoca en los efectos brutos del programa, es decir, en la medida en que se cumplen los objetivos específicos del programa o proyecto sin descontar la influencia de factores externos a la intervención. Permite medir y hacer seguimiento de los resultados del programa, tanto de corto como de largo plazo.

En este tipo de evaluación es necesario diferenciar entre el producto o servicio entregado y los resultados.

La evaluación de resultados examina:

Para llevar a cabo una evaluación de resultados, es esencial medir los cambios percibidos por los beneficiarios y beneficiarias a lo largo del tiempo.

La medición de los resultados del programa se realiza comparando el indicador de interés antes (línea base) y después (seguimiento) de la intervención.

Para realizar la medición se recomienda:

Tampoco se puede perder de vista que los factores que pueden influir en el resultado son múltiples y complejos, se relacionan entre sí y varían constantemente. Los pasos para identificar esos factores son³:

Al evaluar los resultados es crucial considerar tanto las contribuciones generadas por la organización como aquellas surgidas de las alianzas con socios para modificar el resultado.

Las contribuciones de la organización abarcan toda la gama de actividades e iniciativas, tanto en el marco de proyectos como fuera de estos⁴. Esas contribuciones pueden establecerse mediante:

La evaluación de impacto es un tipo de evaluación que se centra en responder preguntas relacionadas con la relación causal entre un resultado y el programa o proyecto específico. Su objetivo es identificar cambios observables en el resultado de interés que puedan atribuirse de manera directa y exclusiva al programa o proyecto evaluado.

Todas las evaluaciones de impacto responden una pregunta de causa y efecto

.

Estas preguntas pueden aplicarse a cualquier ámbito, siempre que busquen evaluar el impacto de una modalidad de un programa o una innovación en su diseño, no solo el programa en sí mismo.

Algunos ejemplos de preguntas que una evaluación de impacto podría abordar incluyen:

Para responder preguntas de causa y efecto, es necesario entender el concepto de resultados potenciales o contrafactuales.

El contrafactual es el escenario hipotético que habría tenido lugar en ausencia del programa. Particularmente, para ver el efecto del tratamiento, el contrafactual de interés es el resultado observado en el escenario en el cual los participantes del programa no hubieran participado en él.

Si bien es cierto que no es posible observar un contrafactual para cada individuo, sí es posible construir contrafactuales si nuestro objetivo es analizar promedios. Más aún, por esto es por lo que cuando se habla del efecto de un programa o intervención se suele hablar del efecto promedio del tratamiento.

Usualmente, para conseguir una correspondencia entre el grupo de tratamiento (beneficiarios del programa) y el de control (no beneficiarios) se emplean modelos estadísticos que dependen del diseño del programa y del método de focalización que se llevó a cabo en este. Así, según el método de elección de los beneficiarios, los diseños de evaluación de impacto se clasifican como experimentales o no experimentales⁶.

En los diseños experimentales los individuos son asignados de manera aleatoria al grupo de tratamiento o el grupo de control. Al asignar los individuos beneficiarios del programa con este método se garantiza que estos son comparables en todas sus características observables y no observables.

Los diseños experimentales pueden asignar el tratamiento de diferentes maneras según la situación que se presente en el proyecto a evaluar, manteniendo siempre el criterio de aleatorización. Así, la aleatorización puede ser:

Los efectos de un programa con un diseño experimental pueden ser obtenidos mediante la diferencia en los promedios de los resultados del grupo de tratamiento y el de control, una vez haya transcurrido un tiempo considerable en la implementación del programa.

Los diseños no experimentales son aquellos en los cuales la asignación al tratamiento no se realiza de manera aleatoria y, por tanto, existen múltiples características observables y no observables que se relacionan con la inclusión de los individuos en el programa. Dadas estas disimilitudes, la diferencia de los resultados promedio de los dos grupos no brinda suficiente información del impacto de la intervención. Es necesario entonces emplear métodos estadísticos más robustos tales como:

Vale la pena resaltar que los dos principales factores para la elección del método no experimental son: el método de asignación al programa y la disponibilidad de la información. Por tanto, no es viable aplicar todos los métodos en cualquier situación.

Las evaluaciones de impacto pueden clasificarse como prospectivas o retrospectivas según la manera en que se midan las variables de resultado. Usualmente, las evaluaciones prospectivas son más robustas, en cuanto estas contemplan la medición de los resultados del programa desde su inicio. Las evaluaciones retrospectivas suelen realizarse cuando se tiene muy poca información sobre la implementación y diseño del programa.

No todos los programas o proyectos requieren de una evaluación de impacto. Si se lleva a cabo es porque se quiere responder a una pregunta de tipo causa-efecto que ofrezca una información específica sobre el programa o proyecto.

Hay que tener en cuenta que, sino se cuenta con información disponible, se requiere recolectar datos, y esto puede hacer que la evaluación sea muy costosa.

Si se está empezando un nuevo programa, o se piensa en expandir o innovar uno ya existente, basta con responder una serie de preguntas que ayudarán a tomar la decisión de realizar una evaluación de impacto.

El análisis de costo-efectividad es un método que se utiliza para medir la razón entre el costo monetario de un programa o intervención y los resultados que este brinda, los cuales son obtenidos durante la etapa de evaluación de impacto. De esta manera, un análisis costo-efectividad permite cuantificar la efectividad obtenida por cada unidad de costo adicional, a través de un cálculo sencillo que consiste en la agregación de los costos y beneficios totales.

Adicionalmente, es posible comparar diferentes intervenciones a través de sus análisis de costo-efectividad y con base en estos determinar el programa que se presenta como una mejor alternativa en términos financieros.

Un análisis detallado del costo del programa debería identificar:

Un análisis detallado del costo del programa debería identificar:

Nuestra perspectiva va en línea con J-PAL, en cuanto consideramos que es recomendable seguir la guía propuesta por Dhaliwal et al. (2012) con el fin de realizar el análisis costo-efectividad. Esta guía facilita la recolección de los costos desagregados del programa usando un método de ingredientes, el cual consiste enlistar los ingredientes del programa, estimar sus costos unitarios y determinar su utilización a través de la implementación de la intervención. De acuerdo con Dhaliwal et al. (2012),  los costos asociados al diseño, evaluación e investigación sobre el programa no deben ser considerados en dicho análisis⁷.

Una vez obtenidos todos los costos y efectos del programa, estos se pueden agregar con el fin de construir la razón costo-efectividad de este de la siguiente manera:

1. Gertler,P. J.,Martínez,S., Premand,P., Rawlings,L. B. y Vermeersch,C. (2011). La evaluación de impacto en la práctica. Washington D.C.: World Bank. Obtenido de: https://openknowledge.worldbank.org/entities/publication/f090e5a0-16f6-5795-a3b2-7f711c8b7eb7
2. PNUD.(2002). Informe sobre desarrollo humano 2002: Profundizar la democracia en un mundo fragmentado. Madrid/Barcelona: Mundi-Prensa Libros. Obtenido de: https://hdr.undp.org/system/files/documents/hdr2002espdf.pdf
3. Ibídem.
4. Ibídem.
5. Ibídem.
6. Morra-Imas, L.G.y Rist, R.C.(2009). El camino hacia los resultados: diseño y realización de evaluaciones eficaces para el desarrollo. Washington D.C.: WorldBank.
7. Dhaliwal, I., Duflo, E.,Glennerster, R. y Tulloch, C. (2012). Comparative Cost-Effectiveness Analysis to Inform Policy in Developing Countries: A General Framework with Applications for Education. Abdul Latif Jameel Poverty Action Lab (J-PAL), MIT. Obtenido de: https://www.povertyactionlab.org/sites/default/files/research-resources/CEA%20in%20Education%202013.01.29_0.pdf