domingo, 14 de diciembre de 2014

Marco normativo para la evaluación de programas

La institucionalización de la evaluación de programas fortalece el ejercicio de la evaluación de manera formal, por lo que se facilita el traducir la información generada en modificaciones a los programas.

En México, la Ley General de Desarrollo Social (LGDS) establece los mecanismos de evaluación y seguimiento de los programas y acciones de la Política Nacional de Desarrollo Social, y principalmente el CONEVAL es el órgano encargado de promover estas mejoras en la política social. 

Algunas de las similitudes entre la 3ie y la estructura institucional de evaluación en México es que ambas resaltan la importancia de realizar acciones de evaluación de manera periódica y sientan las bases para la intervención de cada uno de los actores en su nivel de competencia, por ejemplo en México a partir del Reglamento de la LGDS y la LFPRH. 

Independientemente de quién realice las evaluaciones las garantías de transparencia, imparcialidad y participación social  deben prevalecer para robustecer la cultura de la evaluación.
Planteamiento de plan de evaluación integral parte I

Programa Atención a menores de 6 años en riesgo, no escolarizados

Problema o necesidad que busca atender el programa

Actualmente se reconoce la ventana de oportunidad que existe desde la gestación hasta los 24 meses de edad, y su importancia en el desarrollo, crecimiento y estado de salud presente y futuro de las personas[i]. Si bien se debe evitar el impacto negativo de una mala alimentación en cualquier etapa de la vida[ii], es primordial poner atención a este período.
Desafortunadamente en México es en los primeros años de vida cuando existe la mayor prevalencia de desnutrición crónica y anemia. Es por ello que este programa centra a este grupo de edad como población objetivo.
De acuerdo a lo planteado en sus reglas de operación, el programa pretende intervenir en la población objetivo para dotarles de alimentos de buena calidad y promover buenos hábitos de alimentación.
A continuación se presenta un extracto de sus reglas de operación vigentes:

Introducción
“Una mala alimentación (ya sea por exceso o por deficiencias en el consumo), tiene un impacto negativo en la salud del individuo en cualquier etapa de la vida. En México, es en el grupo de menores de 6 años en el que se observan las mayores prevalencias de desnutrición crónica (12.7%) y anemia (23.7%), que además de afectar el desarrollo cognitivo de los niños e incrementar el riesgo de padecer infecciones, a la larga también aumentan el riesgo de desarrollar sobrepeso y obesidad. Las intervenciones para combatir estas problemáticas pueden abordarse desde un enfoque de promoción de buenos hábitos de alimentación, ya que el consumo de una dieta correcta es indispensable para satisfacer las necesidades nutrimentales que se requieren para el crecimiento y el desarrollo propios de esta etapa.
Dentro de este grupo de edad, es entre los niños de cero a veinticuatro meses de edad, en donde se encuentra la ventana de oportunidad para lograr una mayor efectividad en las acciones e intervenciones para corregir problemas de desnutrición y/o deficiencias nutrimentales. Después de esta edad, las acciones que se tomen para corregir este tipo de condiciones no podrán revertir las afecciones en la talla de los niños ni en su desarrollo intelectual.
Es también en estos años en los que se desarrollan y afianzan las preferencias alimentarias, por lo que la generación de buenos hábitos tenderá a promover una buena alimentación durante el resto de la vida del individuo. Por ello es importante que durante la ablactación, el menor sea expuesto a una amplia variedad de alimentos, lo cual favorecerá el consumo de una mejor dieta.
El Programa de Atención a Menores de 6 Años, En Riesgo, No Escolarizados, operado por el Sistema Estatal DIF, está centrado en contribuir al desarrollo de buenos hábitos de alimentación en niños y niñas cuyas condiciones de vulnerabilidad los predisponen a desarrollar desnutrición y/o deficiencias alimentarias, a través de la entrega de una dotación o una ración alimentaria, mismas que deberán cumplir con los Criterios de Calidad Nutricia, los cuales están basados en la integración de alimentos con alta densidad nutrimental, que deberán ser culturalmente aceptados, en combinación con acciones de orientación alimentaria”.

Fuente: Reglas de Operación 2014 del Sistema Estatal para el Desarrollo Integral de la Familia Zacatecas

 

Análisis del diagnóstico situacional sobre las condiciones sociales o de salud de la población objetivo para la que se haya establecido el Programa

De acuerdo al informe de la ENSANUT 2012 poco más de la mitad de la población del estado de Zacatecas se concentra en los dos primeros quintiles de nivel socioeconómico. Aunado a ello el 48.1% de la población de Zacatecas presenta pobreza multidimensional, y en la entidad se observa una pirámide poblacional con presencia dominante de personas entre cero y 20 años de edad[iii].
Los datos reportados en la ENSANUT 2012 identificaron en la población menor de 5 años un 12.8% de talla baja, 2.9% bajo peso y 2.5% emaciación. En contraparte, la prevalencia de sobrepeso y obesidad en este grupo de edad fue de 13.3%. Si se realiza un acercamiento a estos indicadores en áreas rurales y urbanas se puede observar que los problemas de baja talla, bajo peso y emaciación, son más prevalentes en la zona urbana y los casos de sobrepeso y obesidad se presentan más frecuentemente en la zona rural.
Según lo descrito, la desnutrición crónica continúa siendo un problema de salud pública en Zacatecas, sin embargo resalta el panorama de doble carga de la malnutrición. Es por ello que el programa Atención a menores de 6 años en riesgo, no escolarizados pretende atender a este grupo de población, en aras de contribuir a la seguridad alimentaria a través de apoyos alimentarios de calidad y acciones de orientación alimentaria que les permitan acceder a una mejor alimentación y la creación de hábitos saludables que promuevan un mejor crecimiento y desarrollo, y prevengan enfermedades en el presente y futuro.
Con respecto a la seguridad alimentaria, también la ENSANUT 2012 reporta que en Zacatecas los hogares destinan 53.1% de su gasto a la compra de alimentos, y es por eso  que en este programa, la asistencia alimentaria como tal pretende contribuir al acceso de alimentos de buena calidad, una de las dimensiones de la seguridad/inseguridad alimentaria. Por su parte,  las acciones de orientación alimentaria debieran dirigirse a promover una alimentación correcta.
Otra de las razones que sustentan la existencia de este programa es la inclusión de la salud de los niños como uno de los objetivos del Plan Nacional de Desarrollo 2012. Y por último, el considerar que como sostiene James J. Heckman, se ha identificado un mayor rendimiento de inversión en capital humano en preescolares; por lo que de invertir en su mejor estado de salud y desarrollo, se pueden esperar condiciones favorables más allá de las que pueden derivar de programas enfocados en otros grupos de población.

Descripción del programa y sus antecedentes

Fuente: Reglas de Operación 2014 del Sistema Estatal para el Desarrollo Integral de la Familia Zacatecas

a) Objetivo General
Contribuir a la seguridad alimentaria de los menores de seis años que se encuentran en condiciones de riesgo y vulnerabilidad, mediante la entrega de apoyos alimentarios adecuados a su edad y brindando Orientación Alimentaria a sus padres.

b) Objetivos Específicos
·         Contribuir a mejorar el estado nutricional de los menores de 6 años.
·         Generar en los primeros años de vida buenos hábitos para promover una sana alimentación durante el resto de la vida del individuo.
·         Promover hábitos de higiene, salud y rescate de la cultura alimentaria.

c) Alineación de Objetivos con el Plan Estatal de Desarrollo (PED):
Eje 5 Zacatecas Justo
Línea Estratégica. 5.1 Abatimiento de la Pobreza y Marginación                                                             Estrategia. 5.1.1 Erradicaremos la pobreza extrema y el hambre

La meta que se plantea el programa es que un porcentaje de los menores de 6 años que se encuentran en situación de riesgo o vulnerabilidad, reciba el apoyo alimentario. Esta meta es recalculada anualmente por el Sistema Estatal DIF Zacatecas (SEDIF), ya que en el estado el fenómeno migratorio es muy frecuente.

Como antecedente de este programa se encuentra el programa de Alimentación y nutrición familiar a nivel federal, que data de 1995 cuando se coordinaron instituciones como las Secretarías de Salud, Educación Pública, Desarrollo Social, Agricultura, Ganadería y Desarrollo Rural, el DIF y el Instituto Mexicano del Seguro Social, con el objetivo de  mejorar la nutrición y la salud de los miembros más vulnerables de la familia.
Más adelante, en 2003 el Sistema Nacional DIF (SNDIF) en común acuerdo con los Sistemas Estatales DIF e integrantes de diversas instituciones académicas, sienta las bases de la Estrategia Integral de Asistencia Social Alimentaria y surge como tal el programa dirigido a menores de 5 años en riesgo no escolarizados, sin embargo es hasta 2008 que DIF Zacatecas comienza a operar el programa y lo acota a menores de seis años.

d) Principales componentes del programa: el apoyo alimentario en forma de una dotación mensual de alimentos y acciones de orientación alimentaria que se traducen en pláticas o talleres.
e) Composición de la dotación mensual:

Insumos
Frijol claro
1 bolsa de 1kg
Leche descremada en polvo
2 bolsas de 240g
Avena precocida en hojuelas
1 bolsa de 400g
Sopa de pasta integral
2 bolsas de 200g
Arroz pulido tipo Morelos
1 bolsa de 1kg



f) Principales actores del programa:
-       La Dirección de Alimentación y Desarrollo Comunitario del SEDIF promueve, planea, administra, opera, da seguimiento y comprueba los recursos asignados al programa. Al mismo tiempo, existe una vinculación con los Sistemas Municipales DIF y Secretaría de Salud para la ejecución del programa.
-       La Dirección Jurídica del SEDIF realiza la parte normativa.
-       La Secretaría de la Función Pública del Gobierno del Estado y la Auditoría Superior Estatal realizan la supervisión, verificación y control de ciertos aspectos del programa.  

g) Alcance geográfico del programa:
58 municipios del estado brindando especial atención a las comunidades de alta y muy alta marginación.

h) El período de duración del programa: desde la incorporación al mismo hasta que e beneficiario tiene 5 años 11 meses de edad.

Revisión de estudios y evaluaciones ya realizadas del programa

A nivel estatal no se han hecho evaluaciones del programa en general, sin embargo existe una evaluación del programa equivalente en el Estado de Puebla. Esta evaluación fue realizada por el Programa de las Naciones Unidas para el Desarrollo y destaca quien destacó  “más de 35 mil niños, entre 1 a 3 años, a través del programa “Iniciando una Correcta Nutrición”, mejoraron su desarrollo físico y cognitivo”. 

Preguntas de evaluación

El abordaje integral de este plan de evaluación comprenderá desde la correcta identificación del problema, las acciones que el programa planea para intervenir en él y su pertinencia. Más adelante, la etapa de evaluación de diseño, corresponderá a la validación de la formulación del programa con base en la teoría. En la parte de la evaluación de la focalización se identificará el mecanismo de selección de beneficiarios y la cobertura alcanzada con respecto a la población potencial del programa. En seguida se planea la verificación del funcionamiento del programa con base en sus procesos clave y los resultados que se logran como parte de la evaluación de procesos y resultados respectivamente. Una vez identificados los resultados que derivan de la implementación del programa se abordará la efectividad que el programa tiene a partir de la evaluación de impacto y por último, la evaluación económica debe dar cuenta de la eficiencia en el uso de los recursos.
El tipo de preguntas a realizar en cada etapa son[iv]:
Diagnóstico: ¿se ha identificado correctamente al problema? ¿Existen causas evidentes del mismo? ¿Los medios del programa tienen validez?  Estas preguntas permitirán identificar la validación del programa y los mecanismos de intervención que plantea el programa.
Evaluación de diseño: ¿por qué dirigirlo a menores de 6 años y no a menores de 5 años? ¿Existe congruencia entre el fin, propósito, componentes, actividades y supuesto del programa identificado? ¿La población objetivo está identificada correctamente?  Estas preguntas representan los argumentos para la planeación del programa.
Evaluación de focalización y cobertura: ¿cuál es la metodología de focalización utilizada en el programa? ¿Esta metodología permite en realidad identificar a la población objetivo? ¿Cuál es la meta de cobertura planteada por el programa para este período? ¿Con la metodología propuesta se alcanza la cobertura esperada? ¿La distribución de la cobertura en áreas rurales y urbanas es congruente con la prevalencia de malnutrición en cada una? Estas preguntas permitirán identificar la congruencia entre los mecanismos de identificación de la población objetivo que presenta el problema y la población realmente beneficiada. Asimismo se puede conocer la fuga y sub-cobertura del programa.
Evaluación de la implementación y operación de los procesos: ¿las actividades planificadas se llevan a la práctica de manera cotidiana? ¿Existen mecanismos de identificación de las desviaciones entre lo planeado y lo realizado? ¿Qué medidas se toman en caso de que existan estas variaciones? ¿Cuál es el flujo normal de información entre operadores y coordinadores? ¿Los procesos obedecen a la normatividad aplicable? Estas preguntas permitirán identificar en qué medida lo realizado se apega a lo planeado y qué se puede hacer para mejorarlo.
Evaluación de impacto: ¿qué efectos tiene el programa en la población objetivo? ¿Cuáles son los efectos del programa más allá de la población objetivo? ¿Son positivos o negativos? Estas preguntas nos permitirán identificar la efectividad del programa.
Evaluación económica: ¿el costo del programa corresponde al presupuesto? ¿Es posible un mayor nivel de calidad en el servicio y productos otorgados con el programa considerando los recursos disponibles? ¿Cuál sería un paquete de intervenciones costo-efectivo para los objetivos planteados en este programa? Estas preguntas nos darán a conocer la relación entre los resultados alcanzados con ese programa, utilizando los recursos disponibles y otras intervenciones equivalentes que pudieran ser costo-efectivas.


[i] Consejo Nacional de Evaluación de la Política y Desarrollo Social. “Informe de evolución histórica de la situación de la población y los programas de alimentación, nutrición y abasto en México.” En Dimensiones de la Seguridad Alimentaria: Evaluación estratégica de nutrición y abasto. México: Consejo Nacional de Evaluación de la Política y Desarrollo Social (CONEVAL), 2010.
[ii] Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO). Nutrición humana del mundo en desarrollo, marco de referencias sobre las causas de mala nutrición. 2005.
[iii] INEGI, Censo de población 2010.
[iv] Esquema de las fases de evaluación integral.  INSP. Evaluación integral de programas de salud y sociales: evidencia orientada a la equidad social.

lunes, 8 de diciembre de 2014

Ventajas y desventajas del uso de métodos cualitativos y cuantitativos en la evaluación de impacto


Hola de nuevo, el presente post es para compartirles de manera puntual algunas de las ventajas y desventajas de aplicar métodos cualitativos y cuantitativos de manera aislada para realizar una evaluación de impacto de programas o políticas públicas. La información es tomada de la presentación de Gabriela Vázquez Cermeño durante el XIV Encuentro Nacional de Alimentación y Desarrollo Comunitario de DIF Nacional, realizado la última semana de noviembre de 2014. 

De acuerdo a los recursos revisados durante el curso, en la evaluación de impacto, considerada dentro del esquema de evaluación integral es importante considerar modelos mixtos, es decir que integren evaluaciones de tipo cualitativo y cuantitativo, 
          
           ¿por qué? 

Porque cuando se consideran únicamente métodos cuantitativos, si bien se pueden probar hipótesis midiendo y analizando de manera estadística la información derivada de diseños experimentales o cuasi-experimentales, no se toma en cuenta el contexto específico de la población en cuestión y se requiere de una muestra más grande que abone a la representatividad y capacidad de generalización del análisis.
Por otra parte si solo se utilizan métodos cualitativos se puede contar con información particular del contexto de la población objetivo y es más flexible que la aplicación de modelos experimentales o cuasi-experimentales; sin embargo requiere de más tiempo la obtención de la información y existe un mayor riesgo de contar con sesgos. 

Es por ello que el uso de métodos mixtos nos permite equilibrar las ventajas y desventajas de cada uno de estos métodos y potenciar sus resultados de acuerdo a la situación y momento político en que se realiza cada evaluación, tal y como refiero en el post anterior.

¡Espero les sea de utilidad!




domingo, 7 de diciembre de 2014


La pertinencia de la evaluación integral 

La evaluación integral es un tipo de evaluación que contempla todas las etapas de la formulación e implementación de un programa o política pública. Lo cual indudablemente presenta ventajas y genera (o debiera generar) información que permita mejoras en el mismo. Tal y como se muestra en el diagrama de evaluación integral del primer post de este blog (Evaluación: ¿indispensable en los programas y políticas públicas?). 

Sin embargo es indispensable considerar que en el ámbito de políticas públicas siempre entran en juego variables como los limitados recursos disponibles y las múltiples necesidades a atender. Es por ello que uno de los retos de las políticas públicas es precisamente la parte política y el tratar de mantener el equilibrio entre la urgencia con que en el quehacer cotidiano de los actores políticos deben tomar decisiones, la necesidad de fundamentar dichas decisiones, la calidad de sus argumentos, y los costos que ello implica.
  
En este sentido es crucial priorizar y analizar la pertinencia de una evaluación integral que permita mejorar las acciones planeadas, respondiendo en el tiempo necesario y con calidad a un problema de la sociedad.


domingo, 30 de noviembre de 2014

Mecanismos para MEDIR el DESEMPEÑO

La medición del desempeño de programas y políticas debe ser un proceso sistemático y periódico que contribuya a mejorar los resultados que se derivan de los programas y políticas, a través de:
- Aumentar la efectividad de las acciones implementadas
- Incrementar la calidad de los servicios públicos
- Comparar con lo deseado en términos de resultados


Todo ello permite, como dice la Dra. Claudia Maldonado del Clear/ CIDE, identificar si vamos en el camino correcto hacia el logro de los objetivos esperados

Si bien los Sistemas de Evaluación de Desempeño (SED) se desarrollan de manera particular a cada programa o política a evaluar, para su instrumentación todos deben contar con tres fases: 
1. Descripción.- en la cual se conocen de manera clara desde la misión, visión, objetivos, estrategias hasta los pormenores del programa o política en cuestión; de manera que se pueda analizar su congruencia y plantear los indicadores específicos a utilizar.
2. Medición.- en la que se aplican las variables e indicadores que dan cuenta del programa o política en cuestión, y se recolecta la información.
3. Desarrollo.- en la cual se pretende contrastar la información resultante de la medición con las metas planteadas.


Estos elementos de planeación estratégica deben contar con un sistema de información que capte y concentre la información necesaria para el cálculo de los indicadores de manera continua.

A continuación se presenta un cuadro en el que se plantean las diferentes variables medidas en dos mecanismos de evaluación de desempeño: el Sistema de Evaluación de Desempeño (SED) y el Modelo Sintético de Información de Desempeño (MSD) utilizado por la Secretaría de Hacienda y Crédito Público (SHCP) para los programas presupuestarios durante la presente administración:


SED
MSD

Variables que consideran
·         Indicadores anuales de productos
·         Indicadores de resultads de programas
·         Indicadores de resultados estratégicos
·         Indicadores de impacto
·         Indicadores de gestión
·         Integración entre planeación y presupuestación
·         Ejercicio del gasto (PEF)
·         Matriz de Indicadores de Resultados (MIR)
·         Evaluaciones externas del Programa Anual de Evaluación (PAE)
·         Aspectos Suceptibles de Mejora (ASM)
·         Padrones de beneficiarios incorporados al Sistema Integral de Información de Padrones de Programas Gubernamentales (SIIPP-G)

Al final de cuentas, lo importante es contar con elementos de planeación estratégica que permita mejorar los procesos de decisión a partir de la generación de un sistema de información que acompañe el monitoreo de los programas y políticas.


lunes, 24 de noviembre de 2014

Presupuesto basado en resultados y su papel en la gestión pública

La evaluación es indispensable en los mecanismos de financiamiento basados en resultados. Una vez que se cuenta con argumentos y posturas bien definidas, se puede tomar decisiones respecto al presupuesto que se asignará a los diferentes ramos de la administración pública.

Una de las barreras a las que se enfrenta esta distribución es el manejo político y la atención histórica de estas poblaciones, es por ello que cada día cobra más importancia el contar con herramientas suficientes para redistribuir los recursos con base en el desempeño de los diferentes actores y programas sociales.

En la medida en que estos mecanismos de financiamiento respondan a la mayor eficacia y eficiencia de los programas y políticas públicas, contaremos con estándares objetivos y transparentes de distribución de los recursos y probablemente, un mayor impacto en la población atendida. 

 

sábado, 15 de noviembre de 2014

Evaluación: ¿indispensable en los programas y políticas públicas?

Sin duda la respuesta ideal es afirmativa, sin embargo en la práctica no sucede con frecuencia.

               … ¿Por qué?

Son muchas las posibles respuestas, hoy comenzaré este blog mencionando algunas de estas barreras: 

En México existen programas o políticas cuyo origen se remonta a mediados del siglo pasado, los cuales sin duda surgieron tratando de atender alguna situación apremiante en la población y fueron diseñados en un contexto específico diferente al México de hoy. Mas no por ser del siglo pasado, literalmente, son demeritables, sin embargo es evidente la falta de visión en evaluación desde su diseño.

Otra de las razones que me parece desafortunada es la visión a corto plazo de algunos tomadores de decisiones y, como se menciona en la presentación del Dr. Juan Pablo Gutiérrez, la resistencia a romper el statu quo en que se encuentran. Asimismo, el desconocimiento o ceguera selectiva de las ventajas que puede traer una evaluación integral de los programas que se encuentran a su cargo. A continuación presento una lista de algunas bondades de la evaluación de acuerdo al Esquema de evaluación integral (hacer clic en la imagen para agrandar):
Fig 1-1. Lista de beneficios de la evaluación integral de programas y políticas.

Otra de las dificultades comunes es que a pesar de que en México se produce mucha información, no siempre es válida o útil. En parte, se observan esfuerzos aislados y con visión de muy corto plazo, argumentando la falta de recursos; sin embargo cuando se visualiza la situación a mayor escala se puede identificar la duplicidad de esfuerzos y por ende un gran desperdicio de recursos. ¿Por qué no comunicarnos y organizarnos mejor y destinarlos a las áreas de oportunidad de nuestros programas? ¿Por qué no evaluar para identificar esas áreas de oportunidad?
La necesidad de hacer evaluaciones de calidad, confiables y honestas, y de compartir la información es cada día más urgente. La ausencia de ello en el siglo XXI, para mí representa una falta de responsabilidad social, ética e institucionalidad.
¿Por qué si necesitamos esa información no la generamos? ¿cuándo saldremos de este círculo vicioso?

¿Te has enfrentado a alguna de estas barreras que impiden realizar una evaluación integral de programas o peor aún de políticas públicas?