Introducción

La política social puede entenderse como el conjunto de acciones implementadas por el Estado que tienen como objetivo central la atención de los sectores educación, salud, alimentación, la creación de la infraestructura básica, empleo así como la búsqueda de la no discriminación en la convivencia de todos y cada uno de los segmentos poblacionales de la sociedad, lo que contribuirá en la construcción de una sociedad más equitativa y justa, donde todos los ciudadanos cuenten con igualdad de oportunidades; lo anterior con la finalidad de reducir y eliminar los desequilibrios generados por las distorsiones que el mercado produce al no garantizar una justa distribución de la riqueza, así como de las oportunidades para toda la población en su conjunto, lo que ha provocado entre otras cosas crisis recurrentes causadas por tales condiciones que afectan directamente el bienestar de la mayoría de la población. En este sentido, Herrera y Caston (2003) definen a la política social como el conjunto de las intervenciones públicas del Estado encaminadas a asegurar a los ciudadanos una serie de derechos sociales.

Ante tal coyuntura, los gobiernos de distintos países han diseñado e implementado modelos de intervención con resultados variados, los que regularmente se han derivado de ejercicios previos de planeación, programación, presupuestación e implementación de las acciones a escala macro social. Lo anterior ha generado la necesidad de evaluar, como una de las partes del proceso de planificación, cuyas acciones que el gobierno implementa deben ser calificadas de una manera clara y objetiva, dichas intervenciones deben ser sometidas a esta práctica como una etapa de un proceso general más amplio, que tiene que ver con la planeación, presupuestación e implementación de las actividades públicas, las cuales requieren de ajustes en caso de presentarse alguna desviación a los objetivos o metas señaladas en el plan o programa previamente diseñado.

Por tal motivo, la evaluación como una etapa del proceso de planeación, implica hacerse llegar información sobre el diseño, gestión, implementación y resultados de un programa como de una política pública, por lo que evaluar implica conocer el efecto de la política pública sobre quienes recae la acción de gobierno. En la actualidad, existe una experiencia significativa en cuanto a la evolución del proceso evaluativo de la política pública y particularmente en la política social.

Derivado de lo anterior, en México desde hace algunas décadas se dieron los primeros pasos en la evaluación de la política social, cuya experiencia ha generado cambios tanto en el ejercicio mismo de evaluación, como en los actores involucrados en llevarla a cabo. En una primera etapa, los primeros ejercicios o evaluaciones fueron atendidos por los funcionarios públicos quienes eran los encargados de diseñar e implementar las acciones derivadas de los programas a evaluar, a través de métodos y técnicas poco fiables y con el sesgo que impone el ser juez y parte a la vez; los resultados derivados de estas primeras prácticas consideraron a la evaluación como parte de un proceso donde el mismo diseñador del plan, programa o proyecto, así como el operador del mismo, eran los encargados de la evaluación respectiva. En una segunda etapa, vinieron las evaluaciones externas, realizadas por académicos o consultores, las cuales buscaron ser más objetivas e imparciales, al ser personas distintas a los que trabajaban en los programas; en ellas han utilizado diversas metodologías y técnicas con mayor rigor científico, para conocer los efectos, impactos y evolución de los programas que el gobierno federal ha implementado en los grupos de mayor vulnerabilidad del país.

Derivado de lo anterior, desde finales de la década de los años noventa del siglo pasado, se realizaron las primeras evaluaciones al entonces programa PROGRESA (IFPRI, 2002; Wodon, et, al. 2003 citados en Acosta, 2011), en este ejercicio el Estado se convirtió en uno de los primeros implementadores de las metodologías de evaluación de los programas diseñados por el mismo, posteriormente aparecieron otros actores como evaluadores, tales como consultoras externas o bien instituciones autónomas, principalmente académicas.

En este sentido, las metodologías y sus técnicas respectivas se han orientado a los objetivos de la evaluación de cada evento o programa previamente diseñado, por lo que han ido cambiando conforme se ha modificado el interés del gobierno por conocer de su evolución e implementación, para así contar con información de calidad, cuya objetividad, les permita dimensionar tanto la función pública como los cambios que ésta genera en la comunidad donde se aplican las acciones derivadas de la intervención. Por lo anterior se puede decir que las evaluaciones se han hecho importantes no solo por cuestiones de tipo operativo, sino porque a través de ellas se conoce si la política social es eficiente, eficaz, congruente y pertinente con los objetivos de los planes, programas y proyectos diseñadas de acuerdo a las condiciones reales de los ámbitos, contextos, espacios o grupos a quienes va dirigida la acción gubernamental.

Para reforzar lo anterior, el nuevo marco jurídico regulatorio plasmado en la Ley General de Desarrollo Social de México, publicada en enero de 2004, establece en su Título Quinto, capítulos I y II del artículo 72 al 85, que la evaluación de la Política de Desarrollo Social en México estará a cargo del Consejo Nacional de Evaluación de la Política de Desarrollo Social en México (CONEVAL) y podrá realizarla por sí mismo o a través de uno o varios organismos independientes del ejecutor del programa. Las evaluaciones tienen como finalidad revisar periódicamente el cumplimiento del objetivo social de los programas, metas y acciones de la política de desarrollo social, para corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos total o parcialmente según sea el caso; asimismo exige, entre otros aspectos, la participación de las entidades gubernamentales tanto municipales, estatales, como federales el evaluar sus propias acciones.

Desde el año 2006 entró en funciones el (CONEVAL), con el propósito de normar y coordinar las evaluaciones de las políticas y programas de desarrollo social. Hasta el momento, las evaluaciones han sido de consistencia y resultados; complementarias; de diagnóstico; de diseño; específica de desempeño; de impacto; de procesos; de estrategia e integrales. Todos los programas de desarrollo ofrecidos por el Gobierno Federal de México han sido evaluados, en distintos rubros, en cuanto a las evaluaciones de satisfacción, éstas no han sido del todo implementadas en los programas sociales. En el caso del FONART, éste ha sido evaluado desde el año 2008 en diversos rubros y componentes del mismo.

Revisión de la literatura

A pesar de la importancia que tienen las evaluaciones implementadas en los programas sociales del Gobierno Federal Mexicano, las cuales son publicadas desde 2007 por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (2015; 2017), la mayoría se han centrado en verificar si los programas han cumplido con los objetivos generales y específicos para los cuales fueron diseñados. Las evaluaciones que se han desarrollado y que predominaron durante esta década, han sido de consistencia y resultados, diagnóstico, diseño, específica de desempeño, estratégica, ficha de monitoreo, integral y procesos. A través de los resultados de este tipo de evaluaciones, se ha justificado que los recursos presupuestales asignados a estos programas muestran un “aparente” buen ejercicio de gobierno.

Lo anterior ha limitado el espectro a evaluar, centrando el ejercicio de análisis en las metas a corto plazo e indicadores diversos. Por ese motivo, se han considerado nuevos actores como los beneficiarios de los programas sociales y factores de análisis como la satisfacción, como ejes centrales del ejercicio evaluativo, que no solo se limitan a los objetivos y metas del programa, sino también a la percepción de parte de los beneficiarios quienes reciben directamente la acción del gobierno, a fin de contar con mayor información sobre si se han cubierto o no las necesidades que motivaron la intervención gubernamental.

En el trabajo de Rodríguez, et. al. (2014), expone la importancia que representa en la evaluación tomar en consideración la perspectiva del ciudadano sobre la calidad de los servicios y programas públicos que brinda el Estado, estableciendo como una medida adecuada a la satisfacción del mismo. Sin embargo, como lo señala García-Pérez (2013). desde la perspectiva teórica y práctica, la evaluación a partir de la percepción del usuario dimensionada a través de la satisfacción está limitada por la falta de un consenso en la conceptualización y en su medición.

La construcción y medición de modelos que parte de la concepción de la satisfacción tiene sus orígenes en el ámbito de la mercadotecnia, los cuales se construyeron en formas de índices de satisfacción del cliente como el Barómetro Suizo o el índice americano y posteriormente el índice europeo (Fornell, Johnson, Anderson, Cha, Everitt, 1996). Posteriormente su utilización se ha trasladado para medir la satisfacción en campos educativos, de salud, organizaciones civiles, y en el ámbito público para conocer la percepción del ciudadano sobre la calidad de los mismo (García-Pérez, 2013; Paredes, et. al, 2009; Quevedo-Blasco, et. al, 2015; Rodríguez, et. al, 2014; Saturno-Hernández, et. al.,2016).

En el caso de las evaluaciones de satisfacción de programas públicos, específicamente los relacionados con los beneficiarios de los programas sociales, tanto a nivel internacional como nacional no existe una experiencia significativa, ya que como se mencionó, los estudios de satisfacción, originalmente fueron tomados del ámbito de la mercadotecnia y la economía en cuanto a la evaluación de la satisfacción del cliente (Day y Hunt 1983; Hunt y Day, 1985; Yi, 1989).

Estos modelos pioneros en el ámbito del mercado para medir la satisfacción y que han sido cada vez más recurrentes para evaluar la política pública, consideran de manera conjunta, a la expectativa como unos de los determinantes más relevantes en la construcción de la satisfacción de los individuos. Aunque también otros determinantes se han incorporado en su análisis como son la imagen del producto, la expectativa, la calidad, el valor percibido por el cliente, quejas y confianza.

En el caso de México, para estimar la satisfacción de los beneficiarios de los programas sociales, se consideró algunos puntos medulares que se contraponen entre una visión comercial-marketing y una visión de política pública, entre los que destacan los siguientes: i) lo que busca un empresario al conocer la satisfacción del cliente, es que éste permanezca leal a la marca o al producto, en el caso de los beneficiarios sociales lo que se busca es lo contrario, que éstos dejen su condición de pobres y por tanto su condición de beneficiario; ii) en una economía de libre competencia, el consumidor puede cambiar de producto a su conveniencia, con un programa social el gobierno regularmente es el único proveedor, por tanto el beneficiario no puede ejercer su libertad a elegir otro proveedor. Bajo las anteriores premisas se diseña el Índice Mexicano de Satisfacción de Beneficiarios (IMSAB) (Rodríguez, et. al. 2012).

Lo anterior cobra sentido porque, al ser ciudadanos, los beneficiarios de cualquier programa social se deben convertir en los principales sujetos a evaluar, planteándoles la pregunta ¿Qué tan satisfechos están de la acción o producto que reciben por parte del gobierno?, y con ello identificar si éste entiende y atiende sus necesidades y prioridades, o bien si está consciente de las distorsiones generadas por el mercado y actúa en consecuencia. Derivado de lo anterior, la evaluación de satisfacción recupera esta postura y pone en el centro del interés la percepción que el beneficiario tiene sobre el programa, a partir de los resultados que experimenta en su propio bienestar o nueva condición que genera la intervención de gobierno.

En el caso de México este tipo de evaluaciones de satisfacción son recientes y las realizadas hasta el momento, en el ámbito de la administración pública, se han desarrollado sin tomar en cuenta las condiciones y la dinámica del gobierno mismo, así como el contexto en el que éste actúa, pues en algunos casos es el único oferente del bien o servicio que reciben los ciudadanos, por tanto, no impera la libre competencia. Cuando el ciudadano se convierte en beneficiario no asume otra condición más que ser solo receptor de la acción del gobierno, sin contar con mecanismos que le faciliten el poder cambiar de proveedor del bien o servicio; esto limita la voluntad y la capacidad del ciudadano de hacer un juicio objetivo a través de la comparación con otros agentes o actores que le pudieran ofrecer lo que el gobierno le proporciona. Sin embargo, los casos en los que el gobierno no es el único proveedor y el costo de un bien o servicio proporcionado a grupos vulnerables no es plenamente absorbido por él, sino que las personas tienen que pagar un porcentaje y el mismo se puede conseguir en el mercado, llevan a preguntarse ¿Cuál sería la percepción de los beneficiarios sobre la satisfacción del bien otorgado por el gobierno bajo estas circunstancias? Por otra parte, es importante identificar si las evaluaciones de satisfacción sirven como una herramienta que provee información a través de la cual se puede rediseñar la acción de gobierno para la atención de los grupos que expresan su percepción hacia la intervención gubernamental.

Para contestar esta pregunta, se toma como base la evaluación realizada al Programa del Fondo Nacional para el Fomento de las Artesanías (FONART) el cual es un fideicomiso público del gobierno federal, sectorizado en la Secretaría de Desarrollo Social, que atiende la necesidad de promover y contribuir en el desarrollo de la actividad artesanal del país y así contar con mejoras en la generación de un mayor ingreso familiar de quienes se encuentran desarrollando tal actividad, dicho programa, se constituye el 28 de mayo de 1974 con el objeto social de fomentar la actividad artesanal en el país.

Con la finalidad de establecer el alcance del Programa del Fondo Nacional para el Fomento de las Artesanías (FONART), cuyo objetivo se centra en la mejora de las condiciones de bienestar de los artesanos en México a través de la promoción de la actividad artesanal, se pretende llevar acabo el análisis y evaluación de dicho programa a partir de la percepción de la población beneficiada. La evaluación del programa se realizará considerando el nivel de satisfacción que experimentaron los beneficiarios del programa el cual estará condicionado al proceso del diseño, implementación y de los resultados de éste.

Cabe hacer mención que un aspecto clave que diferencia la perspectiva de satisfacción de un modelo comercial de otro de carácter público, es que, en el segundo, el beneficio otorgado conlleva a compromisos a las personas que reciben la acción de gobierno, que son necesarios para poder ser beneficiado, esto es conocido como una contraprestación. Por tanto, resulta interesante incorporarlo en el modelo de análisis de la evaluación de la satisfacción del programa FONART, dado que el apoyo que otorga a su población objetivo conllevan contraprestaciones.

Aspectos generales de la evaluación del programa FONART

La propuesta teórica-metodológica para la evaluación del programa FONART se desarrolla tomando en consideración la satisfacción de los beneficiarios del programa, donde ésta se define por tener un carácter perceptible de los beneficiarios con respecto al apoyo que reciben. Cabe hacer mención que con la información oficial que se encuentra disponible no es posible definir un indicador de esta naturaleza en el caso de México. Bajo este contexto, se propone una aproximación metodológica para construir un indicador referente a la satisfacción de los beneficiarios y los determinantes que la impactan, tomando como referencia la percepción del mismo beneficiario.

Evaluar el programa FONART desde una perspectiva de la percepción, nos conduce de manera natural al empleo de variables latentes, que se caracterizan por no tener una única forma de estimarse. Estas variables se aproximan por variables cuantificables, las cuales se conocen como variables proxys (Bollen, 1964; Corral et al., 2001; Liu, 2016). Asimismo, siguiendo la estructura de causalidad de los índices de satisfacción del cliente del modelo Barómetro Suizo, el índice americano y el índice europeo, la satisfacción para evaluar el programa en mención, estará condicionada a un conjunto de variables latentes -como variables no observadas- las que captarán las características más relevantes referentes a la operación del programa y que están directamente vinculadas con la satisfacción de los beneficiarios del programa FONART.

Para identificar las variables que determinan la satisfacción, además de la revisión teórica enunciada en el inciso anterior, se revisaron las reglas de operación del programa Fonart para el ejercicio fiscal 2013 y se realizaron entrevistas con los implementadores del mismo. Además, es importante señalar que las variables latentes que se utilizaron en la evaluación de la satisfacción del programa FONART están sustentadas en estudios previos (Rodríguez et, al. 2012; Cogco, Pérez y Martínez, 2013), estas fueron: Imagen del Programa (IMAG), Expectativas (EXPEC), Cohesión Social (COHS), Calidad de la Gestión (CALG), Calidad del Beneficio (CALBE) y contraprestación (CONTRA). La conceptualización de cada constructo latente se expone a continuación:

a) Expectativas: que se define como la esperanza que el beneficiario se crea ante la posibilidad de acceder a los apoyos derivados del programa.

b) Imagen del programa: se define como el conjunto de rasgos tangibles e intangibles que caracterizan al programa.

c) Cohesión Social: Nivel de participación y aceptación entre los miembros de la familia y en un grupo social en las actividades de una comunidad.

d) Calidad de la Gestión: Características y cualidades propias a la acción que se expresan al ofrecer el servicio derivado del programa.

e) Calidad del Beneficio: Se define como las características y valores propios de la naturaleza del programa.

f) Contraprestación: esfuerzos y compromisos adquiridos para recibir el apoyo.

g) Satisfacción: Variable que expresa la valoración y percepción que tiene la población en condiciones de pobreza con un servicio y/o acción del gobierno.

Los datos que se emplearon para medir cada constructo latente y determinar la causalidad de cada uno de ellos con la satisfacción, se obtuvieron a través del diseño y aplicación de un cuestionario (ver anexo) dirigido a beneficiarios del programa Fonart. Para la selección de las preguntas que se utilizaron como indicadores proxys de cada una de las variables latentes, se empleó el análisis factorial bajo el método de máxima verosimilitud. El cuestionario cuenta con un total de 64 preguntas de las cuales 52 de ellas se focalizaron sobre las siete variables latentes. La selección de las preguntas utilizadas como indicadores proxy de las variables latentes se obtuvieron utilizando el método exploratorio y confirmatorio mediante Máxima Verosimilitud. En el caso del análisis exploratorio, se utilizó el método de rotación Varimax ya que minimiza el número de variables con cargas altas en un factor, mejorando así la capacidad de interpretación de factores (Corral, 2001). El resultado fue de 25 preguntas que se emplearon como proxys de las variables latentes, en el gráfico I se muestran las variables latentes y manifiestas, así como el sentido de la causalidad entre las variables latentes. Para evaluar la consistencia de la escala de medición, se utilizan el estadístico de Alpha de Cronbach como un referente de consistencia entre los reactivos y la escala empleada en el análisis.

Con el objeto de mantener la comparabilidad entre las respuestas de los entrevistados, se utilizó la escala de Liker en un rango de 1 a 10, donde 1 es una respuesta no favorable mientras que 10 es igual a una respuesta favorable. Esta escala que se considera en el cuestionario, se ha generalizado su uso en los estudios de satisfacción, ya que universalmente la población identifica esta escala para calificar algo que considera excelente o muy malo. En este sentido, en la mayoría de las preguntas entre más se acerque a 1 la respuesta del beneficiario se considera negativo y mientras más se aproxime a 10 su respuesta es positiva.

Para establecer y dimensionar la relación causal de los determinantes de la satisfacción del programa de FONART se propone hacerlo a través del método multivariante de ecuaciones estructurales con variables no observables, el cual permite contrastar planteamientos teórico abstractos, generalmente de las ciencias sociales, y que se aproximan a través de variables cuantificables, conocidas como manifiestas o proxys (Bollen, 1964; Corral, Frías y González, 2001).

El método de estimación del modelo estructural fue por máxima verosimilitud, ya que permite suponer la normalidad multivariable de los reactivos utilizados como indicadores; por lo tanto, los parámetros estimados son consistentes, eficientes y asintóticamente insesgados, además, el método de Máxima Verosimilitud posee la ventaja de que las estimaciones obtenidas no dependen de la escala de medición de las variables empleadas en el análisis. (Levy y Varella, 2003; Manzano y Zamora, 2009). En el siguiente apartado se formaliza el modelo econométrico de la satisfacción, definiendo la dirección de la causalidad.

Diseño estadístico: muestreo

En principio, la selección de los beneficiarios de FONART que se les aplicó el cuestionario, fue de 612, de un total, según listas de Secretaria de Desarrollo Social en 2011, 4,387. Se calculó́ el total de beneficiarios por estado, municipio y localidad. Asimismo, se seleccionaron las localidades empleando el criterio Probabilidades Proporcionales al Tamaño, con posibilidad de reemplazo, considerando como tamaño de la localidad el número de beneficiarios. Al interior de cada localidad se seleccionaron los beneficiarios por medio de muestreo aleatorio simple sin remplazo. El levantamiento de la información la realizó la empresa consultora Mendoza Blanco & Asociados, S.C., durante el periodo del 3 de marzo al 17 de marzo de 2011 (Rodríguez, et. al, 2012). La distribución de los beneficiarios encuestados a nivel de estado fue de la siguiente manera: Guanajuato (16), Hidalgo (112), Jalisco (101), Estado de México (40), Morelos (7), Oaxaca (256), San Luis Potosí (13), Tamaulipas (9) y Veracruz (58).

Diseño estadístico: Modelo estructural para evaluar la satisfacción de los beneficiarios de FONART

En el gráfico I, se presentó la relación causal de las variables latentes y sus respectivas variables proxys o también conocidas como variables manifiestas. Del modelo de ecuaciones estructurales con variables latentes, se pueden distinguir dos partes del modelo, la primera asociada a las variables proxys o manifiestas, y la segunda referente a la relación entre las variables latentes, esta forma de estimarlo es lo que le da sentido al modelo estructural. En relación al primero (modelo de medida) se encuentra definido de la siguiente manera:

Donde el primer modelo contiene la única variable exógena y el segundo son las endógenas, es decir, en el primer caso es la Imagen y en el segundo son las Expectativas, Cohesión Social, Calidad de Beneficio, Calidad de Gestión, Contraprestación y Satisfacción. Los errores se representan por . La selección de las variables observadas se realizó tomando como referencia el peso estadístico en el análisis factorial, en el cuadro A se muestran las variables y sus respectivas cargas factoriales. En el modelo de medida, se asume que los errores no están correlacionados con las variables latentes.

La especificación del modelo estructural el cual establece la relación entre los constructos latentes, captará las características más relevantes referentes a la operación del programa y que están directamente vinculadas con la satisfacción de los beneficiarios del programa FONART, el modelo está dado por la siguiente ecuación

Donde se asume que

Se asume que el error es homocedástico y no autocorrelacionado. La estimación de los coeficientes se obtiene a partir de la mejor matriz de varianzas y covarianzas del modelo. El método de estimación del modelo estructural fue por Máxima Verosimilitud, el cual asume la normalidad multivariable de las proxys utilizadas como indicadores (Levy y Varella, 2003; Manzano y Zamora, 2009), por tanto, los parámetros estimados son consistentes, eficientes y asintóticamente insesgados, además que posee la ventaja de que las estimaciones obtenidas no dependen de la escala de medición de las variables empleadas en el análisis, por esas razones resultó el mejor método para esta investigación. Sin embargo, en ausencia del supuesto de normalidad multivariante en los datos no genera problemas de insesgades, aunque sí afecta la eficiencia del modelo.

Tomando en cuenta el gráfico I, el modelo 1,2 y 3, es posible determinar a priori la relación causal entre las variables latentes. En el primer caso, la Imagen afecta las Expectativas y la Satisfacción de los beneficiarios de forma positiva, es decir, entre más clara sea la información del programa, se generará expectativas correctas y recibirá exactamente lo que se imaginaban, por lo tanto, estarán satisfechos. Altas expectativas de mejorar por el beneficio que recibe, provocará que el beneficiario se integre más con su comunidad, pero también debido a la Imagen que tiene del programa FONART esperaría que la gestión, la cálida y la contraprestación del beneficiario fuera tal y como se lo plantearon cuando conoció el programa, simplemente estará confirmando lo que esperaba recibir. Tanto la cohesión, la gestión y la calidad se espera que tenga un impacto positivo sobre la satisfacción, mientras que, en el caso de la constraprestación, se esperaría que esta se vinculará de forma inversa con la satisfacción, debido puede resultar complicado para el beneficiario cumplir con los requerimientos del programa para continuar siendo beneficiario del mismo.

Cabe hacer mención que las medidas empleadas para evaluar el buen ajuste del modelo serán de dos tipos: las que consideran el ajuste del modelo de manera global y las incrementales (Manzano y Zamora, 2009). Para la primera se considera el Índice de y el Índice de la Raíz Cuadrada Media del Error de Aproximación; y para el segundo, se utilizan el Criterio de Información de Akaike, Índice Esperado de Validación Cruzada, Índice de Ajuste Parsimonioso Normalizado, Criterio de Hoelter y el Índice de Ajuste Normalizado.

Análisis estadístico: Resultados

En principio, se realizó el análisis factorial y confirmatorio para seleccionar los reactivos o indicadores proxys de las variables latentes, así como el número de factores. En relación a la selección de las proxys, el criterio que prevaleció es que el peso estadístico fuera mayor a 0.5, mientras que en la selección de los factores se consideró el criterio de que el valor propio fuera mayor que la unidad. En total se obtuvieron siete factores con 25 indicadores. El modelo estructural se muestra en el gráfico I, mientras que el resumen estadístico se detalla en el Cuadro A.

Aunque el total de la muestra seleccionada para aplicar el cuestionario fue de 612, únicamente se tuvo un 76 por ciento de respuesta y un 24 por ciento de no respuesta. Así, estos resultados constituyen una aproximación para predecir aquella muestra que contestó el cuestionario, mientras que para los que no lo contestaron, estos resultados no son necesariamente aplicables.

En los resultados del Cuadro A se muestra la media y la desviación estándar. En el caso de la media, se observa que en la mayoría de los indicadores la respuesta promedio de las seis variables aleatorias es entre 7 y 8; sin embargo, para la variable latente de Cohesión Social se obtuvo un resultado relativamente bajo, ya que en promedio de las seis proxys utilizadas se tuvo un promedio de 6.4 de calificación, con una desviación promedio de 2.23. Este último resultado indica la alta disparidad que existe con respecto a la percepción sobre el programa FONART, sobre todo en lo que se refiere a la convivencia con sus familiares y sus vecinos, ya que se observa que son las de menor calificación y con mayor desviación estándar, lo que significa que al ser beneficiario del programa ha provocado que su convivencia con la comunidad y su familia se vea afectada negativamente. Por otro lado, la Calidad de Gestión resultó con una valoración alta, de acuerdo al indicador P27 y P30, además de que denotan una desviación estándar baja, lo que significa que la mayoría de los beneficiarios comparten el razonamiento de que el trato que reciben del personal del programa es el adecuado.

El método de estimación, se justifica dado que no se observa evidencia manifiesta de distribución de probabilidad normal. Por otro lado, las cargas factoriales de las variables proxis en casi todos los casos superan el criterio de 0.5, con excepción de la P19 y P22, que se vincula con la variable latente Expectativas del Programa; sin embargo, para este caso se observa que el Alfa de Crobach es de 0.89, con lo que se puede establecer que tanto la escala como las variables proxys son pertinentes. Para el resto de los indicadores se observa un Alfa de Crobach con un buen ajuste.

Los resultados de la evaluación de la satisfacción de los beneficiarios del programa Fonart a través del Sistema de Ecuaciones Estructurales se muestran en el gráfico II. Por su parte, los índices que definen el buen ajuste del modelo se presentan el Cuadro B. Los resultados de este último cuadro muestran que, de acuerdo a los criterios expuestos, el modelo se ajusta correctamente. En el caso de Chi-Cuadrada es significativa y el estadístico es grande; sin embargo, como lo menciona Bollen (1964) y Corral et al. (2001) cuando N es grande, este estadístico tiende a ser significativo, por lo que se requiere recurrir a otros criterios que penalizan el valor N. Tal es el caso del Índice de Ajuste Comparativo, el cual es 0.89, muy cercano a 0.90; mientras que el Índice de la Raíz Cuadrada Media del Error de Aproximación es inferior a 0.10; así también, el criterio de Akaike que se observa es menor en el modelo planteado para este trabajo; y finalmente el criterio de Hoelter que es muy próximo a 200 (Levy y Varella, 2003). Es decir, los conjuntos de estadísticos mostrados permiten validar el buen ajuste del modelo.

Los resultados de la estimación del modelo estructural que aparece en el gráfico II, es posible observar la significancia estadística de las trayectorias causales, de donde se desprende conclusiones interesantes en cuanto a la validación empírica de los planteamientos teóricos. Cuatro variables del modelo que deberían explicar directamente a la satisfacción denotan resultados contrarios a lo esperado, tal es el caso de la Imagen del Programa, las Expectativas, la Calidad de Gestión y la Contraprestación. A esta conclusión se llegó como consecuencia de que ninguna de estas variables es significativa, por lo que no intervienen directamente en la explicación de la satisfacción que experimentan los beneficiarios del programa. Sin embargo, la Expectativa sí influye en el resto de las variables con las que se vincula, siendo la Calidad del Beneficio sobre la que mayor poder explicativo se observa.

Por su parte, la variable que tuvo una mayor importancia en la explicación de la Satisfacción es precisamente la Calidad del Beneficio. Estos últimos resultados permiten establecer que los beneficiaros se forman expectativas que son congruentes con la Calidad del Beneficio proporcionado por el programa; es decir, el programa les permite promover adecuadamente las artesanías y mejorar sus niveles de ingreso; por lo tanto, esto permite que los beneficiarios se encuentren satisfechos de los beneficios que les proporciona el programa. En lo referente a la Contraprestación, el hecho de no ser significativa representa una situación en la cual el compromiso que adoptan los artesanos no representa un factor que afecte el nivel de satisfacción que experimentan.

El resultado del índice de satisfacción de los beneficiarios del programa FONART es de 7.20, si bien este resultado permite establecer que los artesanos se encuentran satisfechos, el nivel de calificación que se obtuvo es muy bajo. Esto es consecuencia porque los artesanos consideran que el programa no les ha permitido mejorar su condición de vida. También se obtuvieron los índices para las restantes variables latentes: el índice de Expectativas (7.37), Calidad de Gestión (9.06), Calidad del Beneficio (7.49), Contraprestación (7.14) y Cohesión Social (6.30). De estos índices se destacan dos conclusiones importantes. La primera se asocia con la buena calificación que obtiene el programa con respecto a la atención que reciben los artesanos de parte de los funcionarios del programa; sin embargo, este indicador no resulta relevante para definir el nivel de satisfacción de los beneficiarios, razón por la cual no fue significativo. La segunda conclusión que se deriva de los indicadores se asocia al índice de Cohesión Social cuyo resultado fue 6.30, un índice bastante bajo, lo que refleja que el ser beneficiario del FONART ha afectado la integración con su comunidad y en su familia.

Finalmente, como se observó en los resultados del Gráfico II, las variables latentes de Imagen y Expectativas no muestran evidencia que permita establecer que existe impacto directo sobre la satisfacción; sin embargo, al analizar los resultados de los efectos indirectos, se pudo establecer que tanto la imagen como las Expectativas afectan indirectamente la satisfacción de los beneficiarios del programa.

Análisis y Discusión

La evaluación de las políticas públicas, visto como un mecanismo que permite establecer indicadores del desempeño de la administración gubernamental a partir de resultados asociados a los cambios e impactos de los programas derivados de la misma política de intervención, al paso del tiempo, tal dinámica evaluativa ha tomado mayor relevancia, lo que ha motivado la búsqueda y el diseño de instrumentos, técnicas y métodos de estimación cada vez más robustos por parte de los analistas de políticas públicas de tal manera que la información que se obtenga de las evaluaciones sirva para identificar y re direccionar las desviaciones o externalidades que cada programa o política vaya registrando. Cada uno de estos instrumentos trata de cubrir las necesidades propias de los programas de políticas públicas.

Por ello, la importancia de proponer metodologías que permitan identificar el desempeño de aquellos que intervienen en el diseño, formulación e implementación de políticas públicas o específicamente de los programas que derivan de dichas políticas. En este sentido, se presentó evidencia empírica que proporciona elementos interesantes sobre el desempeño de la política social en México, el caso específico del programa del Fondo Nacional para el Fomento de las Artesanías (FONART). La evidencia se obtuvo a partir de la implementación del modelo del Índice Mexicano de Satisfacción de Beneficiarios (IMSAB), cuyo diseño e implementación se aborda en la primera parte del presente documento. Las estimaciones realizadas al modelo se llevaron a cabo a través del método de ecuaciones estructurales con variables latentes, en donde la variable dependiente fue precisamente la satisfacción de los beneficiarios del programa en mención.

Los resultados obtenidos en la estimación del modelo conducen a conclusiones interesantes del desempeño del programa FONART sobre los beneficiarios ubicados en Guanajuato, Hidalgo, Jalisco, Estado de México, Morelos, Oaxaca, San Luis Potosí, Tamaulipas y Veracruz. En primer lugar, en cuanto a la Imagen del Programa, así como las Expectativas, no se encontró evidencia que respalde algún efecto directo sobre la satisfacción que experimentan los beneficiarios, ya que ambas resultan ser no significativas. Sin embargo, se pudo establecer que, de manera indirecta, la Imagen y la Expectativa sí impactan positivamente la satisfacción de los beneficiarios del programa. Por otro lado, el indicador de la variable satisfacción fue favorable pero muy bajo, esto se debió a que los beneficiarios consideran que el programa no les ha permitido mejorar su nivel de vida, además, consideran que ha afectado la convivencia con su comunidad y su familia. Un factor que evaluaron muy alto los beneficiarios del programa FONART es la Calidad de la Gestión; no obstante, no fue significativa en la explicación de la satisfacción del programa.

De esta forma, es posible afirmar que los beneficiarios ponderan directamente su nivel de satisfacción en relación a la calidad del beneficio y la cohesión social que reciben, mientras que de forma indirecta intervienen la imagen del programa y las expectativas que se forman del mismo. Así, los resultados muestran que es necesario tomar acciones pertinentes que se encaminen a mejorar el nivel de vida de los artesanos, el ambiente comunitario y la integración familiar de los beneficiarios del programa FONART.

Referencias

Acosta, F. (2011). Evaluando la política social y el desempeño del gobierno en México: tensiones y dificultades institucionales. En: Ramos, Sosa y Acosta (coord.). La Evaluación de las políticas públicas en México. México. Colegio de la Frontera Norte. Pp. 123- 143.

Bollen, K. A. (1964). Structural Equation with Latente Variables. New York: Wiley.

Cogco, A., Pérez, J, y Martínez O. (2013) Satisfacción de programas sociales. El caso del programa de abasto de Leche Liconsa. Revista de economía del Rosario. Volumen 16, No. 1. pp.125-147.

CONEVAL (2015), Información de evaluación de la política de desarrollo social 2016, CONEVAL, disponible en: http://www.coneval.org.mx/Informes/Evaluacion/IEPDS_2014/IEPDS_2014.pdf

CONEVAL (2017), Información de evaluación de la política de desarrollo social 2016, CONEVAL, disponible en: http://www.coneval.org.mx/Evaluacion/IEPSM/Documents/IEPDS_2016.pdf

Corral, V. Frías, M. y González, D. (2001). Análisis Cuantitativo de Variables Latentes. Hermosillo. México: UNISON

Day, Ralph L and H. Keith Hunt (1983). International fare in Consumer Satisfaction and Complaining Behavior, Bloomington, IN. Indiana University.

García-Pérez, O. (2013). Evaluación de un programa de voluntariado a través de la satisfacción de sus usuarios: los voluntaries. Aula Bierta, Universidad de Oviedo, Vol. 41, No. 3, pp. 101-112.

Fornell, C. (1992). A National Customer Satisfaction Barometer: The Swedish Experience. Journal of Marketing, 56, 6-21.

Fornell, C., Johnson, M. D., Anderson, E. W., Cha, J., & Everitt, B. (1996). The American Customer Satisfaction Index: Nature, Purpose and Findings. Journal of Marketing, 60, 7-18.

Herrera, M. y P. Caston (2003). Las políticas sociales en las sociedades complejas. En: Revista Internacional de Sociología, No. 13, enero- abril 2004, Ariel. México

Hunt, H. Keith and Ralph L. Day (1985). Consumer Satisfaction, Dissatisfaction and Complaining Behavior, Bloomington, IN. Indiana University.

Lévy M., Jean-Pierre y Varela M., Jesús (2003). Análisis multivariable para las ciencias sociales. Madrid, España: Pearson Educación

Liu, Xing (2016). Applied Ordinal Logistic Regression Using Stata: From Single-Level to Multilevel Modeling. SAGE Publications. United States of America.

Manzano P., A. y Zamora M., Salvador (2009). Sistema de Ecuaciones Estructurales: Una Herramienta de Investigación. Cuaderno número 4. CENEVAL. México.

Ospina, S y Gil, I. (2011). Índices nacionales de satisfacción del consumidor. una propuesta de revisión de la literatura. En Cuad. admon.ser.organ. Bogotá (Colombia), 24 (43): 35-57, julio-diciembre.

Paredes, Ana y Velázquez Ma. (2009). Medición de la satisfacción de los usuarios de servicios aplicando el enfoque agregado. Administración y Organizaciones, No. 22, Año 11, 55-68.

Quevedo-Blasco, R., Ariza, T., y Buela-Casal, G. (2015). Evaluación de la satisfacción del profeso- rado de ciencias con la adaptación al Espacio Europeo de Educación Superior. Educación XX1, 18(1), 45-70. doi: 10.5944/educXX1.18.1.12311.

Rodríguez, M. et al (2012). Informe final del Índice Mexicano de Satisfacción de los beneficiarios de Programa Sociales implementados por la SEDESOL en México (IMSAB). Universidad Autónoma de Tamaulipas, Secretaría de Desarrollo Social, Consejo Nacional de Ciencia y Tecnología.

Rodríguez, V., Prineda, G. Y Cueto, B. (2014). Actitudes de la ciudadanía hacia los servicios públicos. Valoración y satisfacción en el periodo 2009-2011. Política y Sociedad, Vol 51, Núm. 2: 595-618

Saturno-Hernández, Pedro J., Gutiérrez-Reyes, Juan P., Vieyra-Romero, Waldo I., Romero-Martínez, M. O'Shea-Cuevas, Gabriel J., Lozano-Herrera, Javier, Tavera-Martínez, Sonia, y Hernández-Ávila, Mauricio (2016). Satisfacción y calidad percibida de afiliados al Sistema de Protección Social en Salud de México. Fundamentos metodológicos. Salud Pública de México, 58(6), 685-693. https://dx.doi.org/10.21149/spm.v58i6.8323.

Yi, Y. (1989). A Critical Review of Consumer Satisfaction. School of Business Administration (Working Paper Num. 604), 1-76.

Notas de autor

1 Profesor Investigador de la Universidad Autónoma de Tamaulipas. Las líneas de investigación que trabaja son: política industrial, econometría y evaluación de políticas públicas. Correo: japcgica@msn.com. ORCID ID: 0000-0003-4435-0339

2 Profesor del Departamento de Ciencias Sociales y Políticas, en la Universidad Iberoamericana. Las líneas de investigación que trabaja son: medición del bienestar, pobreza y evaluación de políticas públicas. Correo: oscar.martinez@ibero.mx. ORCID ID: 0000-0003-4103-674X.

3 Profesor Investigador de la Universidad Autónoma de Tamaulipas e invitado en el IPN y la Universidad del Noreste, México. Las líneas de investigación que trabaja son: política social, descentralización y evaluación de políticas públicas. Correo: acogco@uat.edu.mx. ORCID ID: 0000-0002-7948-2246.

japcgica@msn.com

Información adicional

Clasificación JEL:: I31, I38.