Introducción

Con el presente artículo se pretende responder a una de las sugerencias que se ha realizado a la Comisión Académica del Máster en Profesorado de Educación Secundaria, Bachillerato, Formación Profesional y Enseñanza de Idiomas (MAES) de la Universidad Pablo de Olavide (UPO), por parte de la Dirección General para la Calidad (DGC) de la UPO. Teniendo como base las diferentes cuestiones que últimamente ha venido realizando la Comisión Evaluadora de la Dirección de Evaluación y Acreditación (DEVA) de la Agencia Andaluza del Conocimiento, durante el proceso de Renovación de la acreditación de los Títulos, la DGC de la UPO recomendaba la realización de un análisis comparativo de másteres análogos al MAES de la UPO en la Comunidad Autónoma de Andalucía.

Existen varios estudios que ofrecen una perspectiva relativamente negativa sobre la formación inicial del profesorado de Educación Secundaria en el Estado Español. Se resalta un escaso interés por las universidades por cuidar la calidad y el desarrollo del título, a pesar de suponer casi el 40 % del total de estudiantes matriculados en postgrado en dichas universidades (Marina et al, 2015). Igualmente, se expone una elevada heterogeneidad de desarrollos de estos programas formativos con diversidad en el número de materias por módulo formativo, número de oferta de plazas, número de especialidades ofertadas, número de docentes externos al ámbito universitario, número de créditos de Prácticas, así como el desarrollo de las prácticas, el tipo de trabajo requerido para el Trabajo Final de Máster (TFM) (López et al., 2020).

Ante este panorama, se ha resaltado la necesidad de que las universidades desarrollen procesos de investigación que les permitan evaluar la calidad de sus títulos. En este sentido, en el Decreto Legislativo 1/2013, de 8 de enero, se establece que las universidades “fomentarán la investigación y renovación pedagógicas y didácticas del profesorado, otorgando atención prioritaria a la calidad de la docencia, con la finalidad de mejorar la transferencia de los conocimientos, elaborando programas de actuación conjunta orientados a coordinarlos y financiarlos” (art. 60).

En vista de la necesidad de evaluar la calidad de la enseñanza, nos proponemos comparar el cumplimiento de los criterios de calidad de los másteres pertenecientes a las universidades de la Comunidad Autónoma de Andalucía para determinar cuál es el lugar que ocupa el Máster en Profesorado de Educación Secundaria, Bachillerato, Formación Profesional y Enseñanza de Idiomas de la Universidad Pablo de Olavide dentro del entorno de las universidades andaluzas en cuanto a la calidad del título. En este sentido, esta investigación, a través del análisis documental, trazará líneas que permitan mejorar los criterios que requieren intervención y acciones concretas para mejorar la calidad de la formación docente en las universidades de la Comunidad Andaluza.

En lo adelante, se explicará el marco legislativo que regula la acreditación de los títulos, luego se mostrará la metodología implementada, la cual consiste en una revisión documental a partir de la aplicación del método cuantitativo. En el siguiente apartado se explicarán los resultados del estudio de los dos informes. Finalmente, se concluye con los hallazgos centrales que dan respuesta al objetivo.

Marco legislativo para el aseguramiento de la calidad de la docencia

En su exposición de motivos, la Ley Orgánica 6/2001 (2001, de 21 de diciembre), de Universidades, se postulaba la pretensión de que las Universidades andaluzas incrementen de manera urgente su eficacia, eficiencia y rendimiento de las actividades, estructuras y servicios universitarios, a través de continuos procesos de renovación que puedan ser mediante la fijación de criterios comunes (Art. 69). Así mismo, en el art. 89, Profesorado, se especificaba que “El Gobierno, las Comunidades Autónomas y las universidades impulsarán la realización de programas dirigidos a la renovación metodológica de la enseñanza universitaria para el cumplimiento de los objetivos de calidad del Espacio Europeo de Educación Superior” (art. 89, 5).

En el Decreto Legislativo 1/2013, de 8 de enero, en su Título V, se desarrollan, además, las directrices esenciales para asegurar la calidad de la actividad universitaria. Se recoge que la Agencia Andaluza del Conocimiento

La verificación de la calidad de los títulos universitarios viene determinada por la Agencia Andaluza del Conocimiento, de conformidad con lo dispuesto en la Ley 16/2007 (2007, de 3 de diciembre), donde se refleja la atribución de las competencias de evaluación y acreditación de las actividades universitarias. Esta se tramita de acuerdo al procedimiento establecido en el art. 27 del Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. El proceso de acreditación consistirá en la comprobación de que el plan de estudios se está realizando de acuerdo con el proyecto inicial y tiene 5 propósitos esenciales:

La evaluación se lleva a cabo de acuerdo con los criterios y directrices para el Aseguramiento de la Calidad en el Espacio Europeo de Educación Superior, establecidos en la Guía para la renovación de la acreditación de los títulos universitarios de grado y máster de la Dirección de Evaluación y Acreditación de la Agencia Andaluza del Conocimiento (DEVA, 2016)

La Comisión de renovación de la acreditación, designada por la DEVA de la Agencia Andaluza del Conocimiento, es la competente para efectuar la evaluación de la solicitud de la renovación de la acreditación de los títulos oficiales presentada por la universidad. Sus informes son emitidos por dicha comisión que está formada por expertos en la materia que actúan en régimen de independencia y autonomía y están basados en los siguientes criterios:

Estos criterios devienen de los 10 estándares y criterios para la garantía de la calidad interna en el área de la Educación Superior Europea que delimita la Unión Europea (ESG, 2015):

La DEVA emite de forma cuatrienal (para los másteres) un Informe de Renovación de la acreditación de cada Título tras el análisis y valoración del autoinforme que presenta la Comisión Académica del Título, las evidencias aportadas y de las aclaraciones y respuestas obtenidas de las personas comparecientes en la visita de acreditación. Asimismo, la DEVA emite un informe anual de seguimiento como resultado de la evaluación del Plan de mejora anual presentado por la titulación oficial. Cada uno de los criterios y directrices de acreditación se valorarán según cuatro niveles, en función de la consecución de los estándares correspondientes:

Metodología

Se presentará un estudio estadístico descriptivo de los datos recogidos en los dos tipos de documentos emitidos por la DEVA para cada uno de los másteres de la Comunidad Autónoma de Andalucía, análogos al MAES de la UPO:

La muestra se ha circunscrito al último Informe de Renovación de la Acreditación y al último Informe de Seguimiento del Plan de Mejora recibido por cada Universidad. Es por ello por lo que contamos con dos documentos para cada una de las 10 titulaciones. Esto supone una muestra de 20 informes (Ver Tabla 1), los cuales han sido elaborados entre 2017 y 2021.

Este análisis se realiza en base a los siete criterios establecidos en la Guía para la renovación de la acreditación de los títulos universitarios de Grado y Máster en Andalucía (DEVA, 2016), indicando el alcance de cada criterio, las recomendaciones y las recomendaciones de especial seguimiento.

Este análisis se centra en los datos recogidos en los apartados 4 y 5 del Informe Final para la Renovación de la Acreditación, donde se establece el alcance de cada criterio, las recomendaciones y las recomendaciones de especial seguimiento, así como las conclusiones del estudio. De igual manera, para el análisis del Informe de Seguimiento del Plan de Mejora se enfocará en los apartados 4 y 5 en los que se muestran los resultados de los 7 criterios de evaluación, así como un resumen en forma gráfica.

Es necesario hacer constar que el Informe de Seguimiento del Plan de Mejora del curso 2017/2018, recibido por la Universidad de Huelva (Indicado con un *), no mantiene el mismo formato de exposición de datos y valoraciones que el resto de los informes, por lo que, dada su no analogía, no ha podido ser utilizado en el estudio. Por tanto, la muestra definitiva utilizada es de 19 documentos: 10 Informes de Renovación de la Acreditación y 9 Informes de Seguimiento del Plan de Mejora.

Dadas las diferencias en cuanto al tipo de dato aportado entre uno y otro documento, para cada uno de ellos se han estudiado las frecuencias y porcentajes de diferentes variables por cada criterio de evaluación, que se exponen a continuación (tabla 2):

A partir de estos documentos, se realizó una síntesis de los datos que aportaban para cada una de las 10 universidades. Se elaboraron 3 tablas con los datos de las 10 universidades en torno a las 3 variables objeto de estudio en los Informes de Renovación de la Acreditación. Y se elaboraron 7 tablas (una por cada uno de los criterios de evaluación) con los datos de las 10 universidades en torno a las 4 variables objeto de estudio para los Informes de Seguimiento del Plan de Mejora. A partir de estas tablas de datos se realizó un estudio estadístico descriptivo para poder determinar la posición de cada universidad en cada una de las variables.

Resultados

Para la exposición de los resultados de las frecuencias de aparición de cada variable para los 10 títulos, se comenzará con la presentación de los resultados del análisis de los Informes de Renovación de la Acreditación, en los que se analizan el grado de alcance de los criterios de evaluación y las recomendaciones y recomendaciones de especial seguimiento recibidas en el Informe de Renovación de la Acreditación para cada criterio. Posteriormente, se presentan los resultados del análisis de los Informes de Seguimiento de cada uno de los Títulos en los que se describen las recomendaciones totales y resueltas para cada uno de los criterios y las acciones definidas, adecuadas y finalizadas por cada Título para cada una de las recomendaciones recibidas.

3.1 Resultados del análisis de los informes de renovación de la acreditación: Grado de alcance de los criterios de evaluación

En cuanto al grado de alcance de los criterios de evaluación de las 10 universidades donde se imparte este máster, se puede observar (Ver Figura 1) que el MAES de la UPO consigue un valor igual o superior al promedio de los valores del total de las 10 universidades en 4 de los criterios de evaluación. Sus valores de 2 (Alcanzado parcialmente) y 3 (Se alcanza) lo sitúan por encima de la media, siendo alcanzados los criterios “Resultados de Aprendizaje” e “Indicadores de Satisfacción y Rendimiento” y manteniendo un progreso parcial en el resto de los otros 5 criterios.

Por otro lado, el MAES de la UPO ocupa el cuarto puesto, por detrás de Loyola, Sevilla y Málaga (Ver Figura 2). Ninguno de los 10 másteres alcanza todos los criterios. Destaca LOY, con un solo criterio alcanzado parcialmente, “Profesorado” y la US con 3 de ellos, “Sistema de Garantía de Calidad”, “Profesorado” e “Infraestructuras, servicios y dotación de recursos”, habiendo alcanzado el resto de los criterios. El MAES de la UPO es uno de los 6 que no recibe la calificación de “No alcanzado” en alguno de los criterios.

3.2 Recomendaciones recibidas en el informe de renovación de la acreditación para cada criterio

El 34 % de las 9 reclamaciones recibidas por la UPO se concentran en el criterio “Sistema de Garantía de la Calidad” (Ver Figura 3). El 22 % se encuentran en el criterio “Información Pública Disponible” y “Profesorado”, respectivamente. También se presentan el 11 % de las reclamaciones en los criterios de “Diseño, organización y desarrollo del programa formativo” y en “Infraestructuras, servicios y dotación de recursos”. Los criterios “Resultados de aprendizaje” e “Indicadores de satisfacción y rendimiento” no reciben reclamaciones, dado que se han estimado alcanzados.

El MAES de la UPO recibe menos recomendaciones que la media del total de universidades andaluzas en 4 de los 7 criterios.

Todo ello coloca a la UPO en una de las primeras posiciones en cuanto al menor número de reclamaciones recibidas, por detrás de Sevilla (4) y Málaga (8) y equiparada con Loyola (Ver Figura 4).

3.3 Recomendaciones de especial seguimiento recibidas en el informe de renovación de la acreditación

La única recomendación de especial seguimiento que ha recibido el MAES de la UPO se circunscribe al criterio “Profesorado” (ver figura 5). Desde la DEVA se solicita el establecimiento de un procedimiento que garantice la adecuación e idoneidad del profesorado externo del Título. Aunque en este criterio el MAES de la UPO se encuentra por encima de la media, en el resto de los criterios se mantiene igual o mejor que el resto de las universidades andaluzas. El criterio “Sistema de Garantía de Calidad” es el que más recomendaciones de especial seguimiento recibe esta titulación en las universidades andaluzas.

En cuanto al número de recomendaciones de especial seguimiento recibidas en el Informe de Renovación de la titulación, el MAES de la UPO forma parte del 60 % de universidades andaluzas que reciben recomendaciones de especial seguimiento. Las universidades de Sevilla, Loyola, Málaga y Córdoba no reciben recomendaciones de especial seguimiento. En este sentido ocupa un lugar medio junto a las universidades de Granada, Huelva y Jaén (Ver Figura 6). Al igual que estas 3 universidades, recibe una sola recomendación de especial seguimiento, en este caso, correspondiente al criterio “Profesorado”. La DEVA requiere al MAES de la UPO la realización de un procedimiento que garantice la adecuación e idoneidad del profesorado externo del Título.

3.4 Resultados del análisis de los informes de seguimiento del plan de mejora

En cuanto al análisis de los Informes de Seguimiento del Plan de Mejora y siendo conscientes de que se cuenta con 9 documentos, no con 10, por la compleja analogía del Informe de la Universidad de Huelva, nos centraremos en las 5 variables antes descritas. Estas variables serán estudiadas por separado para cada uno de los 7 criterios de evaluación.

En términos globales y comparativos, el MAES de la UPO recibe similar número de recomendaciones que el promedio de las universidades andaluzas (10), pero resuelve casi 2 recomendaciones más que el promedio de universidades (6), lo que supone casi el 20 % más. Además, el número de acciones definidas (20), adecuadas (20) y finalizadas (18) suponen el doble de las que presenta el promedio de universidades andaluzas (Ver Figura 7).

El MAES de la UPO ocupa el sexto lugar en cuanto al menor número de recomendaciones recibidas de la DEVA, con el 11,24 % del total de reclamaciones emitidas por la DEVA (Ver figura 8). Aunque ocupa el quinto puesto en cuanto al porcentaje de recomendaciones resueltas de entre las que recibió, es la segunda que define más acciones para resolverlas, por detrás de la Universidad de Sevilla y la primera en cuanto a finalización satisfactoria (90 %) de las acciones definidas (Ver figura 9).

Realizando un análisis particular del comportamiento de los datos a nivel de cada uno de los siete criterios de evaluación, nos encontramos con que el MAES de la UPO se encuentra entre los últimos puestos junto a las Universidades de Málaga, Jaén y Almería, en cuanto al criterio “Información Pública Disponible”, dado que recibieron dos recomendaciones (Ver figura 10). Las recomendaciones de la DEVA se concentran en la actualización de la información depositada en la web (horarios, aulas, exámenes, asignación de profesorado, equipos docentes, asignación de Trabajos de Fin de Máster, accesibilidad lingüística...), la transparencia de las decisiones y acuerdos de la Comisión Académica y de la Comisión de Garantía de la Calidad y la visibilidad del Plan de Mejora.

La Universidad de Málaga ha logrado resolver el 100 % de ellas. Las Universidades de Jaén y Pablo de Olavide han logrado resolver el 50 % de las recomendaciones recibidas. Sin embargo, la UPO es la que más acciones ha presentado (5) para resolver dichas recomendaciones, consiguiendo finalizar las 5 (Ver figura 11).

Las recomendaciones realizadas por la DEVA referidas al criterio “Sistema de Garantía de Calidad” giran en torno a la potenciación de la participación de todos los agentes implicados en los procesos de seguimiento y evaluación de la calidad (estudiantes, profesorado, PAS, egresados, empleadores y tutores de prácticas), la adecuación de los procedimientos de recogida de información, la comprensibilidad de los indicadores de calidad a través de elementos gráficos, la coherente articulación de las acciones de mejora concretas para atender las recomendaciones recibidas y la representatividad de las tasas de inserción laboral de los egresados.

El MAES de la UPO recibió 3 recomendaciones que la colocan entre los últimos puestos, por delante de las universidades de Córdoba y Almería (Ver Figura 12). A pesar de ello, de entre estas tres universidades, la UPO es la que mejor progreso ha realizado, superando el 66 % de las recomendaciones recibidas, solo superada por la Universidad de Granada (que no recibe recomendaciones) y la Universidad de Sevilla que supera el 100 % de las recibidas.

En la figura 13 puede observarse el esfuerzo realizado por el MAES de la UPO para resolver las 3 recomendaciones recibidas. La UPO es la universidad que ha presentado un mayor número de acciones, 5 en total, de las cuales 4 han finalizado, consiguiendo resolver 2 de las 3 recomendaciones.

El MAES de la UPO se encuentra en una posición media, por detrás de las universidades de Sevilla, Granada y Córdoba, en lo referente al número de recomendaciones recibidas para el criterio “Diseño, Organización y Desarrollo del Programa Formativo” (Ver Figura 14). Se encuentra equiparada con las universidades Loyola y de Cádiz en cuanto al número de recomendaciones recibidas (1) y por delante de Málaga, Jaén y Almería que reciben 2.

Las recomendaciones que realiza la DEVA para este criterio se localizan, principalmente, en la oferta, gestión, supervisión, coordinación (profesorado interno y externo) y evaluación de las prácticas en los centros de educación secundaria nacionales y del extranjero, la adecuada integración de los contenidos propios de la Formación Profesional, tanto en el Módulo Genérico como en el Módulo Específico, la pertinencia de los sistemas de evaluación, la idoneidad del volumen de trabajo del alumnado y la coherencia de las guías docentes con respecto a la Memoria de Verificación.

De entre aquellas que reciben recomendaciones para este criterio, el MAES de la UPO se encuentra en un grupo intermedio por delante de las universidades de Málaga, Jaén y Almería. Se propusieron dos acciones que consiguió finalizar, como ocurre con las Universidades de Málaga y Almería (Ver figura 15).

En cuanto al número de recomendaciones para el criterio “Profesorado”, la UPO se encuentra en una posición media, con 3 recomendaciones como las universidades de Cádiz, Jaén, Almería y Córdoba (Ver Figura 16). Si bien, aún queda por resolverse el 66 % de las recomendaciones.

La DEVA centra estas recomendaciones en la sistematización de los mecanismos de coordinación vertical y horizontal del programa formativo (periodicidad de reuniones, reducción de la fragmentación de contenidos de las materias, adecuación del número de docentes por asignatura, seguimiento de las directrices, recomendaciones o consensos emanados de los órganos de coordinación, idoneidad de los tutores académicos y externos de Prácticas y TFM,...), la significativa satisfacción de los docentes con la labor que se realiza y la aplicación de un Plan Formativo específico para el profesorado del Máster.

El MAES de la UPO presenta mayor número de acciones (6) y mayor número de acciones finalizadas (5), lo que supone un 83 % de efectividad, a pesar de no haber resuelto 2 de las 3 recomendaciones (Ver Figura 17).

Por lo que concierne al criterio “Infraestructuras, servicios y dotación de recursos”, las recomendaciones de la DEVA se dirigen a la potenciación de los servicios de orientación académica y profesional, empleabilidad y emprendimiento para el alumnado matriculado y egresado, la adecuada disposición de los recursos humanos necesarios para la gestión administrativa y la idoneidad de los recursos existentes (aulas, laboratorios, bibliotecas...).

El MAES de la UPO presenta una posición más ventajosa con respecto a este criterio. Recibió una única recomendación que ha sido resuelta y que la coloca en 3º lugar, emparejada con las universidades de Málaga, Cádiz y Almería, pero por detrás de las universidades de Sevilla y Granada (Ver figura 18).

Para la resolución de dicha recomendación, la efectividad de la acción propuesta y finalizada es completa (Ver Figura 19). El MAES de la UPO se encuentra en el grupo de universidades consigue el 100 % de efectividad en las acciones que plantea para la resolución de las recomendaciones que recibe.

En lo referente al número de recomendaciones recibidas para el criterio “Resultados de Aprendizaje”, el MAES de la UPO se encuentra entre el 78 % de las universidades que no recibe recomendaciones (Ver Figura 20). Por lo que no presenta acciones a realizar. Solo dos universidades reciben recomendaciones para este criterio, Jaén y Almería.

Estas recomendaciones se enfocan en la mejora de los resultados de aprendizaje y los niveles de satisfacción del alumnado a través de la conveniente adquisición de las competencias, la adaptación de las actividades formativas a la adquisición de dichas competencias y la idoneidad de los sistemas de evaluación.

Respecto al criterio “Indicadores de Satisfacción y Rendimiento”, la DEVA focaliza sus recomendaciones en torno al análisis de dichos indicadores (causas de la escasa satisfacción de los grupos de interés implicados, representatividad de las tasas de inserción laboral de los egresados por especialidad, el diseño de acciones concretas de mejora, causas del aumento de las tasas de abandono,...).

El 78 % de las universidades andaluzas recibe recomendaciones para este criterio (Ver figura 21). Sin embargo, el MAES de la UPO, junto con la Universidad de Cádiz, no recibe recomendaciones en cuanto a dicho criterio, por lo que no presenta acciones a realizar.

Conclusiones

El MAES de la UPO ha recibido ya dos Informes de Renovación de la acreditación en los que se describe claramente el progreso positivo hacia la calidad del título. Con este estudio se ha pretendido comparar la calidad del máster de las universidades andaluzas para establecer cuál es el lugar que ocupa la UPO dentro del entorno de las universidades andaluzas en cuanto a la calidad del título ofrecido.

En resumen, podemos concluir, en cuanto a los Informes de Renovación de la Acreditación, que el MAES de la UPO:

En definitiva, los resultados permiten inferir que se han realizado las acciones necesarias para mejorar la calidad en distintos criterios de evaluación, en los que se destacan los resultados de aprendizaje de los estudiantes, los indicadores de satisfacción de los miembros de la comunidad académica, la mejora de la infraestructura y del diseño del programa formativo. Sin embargo, se requiere afianzar la idoneidad del profesorado interno y externo, mejorar el sistema de garantía de la calidad, integrando a todos los actores educativos en los procesos de evaluación. También los hallazgos indican que es necesario asegurar la transparencia y actualización de la información pública disponible.

Estos resultados del Título de Máster en Profesorado de Educación Secundaria, Bachillerato, Formación Profesional y Enseñanza de Idiomas de la UPO, nos permiten identificar que la concatenación de acciones promovidas por este Título ha generado un progresivo ascenso en la calidad de los procedimientos que se llevan a cabo, en efecto, destaca el hallazgo de que la UPO es la universidad con el mayor número de acciones finalizadas en pos de las recomendaciones recibidas. Lo anterior posibilita calificar su calidad como de media-alta entre las universidades andaluzas.

Si bien es necesario destacar que, en el caso del MAES de la UPO, los datos más recientes hacen referencia al curso 2019-2020. Por tanto, en los informes estudiados no se reflejan las acciones ejecutadas entre los últimos tres años en seguimiento de las recomendaciones recibidas para mejorar la calidad.

Referencias bibliográficas

Fechas de Publicación

Histórico