1. Introducción

Varios autores han analizado o presentado ejemplos de las ventajas de analizar los resultados de la evaluación del logro de aprendizaje, en especial en la formulación de políticas públicas eficaces, incluido el desarrollo de modelos estadísticos rigurosos que examinan el efecto de los factores asociados basados en evaluaciones mundiales y regionales a gran escala, que emplean modelos lineales jerárquicos en América Latina (Murillo & Martínez-Garrido, 2016; Villalba et al., 2018). En este estudio se busca abordar la necesidad apremiante de aumentar los datos rigurosamente analizados y mejorar la capacidad local para hacer dichos análisis.

El objetivo general de este estudio es aprovechar la metodología estadística de vanguardia para determinar el efecto preciso de los factores asociados, incluidos en las pruebas del Estudio Regional Comparativo y Explicativo 2019 (ERCE-2019) en los resultados de aprendizaje de los estudiantes en países de la región, medidos con cuestionarios que acompañan a las pruebas ERCE administrados a maestros, directores, padres y estudiantes. Este estudio abarca cuatro países participantes en el ERCE-2019, dirigido a estudiantes de tercer grado y sus puntajes en lenguaje: Colombia, Costa Rica, Panamá y República Dominicana. Esto llevó a la formulación de cuatro modelos para investigar a fondo el efecto de los factores asociados en los resultados del aprendizaje. Si bien reconocen las diferencias individuales, los cuatro países están próximos geográficamente y tienen un contexto histórico y cultural similar.

2. Revisión de la literatura

Sobre la base de los resultados de evaluaciones internacionales, como el Segundo y Tercer Estudio Regional Comparativo y Explicativo (SERCE-2006 y TERCE-2013), realizado por la UNESCO, y el Programa para la Evaluación Internacional de Estudiantes (PISA) 2009 y 2018, realizado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) (MEDUCA & OCDE, 2019), se ha evidenciado que la mayoría de los estudiantes de Centroamérica y el Caribe no cumplen con los estándares mínimos de habilidades y conocimientos esenciales requeridos para el siglo XXI. En el caso de Panamá, este desafío se está dando a pesar de los recursos sustanciales del país, lo que no se ha traducido en mejoras significativas en los resultados entre 2013 y 2019. En comparación, Costa Rica y Colombia (UNESCO 2021a, UNESCO 2021b) presentan mejores resultados, a pesar de tener un PIB per cápita más pequeño. República Dominicana tiene el PIB per cápita más bajo y los puntajes más bajos de los cuatro países, pero ha logrado mejoras significativas entre los puntajes del Tercer Estudio Regional Comparativo y Explicativo (TERCE) en el 2013 y el ERCE-2019. La desigualdad también es un desafío en los cuatro países, en particular en Panamá y República Dominicana (Barría & Escobar, 2015; UNESCO, 2021c; UNESCO, 2021d). El estudio consideró como objetivo explorar la relación entre los factores asociados y los puntajes de las pruebas, con el objetivo de identificar las intervenciones específicas que podrían mejorar los resultados del aprendizaje.

Varios autores han dado ejemplos de las ventajas de analizar los resultados de las evaluaciones de logros de aprendizaje con comparaciones internacionales, incluidos estudios destinados a informar a los decisores de políticas públicas, por ejemplo, Baird y otros (2011), Ganimian (2014a) y Goldhaber (2015). Ganimian (2014b) es un estudio hecho para Argentina que compara los resultados del TERCE-2013 con los del SERCE-2006, de todos los países participantes. Sin embargo, compara solo los resultados, y no el efecto de los factores asociados como proponemos en el presente estudio. El análisis de factores asociados del propio Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), de la UNESCO (2021e), utiliza una metodología distinta, software diferente, con modelos poblacionales y modelos multinivel en cada variable, que toman en cuenta el nivel socioeconómico de las familias de los estudiantes y el marco muestral; las variables responden a las medias por países. Las conclusiones de los análisis del LLECE (UNESCO, 2021e) presentan similitudes y diferencias con los resultados aquí expuestos.

3. Metodología

3.1. Fuentes de datos

El ERCE-2019 fue un emprendimiento significativo llevado a cabo por el LLECE. Tuvo como objetivo evaluar exhaustivamente la calidad de la educación y los logros de aprendizaje de los estudiantes de educación primaria de 16 países de América Latina y el Caribe. Para obtener datos valiosos se administraron pruebas estandarizadas a los estudiantes de tercer y sexto grados, que abarcaron materias como Matemáticas y Lenguaje (lectura y escritura). Además, se distribuyeron cuestionarios a estudiantes, maestros, directores de escuelas y padres para recopilar información crucial sobre los factores asociados con los resultados del aprendizaje. Estos factores incluyeron antecedentes socioeconómicos, recursos escolares, prácticas docentes y otros elementos contextuales. El LLECE diseñó cuidadosamente las pruebas con los sistemas educativos participantes después de un análisis detallado para alinearse ampliamente con sus currículos y medir el grado en que los estudiantes habían aprendido conceptos y habilidades, que probablemente se enseñaron en la escuela. Estas pruebas aportan información valiosa para dar forma a las políticas y prácticas educativas, para lo que involucran la participación activa de los departamentos de evaluación de cada país con la finalidad de lograr un enfoque equilibrado.

La generación de información sobre el rendimiento de los estudiantes del país se logra utilizando la técnica de valores plausibles, en múltiples pruebas estandarizadas de gran escala para estimar la habilidad o competencia de un estudiante en un área específica. Esta técnica es útil cuando se mide a los estudiantes solo con un subconjunto de los ítems de la prueba, lo cual genera un error de medición sustancial (Von Davier et al., 2009). Sin embargo, el propósito de la prueba no es evaluar a cada estudiante sino a una población representada por la muestra de estudiantes y, por ende, se busca reducir los errores al hacer inferencias sobre la población objetivo, más que reducir los errores a escala individual (OECD, 2009). Por ello, en lugar de utilizar una única puntuación basada en las respuestas del estudiante, se generan múltiples valores plausibles (usualmente cinco), representativos del rendimiento. Estos valores permiten estimar con mayor precisión las inferencias sobre la distribución de habilidades de un país (Wu, 2005).

La base de datos del ERCE-2019 está disponible para acceso público en la página web del LLECE de la UNESCO. El LLECE proporcionó una sola base de datos con los datos de todos los países, descargable en diferentes formatos. Para esta investigación, los datos se descargaron en formato .sav, mediante el paquete de software de GBM, SPSS, versión 29. La página web del LLECE de la UNESCO también incluye los cuestionarios, los libros de códigos y un manual de uso de las bases de datos del estudio (UNESCO, 2022). Los resultados del ERCE-2019 de Lenguaje de tercer grado tienen cinco valores plausibles en su puntuación.

El muestreo del ERCE-2019 varió de 3,500 a 5,300 estudiantes de tercer grado por país, y abarcó de 250 a 270 escuelas. Sin embargo, hubo una tasa de no respuesta con una frecuencia de alrededor del 5 % en ítems de los cuestionarios de factores asociados que, en algunos casos, podía elevarse hasta un 20 %, 30 % o más. Para atender este reto, sin perder casos por falta de datos en ciertas variables, se utilizó un proceso de imputación para completar los datos faltantes utilizando los puntajes de las pruebas y los valores de factores asociados presentes para predecir aquellos ausentes. Sin embargo, antes de la imputación se eliminaron de la base de datos de este estudio los casos en los que faltaba alguno de los cuatro cuestionarios completos, ya que no hubiera sido prudente imputar respuestas a ítems de un cuestionario ausente sin contar con respuestas a otros ítems del mismo cuestionario que sirvieran como predictores. Se excluyeron del estudio variables con más del 50 % de no respuesta. La base de datos utilizada para este estudio incluyó una muestra de 2,900 a 4,500 estudiantes de tercer grado por país, y abarcó de 150 a 230 escuelas (Tabla 1). Es importante resaltar que al hacer esta depuración de datos se pierde la rigurosa precisión del marco muestral diseñado detalle por el LLECE. Por otro lado, la pérdida de casos por falta de datos hubiese causado un problema comparable o de mayor escala; mientras que la estimación sin tomar en cuenta los datos faltantes, considerando su magnitud, también hubiese perdido rigor. La base de datos depurada utilizada en este estudio está disponible en el repositorio en línea del Centro de Investigación Educativa.

3.2. Análisis de datos

En este estudio se utilizan los modelos jerárquicos lineales (HLM, por sus siglas en inglés) para analizar los datos. El HLM ha demostrado ser altamente efectivo en el manejo de estructuras de datos anidadas, con estudiantes ubicados dentro de aulas y aulas anidadas dentro de escuelas. El enfoque del HLM incorporó un modelo de regresión multinivel para explorar los factores en varios niveles, lo que redundó en un examen exhaustivo de su efecto en los resultados del aprendizaje de Lectura en tercer grado. En el primer nivel (nivel 1) del modelo se incluyeron como predictores las características individuales de los estudiantes y las características familiares, como el género, la edad, el estado socioeconómico, la educación de los padres y el entorno familiar. El segundo nivel (nivel 2) abarcó las características del aula y la escuela, con factores como prácticas docentes, recursos escolares y apoyo. En particular, se construyeron HLM separados para cada país para comprender mejor el efecto específico de los factores asociados en los resultados del aprendizaje de Lectura en el tercer grado.

El proceso de modelado del presente estudio implicó el uso del software HLM de Scientific Software International (SSI), versión 8. Este software permitió la generación de modelos que toman en cuenta los cinco valores plausibles de puntaje de la prueba de Lenguaje de cada estudiante que se encontraban en la base de datos del ERCE-2019. Para lograr esto, en cada modelo HLM el software genera un modelo para cada uno de los cinco valores plausibles de manera interna, y produce un modelo combinado utilizando su valor promedio y tomando en cuenta los cinco conjuntos de errores estándar. Primero, cada parámetro es estimado para cada uno de los cinco valores plausibles, y las cinco estimaciones son promediadas. Luego, el error estándar para la estimación promedio es calculado utilizando el enfoque recomendado por Little y Schenker (1995). Esta fórmula combina el promedio del error de muestreo de las cinco estimaciones con la varianza entre las cinco estimaciones, multiplicado por un factor relacionado con la cantidad de valores plausibles (Raudenbush et al., 2019). El resultado es el error de medición. De esta manera, los resultados muestran una sola estimación, pero las cinco estimaciones HLM de cada uno de los cinco valores plausibles son calculadas y pueden ser consultadas (Raudenbush et al., 2019).

Adicionalmente, en el análisis se utilizaron los pesos muestrales estandarizados que el LLECE incluyó en las bases de datos. Estos sirvieron para obtener estadísticas que representan de la manera más precisa a la población de estudiantes estudiada utilizando los datos de la muestra, y obtener errores estándar adecuados (UNESCO, 2022). El ERCE-2019 incluyó pesos estandarizados en los niveles 1 (estudiantes y familias) y 2 (docentes y directores), por país. Los pesos fueron ingresados al establecer la configuración de estimaciones de cada modelo, y los resultados de cada modelo tomaron en cuenta el peso especificado (Raudenbush et al., 2019).

El proceso de construcción de modelos de cada país comenzó con la elaboración de un modelo nulo que justificara la necesidad de analizar el efecto de los factores asociados utilizando un HLM y no regresiones simples. Los modelos nulos se construyeron tomando en cuenta los cinco valores plausibles para las variables de resultados de puntajes en la prueba de Lectura como variable independiente, y tomando en cuenta los pesos estándar incluidos en la base de datos original del LLECE. En todos los casos se encontró un coeficiente de correlación interclase (ICC), con lo que se consideró apropiado continuar con la elaboración de modelos que tomaran en cuenta las variables predictivas de ambos niveles, es decir, que el porcentaje de varianza explicado por diferencias entre escuelas en comparación con aquel explicado por diferencias dentro de las escuelas (entre estudiantes) era mayor de 34 % (ver Tabla 2).

Para construir los modelos de cada país se construyeron modelos iterativos agregando variables de ambos niveles, y en el caso de las variables de nivel 1, determinando si tenían un efecto fijo o aleatorio, iterando alrededor de 50 versiones en busca de un modelo con la mayor capacidad explicativa y que contuviera solo variables de efecto significativo luego de varias iteraciones. Las variables se agregaron sin un nuevo proceso de que se enfocara en los ámbitos escuela o país, ya que se buscaba realizar comparaciones posteriores entre modelos, y los índices incluidos ya habían sido generados por el LLECE centrados en la muestra internacional total, lo cual permitía una mejor estandarización comparativa. Una vez construidos los modelos para cada país, los investigadores evaluaron el ajuste de los modelos y la importancia de los predictores. Se realizó una comparación entre países de los modelos resultantes para identificar similitudes y diferencias en el efecto de los factores asociados en los resultados del aprendizaje de Lectura en el tercer grado. Se identificaron predictores significativos para cada país, presentados en la sección de resultados, lo que permitió a los investigadores comprender la influencia relativa de varios factores en cada contexto.

4. Resultados

Los modelos finales por país se encuentran en las ^{Figuras 1}Tabla 3. Modelo lineal jerárquico que predice los puntajes de tercer grado de ERCE 2019 para Colombia Final estimation of fixed effects (with robust standard errors) / a ⁴Final estimation of variance components/ y sus resultados se describen a continuación. Estos hallazgos revelan información valiosa sobre los factores que influyen en los resultados del aprendizaje de Lectura entre los estudiantes de tercer grado de los cuatro países analizados. La identificación de predictores significativos permitió una comprensión matizada de los factores que afectaron significativamente el rendimiento de aprendizaje de lenguaje de los estudiantes.

De las características de los estudiantes con mayor efecto se encontró que haber repetido primer o segundo grado tiene un efecto altamente negativo en Costa Rica (β = −32.02, p < 0.001), República Dominicana (β = −33.29, p < 0.001) y Panamá (β = −22.08, p < 0.001), mientras que tener al menos un progenitor que haya terminado la secundaria tiene un efecto positivo considerable. En Colombia, haber repetido un grado tiene un efecto significativo que varía entre escuelas (p < 0.001). En República Dominicana (β = 24.71, p < 0.001) el tiempo dedicado a estudiar en casa también tiene un efecto significativo, al igual que en Colombia, donde tiene un efecto aleatorio (p = 0.003). En Panamá (β = 23.70, p < 0.001), asistir al preescolar tiene un efecto significativo en los estudiantes independientemente de la escuela a la que asisten, y en Colombia, asistir al preescolar explica los resultados del aprendizaje con un efecto que varía según la escuela (p < 0.001).

El índice socioeconómico familiar (ISECF) también fue un factor asociado significativo en los cuatro países. La relación entre el ISECF y los puntajes de Lectura varió significativamente entre las escuelas en todos los países (p > 0.034), excepto en República Dominicana (β = 12.83, p < 0.001). En Colombia, el índice socioeconómico medio (MISECF) de la escuela también es un factor significativo asociado con los resultados de los estudiantes dentro de las escuelas (β = 48.60, p < 0.029). El índice de involucramiento parental también tiene un efecto positivo en República Dominicana (β = 6.81, p < 0.001), Costa Rica (β = 18.29, p < 0.001) y Panamá (β = 13.86, p < 0.001), con un efecto que varía de escuela en escuela en Colombia (p < 0.001). También puede llegar a tener un efecto significativo ser niño o niña en República Dominicana y en Colombia (p < 0.004), y la cantidad de libros en la casa, en República Dominicana y Panamá (p = 0.021), dependiendo de la escuela a la que asisten los estudiantes.

El acceso a materiales educativos como un libro de texto de español, un cuaderno, un rincón de lectura o una computadora para usar en clase fueron factores asociados significativamente, pero con diferentes coeficientes en los cuatro países. El acceso a un libro de texto de Lenguaje tuvo un efecto significativo en los puntajes de los estudiantes dentro de las escuelas de Panamá y República Dominicana (β = 10.46, p = 0.003; β = −16.13, p = 0.031, respectivamente). Sin embargo, este efecto varió entre las escuelas (p < 0.001). En Colombia, el efecto varió de manera significativa solo entre las escuelas (p < 0.001). Lo mismo ocurrió en el caso del acceso a cuadernos (p < 0.001), excepto que no tuvieron un efecto significativo en Panamá. El acceso a una computadora tuvo un efecto en República Dominicana dentro (β = −23.24, p = 0.010) y entre las escuelas (p = 0.002), y en Colombia solo entre todas las escuelas (p = 0.015). El acceso a un rincón de lectura tuvo un efecto significativo solo en Costa Rica, dentro (β = −22.88, p = 0.001) y entre las escuelas (p < 0.001).

En Costa Rica, Panamá y República Dominicana la violencia dentro de la escuela, según lo informado por maestros y directores, tuvo un efecto significativo como predictor de nivel 2 de los resultados de Lenguaje (β = −9.88, p = 0.010; β = −7.28, p = 0.039; y β = −12.21, p = 0.003, respectivamente). Además, los cuatro países presentaron una relación con la violencia dentro de la escuela, según lo informado por los estudiantes, como un predictor significativo de los puntajes entre los estudiantes (β = −10.54, p = 0.001 en Costa Rica; β = −17.62, p < 0.001 en Panamá; y β = −13.37, p < 0.001 en República Dominicana). En el caso de Colombia, este factor fue un predictor significativo de los puntajes entre las escuelas (p < 0.001), así como entre los estudiantes (β = −14.68, p = 0.009).

Además, Panamá y Costa Rica también coincidieron en el carácter rural de las escuelas como predictor de nivel 2, pero en direcciones diferentes. En Panamá, los estudiantes en áreas rurales tienen una varianza negativa de 17.43 puntos en sus puntajes de Lectura (p = 0.032). En Costa Rica, los estudiantes que estudian en áreas rurales tienen una varianza positiva de 21.06 puntos en sus puntajes de Lectura (p = 0.028). En Costa Rica, otros factores de nivel 2 surgieron como predictores de los resultados de la puntuación del idioma. Estos incluyeron un factor de recursos relacionado con los servicios disponibles en la escuela (β = 20.40, p < 0.001) (agua corriente, laboratorios de computación, electricidad) y dos factores relacionados con los estudiantes: la frecuencia de las interrupciones en el aula (β = 9.09, p = 0.041) y la composición desafiante del aula (β = −11.09, p = 0.045) (estudiantes con problemas de nutrición, falta de motivación, necesidades educativas especiales). En Colombia surgió otro factor de recursos de nivel 2 relacionado con los recursos educativos (β = −21.85, p = 0.018) (materiales didácticos, computadoras, acceso a internet, programas informáticos para la enseñanza y personal de apoyo). El nivel 2 de Panamá arrojó un resultado interesante para una mayor exploración: el índice de temas en que los maestros necesitan desarrollo profesional continuo influyó positivamente en los puntajes de Lectura de los estudiantes (β = 7.23, p = 0.035).

5. Discusión y conclusiones

Los resultados destacan cuatro sociedades con desigualdad significativa, que influyen en gran medida en los aprendizajes de los estudiantes, lo que limita así el potencial de la escolaridad como un igualador de oportunidades, por lo que una desviación estándar más, en el índice socioeconómico y cultural de la familia (ISECF), implica de 13 a 16 puntos más en el puntaje de la prueba de idioma en Costa Rica, Panamá y República Dominicana, y 21 en Colombia. Sin embargo, en todos los países excepto República Dominicana, el efecto del índice socioeconómico varía de una escuela a otra, lo que significa con optimismo que algunas escuelas están logrando minimizar este efecto en comparación con otras. Con base en las variables significativas de nivel 2, en Colombia probablemente tiene que ver con el índice socioeconómico promedio de los estudiantes de la escuela (MISECF), en el que un aumento de la desviación estándar implica aproximadamente 49 puntos más en las pruebas de Lenguaje, otro indicador de segregación por índice socioeconómico que a su vez está teniendo un efecto en los resultados de aprendizaje de los estudiantes. En comparación con los resultados de factores asociados reportados por la UNESCO (2021e), es notable que el MISECF no fue una variable que encajara en los modelos de este estudio en ninguno de los otros tres países. Sin embargo, esto puede tener como origen a que los modelos, a excepción de República Dominicana, ya incluían ISECF como una variable aleatoria.

Otro indicador de desigualdad de Colombia tiene que ver con la repitencia de grado, ausentarse de la escuela o haber completado el preescolar, variables que tienen un efecto diferenciado en los estudiantes, dependiendo de las escuelas a las que asisten. En contraste, en Costa Rica, República Dominicana y Panamá repetir primer grado tiene un efecto considerable de 22 a 33 puntos en los puntajes, que no varía de manera significativa entre las escuelas, y destaca la necesidad de reformar la política pública. Otra variable familiar de efecto considerable es tener un padre que terminó la escuela secundaria, lo que proporciona a los estudiantes una ventaja de 20 puntos en Panamá y 28 en Costa Rica, y un efecto variable según la escuela en Colombia. Esto resalta una oportunidad para incidir por medio de programas de finalización escolar de los padres (Magnuson et al., 2009). Pasar una desviación estándar más tiempo estudiando en casa agrega 31 puntos adicionales en Colombia y 25 en República Dominicana. Es posible aumentar la cantidad de estudiantes que se benefician de este aspecto a través de programas de extensión para padres, y en futuros estudios vale la pena explorar por qué esta variable no encajaba en los modelos panameño y costarricense. En Panamá, donde según el Instituto de Estadística de la UNESCO (2022) solo el 27 % de los niños en edad preescolar estaba matriculado, los que habían asistido a preescolar obtuvieron 24 puntos más que los que no habían asistido. En Colombia, donde el 86 % de los niños en edad preescolar está matriculado, este efecto es significativo, pero varía entre las escuelas, lo que puede resaltar otro problema de desigualdad. Futuros estudios podrían explorar por qué asistir al preescolar no encaja en los modelos de República Dominicana o Costa Rica, donde la matrícula preescolar es del 33 % y 95 %, respectivamente. Dada la baja matrícula y el potencial efecto positivo de mejora de la calidad y la cobertura del preescolar debería ser una prioridad para República Dominicana.

Incidir en características como repitencia, asistencia al preescolar, escolarización de los padres y horas de estudio en el hogar, implica un nivel complejo de dificultad porque requiere políticas públicas con enfoque sistémico. Sin embargo, cabe señalar que todas estas variables implican un efecto mayor que el de una desviación estándar en el índice socioeconómico, lo que significa que tienen un potencial muy alto como igualadores de oportunidades en materia de política pública. También es parecido el caso del involucramiento parental, como preguntar sobre calificaciones o tareas, ya que, aunque en República Dominicana su efecto es el equivalente a la mitad del efecto de una desviación estándar del índice socioeconómico, en Costa Rica es ligeramente mayor que el efecto de una desviación estándar del índice socioeconómico, y el efecto en Colombia varía de una escuela a otra. También en Colombia y Costa Rica la inasistencia de los estudiantes a la escuela tiene un efecto negativo en sus aprendizajes. En estas variables también se puede incidir con programas del tipo escuela para padres, y con mejoras de la relación y comunicación entre la escuela y los padres. La cantidad de libros en casa es una variable en la que se puede incidir directamente con programas que provean libros no solo para las escuelas, sino también para que los estudiantes se lleven a casa de manera temporal o permanente, y que fortalezcan las bibliotecas.

En cuanto a las características escolares existen variables de interés para recursos, clima escolar y prácticas docentes. En Panamá, República Dominicana y Costa Rica, algunas variables relevantes para maximizar los resultados de los estudiantes, a pesar del índice socioeconómico, pueden tener que ver con limitar la violencia dentro de la escuela. Esto incluiría bullying, robo, discriminación y agresión verbal y física. La violencia dentro de la escuela es una variable que puede responder directamente a la intervención mediante programas diseñados para su disminución (Chávez et al., 2021). La literatura existente indica que las interrupciones en el aula tienen, por lo general, un efecto negativo (Kraft & Monti-Nussbaum, 2021). Por lo tanto, el efecto positivo de la percepción de frecuencia de interrupción en el aula en Costa Rica merece profundización. En futuros estudios se podría explorar, por ejemplo, si la participación activa de estudiantes, asociada a mejores resultados de aprendizaje en otros contextos (Tutal, 2023), esté siendo percibida erróneamente por los docentes como disrupción, considerando la evidencia existente de que la disrupción en el aula es percibida de manera diferente por estudiantes, docentes y terceros (Scherzinger & Wettstein, 2019). Otras variables en las que enfocarse en el caso de Colombia son: el acceso a recursos educativos y el apoyo al aprendizaje por parte de los docentes (preguntar si entendieron, explicar con claridad, motivar a terminar, hacer actividades activas, animar autoestima, ayudar a corregir errores, facilitar la participación); en República Dominicana, el sentido de pertenencia escolar; en Panamá y República Dominicana, la asistencia y puntualidad de los docentes; en Colombia y Costa Rica, el interés de los docentes por el bienestar de sus estudiantes (interesarse y preocuparse por cada uno, notar y atender el estado de ánimo, motivar frente al reto y a pesar del error); y en Costa Rica y República Dominicana, la organización de la enseñanza (tener los materiales listos, describir lo que se va a hacer al comenzar, resumir al terminar).

También debe haber un enfoque en el efecto diferenciado en las escuelas con acceso a más o menos servicios, o con una composición estudiantil más desafiante, y la desigualdad entre las áreas rurales y las urbanas en el caso de Panamá. Si bien no hay una forma directa de influir en estas últimas variables, se debe tener en cuenta al planificar las intervenciones, que en Panamá y Costa Rica pueden necesitar ser diferenciadas en una serie de escuelas basadas en estas variables. Todas las escuelas de Panamá y Costa Rica, y algunas de Colombia, podrían mejorar el aprendizaje de los estudiantes proporcionando sistemáticamente libros de texto de lenguaje, y de hecho algunas escuelas de Panamá y Costa Rica se beneficiarían aún más que otras al aplicar esta intervención. En Panamá, los datos indican que las escuelas con una composición más desafiante de estudiantes obtendrían mejores resultados al proporcionar libros de texto, resultados que deberían guiar la política basada en las necesidades. Además, en Colombia los niños de algunas escuelas se beneficiarían significativamente si se les proporcionaran cuadernos.

El efecto negativo del uso de computadoras o tabletas en clase merece exploración adicional para conocer sus posibles causas. Múltiples estudios señalan las dificultades de la implementación de programas de tecnología en las escuelas de la región, sin la apropiada capacitación docente, incidencia en las actitudes de los docentes hacia la tecnología, o infraestructura o conectividad adecuada en los planteles para su uso y mantenimiento (Meza-Cordero, 2017; Universidad Nacional de Colombia, 2018). Los tres países probablemente se beneficiarían del estudio de estas mejores prácticas en dichas escuelas. De los tres países, solo en Costa Rica tener acceso a un rincón de lectura en la escuela tuvo un efecto significativo, y los estudiantes de algunas escuelas se beneficiaron aún más que otros. Sería prudente que Panamá y Colombia exploraran la forma en que Costa Rica está utilizando los rincones de lectura, en comparación con sus propias aulas, para maximizar el efecto. El inesperado efecto positivo en Panamá de la variable sobre necesidades de perfeccionamiento docente (es decir, a mayor percepción de necesidades de perfeccionamiento docente, mejores resultados de aprendizaje) sugiere la necesidad de una exploración de mayor profundidad sobre el tema, considerando, por ejemplo, si la conciencia sobre las propias necesidades es un indicador relacionado con mejores resultados, como se ha encontrado en otros estudios (De León, 2017); se debe tomar en cuenta que no siempre hay correlación entre las percepciones de los docentes sobre sus propias competencias y sus necesidades de perfeccionamiento (Fok et al., 2005). De ser este el caso, Panamá debería enfocarse, con base en estos resultados, en fomentar la conciencia de las necesidades de desarrollo profesional entre educadores. Tanto en Costa Rica como en algunas escuelas de Colombia, el interés de los maestros en el bienestar de los estudiantes tiene un efecto significativo, y esto también se puede desarrollar aún más a través de intervenciones, también en maestros panameños.

Es notable que en ningún modelo la variable «dependencia» fue significativa, a diferencia de los modelos del LLECE de UNESCO (2021). Esto podría deberse a que, aunque hay diferencias significativas entre escuelas públicas y privadas, estas se explican por diferencias de características de estas escuelas y de los estudiantes de estas escuelas incluidas en los modelos presentados en este estudio. También es notable la ausencia de variables relacionados con el ambiente laboral de los docentes y el liderazgo del director. A pesar de que estas variables fueron medidas como factores asociados, no resultaron significativas y por eso no se incluyeron en los modelos finales. Existe una amplia literatura internacional sobre el potencial efecto positivo de que los docentes reciban retroalimentación, puedan trabajar en un ambiente que apoye su labor, con colaboración entre docentes y relaciones interpersonales de calidad, y con una percepción de satisfacción con su lugar de trabajo (Brighouse & Tomlinson, 1991; Cabrera, 2006; Reynolds, 2000; Reynolds et al., 2000, 2001; Sammons et al., 1995), incluida la evidencia procedente de los países estudiados (De León, 2017; Florentino-Morillo et al., 2020; Murillo & Martínez-Garrido, 2016). Por ende, que estas variables no tengan un efecto positivo en los modelos resultantes del presente estudio probablemente señala un espacio de potencial crecimiento para los países estudiados por medio del perfeccionamiento de los directores (Bell et al., 2003) y oportunidades de mejora en el ambiente escolar para nuestros docentes.

La conclusión más importante es que al tomar en cuenta el efecto de las variables sobre las que es posible incidir por medio de políticas públicas, del sistema e institucionales, y prácticas de aula en las escuelas, se esboza la posibilidad de compensar por variables sobre las que no tenemos control directo, como el índice socioeconómico familiar o las diferencias entre escuelas urbanas y rurales, sin olvidar que el índice socioeconómico y cultural de las familias está considerado una variable de mayor efecto en los resultados de aprendizaje de los estudiantes. Esto es alentador si se busca proveer oportunidades para todos. Conocer las posibles intervenciones con efectos significativos en los aprendizajes según estos modelos contribuye a la conversación continua sobre prioridades en la mejora de los sistemas educativos de los países estudiados, tanto con algunas primeras conclusiones como con indicaciones de próximas preguntas a explorar.

6. Agradecimientos y reconocimientos

El presente estudio se llevó a cabo con el patrocinio de la Secretaría Nacional de Ciencia, Tecnología e Innovación (SENACYT) de la República de Panamá. Ambos autores son miembros del sistema nacional de investigación de ese país.

Referencias bibliográficas

Contribución de autores

Tabla 3. Modelo lineal jerárquico que predice los puntajes de tercer grado de ERCE 2019 para Colombia Final estimation of fixed effects (with robust standard errors)

Final estimation of variance components

Tabla 4. Modelo lineal jerárquico que predice los puntajes de tercer grado de ERCE 2019 para Costa Rica Final estimation of fixed effects (with robust standard errors)

Final estimation of variance components

Tabla 5. Modelo lineal jerárquico que predice los puntajes lingüísticos de tercer grado ERCE 2019 para Panamá Final estimation of fixed effects (with robust standard errors)

Final estimation of variance components

Tabla 6. Modelo lineal jerárquico que predice los puntajes de tercer grado de ERCE 2019 para República Dominicana Final estimation of fixed effects (with robust standard errors)

Final estimation of variance components

Fechas de Publicación

Histórico