The main objective of this research is to use the Learning Analytics approach to identify the covariates that influence the academic performance of university students. There is a multilevel analysis of two levels, in the first level there are 23,583 units of analysis (number of observations-students) and 468 units in the second one (number of groups-classrooms). The results show that the highest percentage of variability is explained by level 1 (students), that all the variables of the Learning Analytics approach have a positive influence and that the participation in chats, forums and videocollaborations cause the greatest impact since they provoke an increase of between 1 and 2 points in academic performance.
El análisis de datos está en auge en el área de la educación sobre todo porque existen herramientas para procesar un volumen creciente de datos, facilitando de esta forma el uso de la información relacionada con el estudiante, el docente, la entidad educativa, etc. con fines de mejorar el aprendizaje.
Las plataformas de enseñanza virtual tales como WEbCT, Moodle, Blackboard, Claroline, Dokeos y recientemente las plataformas MOOC (Massive Open Online Courses) permiten a las universidades monitorizar en tiempo real la actividad de los estudiantes. La integración de esta información con otras variables está en el origen de las técnicas de extracción de conocimiento útil para la mejora del proceso de enseñanza – aprendizaje, conocidas como análisis del aprendizaje (learning analytics).
En materia de rendimiento académico en la educación superior, la mayoría de las
investigaciones relevantes presentan un marcado interés en la inclusión de factores
personales, son pocos los estudios que hacen un abordaje multinivel que incluya variables
del enfoque learning analytic. Los modelos multinivel son más aplicables en el campo
educativo porque en estas poblaciones las observaciones individuales no son
completamente independientes, es decir se presenta una estructura jerárquica, por lo que según
[
Bajo estas premisas el objetivo central de esta investigación es emplear el enfoque Learning Analytics para identificar los factores y covariables que influyen en el rendimiento académico de los estudiantes universitarios. Se plantean dos preguntas básicas: ¿Qué proporción de la variación en el rendimiento académico puede atribuirse a las variables que engloba el Learning Analytics? ¿Existe una relación entre el rendimiento académico y el contexto de los estudiantes?
Al identificar la influencia que ejercen sobre el rendimiento académico las variables consideradas (dentro de las cuales consta un grupo de variables de interacción: participación en foro, chat, video-colaboración, número de mensajes enviados al profesor, número de comentarios en el curso de la asignatura, número de accesos al LMS), esta investigación se convierte en un punto de partida de procesos de retroalimentación educativa que permitirán a las instituciones mejorar la focalización de las intervenciones y los servicios de apoyo a estudiantes con mayor riesgo de fracaso académico.
Los resultados del análisis multinivel indican que las variables del nivel 1: edad, rinde supletorio, repite materia, participa en chat, participa en foro, participa en videocolaboración, N° comentarios, N° accesos al LMS y las variables del nivel 2: tasa de repetidores, ciclo y tipo de docente son estadísticamente significativas.
Este artículo está estructurado en seis secciones. La segunda sección contiene la revisión de la literatura. La tercera sección presenta la metodología. En la cuarta sección se presentan los resultados. En la quinta sección se encuentra la discusión de resultados. Finalmente, en la sexta sección constan las conclusiones. 2
En la actualidad, los enfoques de análisis de datos más usados en el ámbito de la educación superior son la minería de datos educativos (del inglés, Educational Data Mining, EDM), el análisis académico (del inglés, Academic Analytics, AA) y el análisis del aprendizaje (del inglés, Learning Analytics, LA).
El análisis del aprendizaje, análisis académico y minería de datos se centran
específicamente en herramientas y métodos para la exploración de datos que provienen de
contextos educativos [
La diferencia entre estos tres enfoques se establece en los siguientes planteamientos
[
Estos enfoques no solo recogen y exploran grandes cantidades de información, sino que permiten construir y poner a prueba modelos que se centran en el estudiante, ya sea de forma individual o en el contexto de la institución, con la finalidad de predecir o mejorar el rendimiento académico.
El Learning Analytics surge a partir de dos tendencias convergentes: el uso cada vez
mayor de los Entornos Virtuales de Aprendizaje en las instituciones educativas y la
aplicación de técnicas de minería de datos para los procesos de inteligencia de negocios
en sistemas de información de la organización [
“Learning Analytics es la medición, recopilación, análisis y presentación de datos
sobre los alumnos y sus contextos, a efectos de entender y optimizar el aprendizaje y
los entornos en los que ocurren los sucesos de aprendizaje” [
El informe Horizont [
Este tipo de análisis permite usar los datos asociados con el aprendizaje de los
estudiantes y generar informes que sean útiles para los docentes (actividades y progreso de
los estudiantes), para los estudiantes (retroalimentación) y para los administradores
(incremento de aulas de clase, tasa de graduación, etc.) [
Los datos utilizados provienen de una de las universidades ecuatorianas con más número de estudiantes a nivel de educación superior a distancia en Latinoamérica, a partir de esta información se desarrollan los dos análisis antes mencionados cuya variable objetivo es el rendimiento académico.
La población objeto de estudio comprende un ámbito individual, grupal y contextual, los participantes que la conforman son 23,583 estudiantes y 468 aulas. Los datos se ordenaron jerárquicamente, de tal forma que las observaciones se agrupen correctamente en cada uno de los niveles de agregación. Los datos fueron levantados en el año 2014.
En el proceso de inclusión de variables usadas para la modelización del rendimiento académico se tuvo en cuenta el enfoque de enseñanza centrada en la teoría del Learning Analytics, por lo que se trabaja con datos suministrados por el Entorno Virtual de Aprendizaje, una de las herramientas de apoyo principales en esta modalidad de estudio.
Las variables se han seleccionado en pro del cumplimiento de los objetivos específicos. Estas variables son de carácter académico, demográfico, pedagógico y tecnológico (en el ámbito tecnológico se trabaja con variables que involucra el enfoque “learning analytics”).
Se toman en cuenta variables individuales del estudiante (nivel inferior), variables del docente y asignatura (nivel intermedio) y variables de la escuela (nivel superior). Todas las variables se obtienen dentro de la misma universidad, de esta forma, se supone que la correlación promedio (conocida como la correlación intraclase) entre las variables de los alumnos de la misma universidad y del mismo tipo de asignatura (troncal) es mayor que la correlación de las mismas variables medidas entre los alumnos de universidades distintas. Estas covariables se presentan en la Tabla 1.
La variable de respuesta se denomina rendimiento académico y es la calificación final
del estudiante que se mide en un rango de 0 a 40 puntos (incluye la sumatoria de los
exámenes, trabajos a distancia y otras actividades).
El inicio de la aplicación de los modelos multinivel en el campo educativo se debe
principalmente al aporte que realizaron [
Los modelos multinivel han estado aplicándose con mayor fuerza en el campo de la
salud y educación desde hace más de dos décadas [
El análisis multinivel se desarrolla de acuerdo a la estructura anidada que presente la población en estudio, ésta básicamente suele ser de 2 o 3 niveles. Conforme se aumentan los niveles se supone que aumenta la heterogeneidad.
El modelo de 2 niveles se compone de dos estimaciones en donde i =1,…,nj unidades del nivel 1 se encuentran anidados dentro de j=1,…,J unidades del nivel 2.
yij = β0j + β1jx1ij + ....... + βnjxnij + eij
La ecuación (1) representa la modelización del nivel 1, en donde yij es la variable dependiente para el caso i en la unidad j, βnj es el coeficiente del nivel 1, xnij es la variable explicativa n para el caso i en la unidad j y el efecto aleatorio del nivel 1 se representa por eij. (1) βnj = γn0 + γn1W1j + .... + γnpWnj + unj (2)
La modelización de 2 niveles se establece en la ecuación (2), en donde βnj es la variable dependiente (coeficientes del nivel 1), γnp coeficientes del novel 2, Wnj representa a las variables explicativas p para la unidad j del nivel 2 y unj es el efecto aleatorio del nivel 2. 4
Se realiza un procedimiento “stepwise” hacia adelante, es decir incrementando el número de variables explicativas del nivel 1 y del nivel 2 para ir ampliando la capacidad de explicación y ajuste del modelo, aunque para ello esta secuencia metodológica aumente simultáneamente la complejidad del mismo.
Las estimaciones “stepwise” se desarrollan bajo una especificación lineal debido a las características de los datos y con el apoyo del software Stata/SE 12.0 a través de la funcionalidad Statistic – Multilevel mixed-effects models.
El análisis se inicia con el paso 0 (Modelo nulo-ANOVA con efectos aleatorios) en el cual no se incluyen variables explicativas, es decir, se estima un modelo nulo para comprobar la significatividad y luego explicar la varianza, expandiendo el modelo a través de la incorporación de predictores de los dos niveles en la parte fija y aleatoria
Mixed-effects ML regression Deviance = 161611.82 Log likelihood = -80805.908
REND_ACADEMICO Tasa_Repetidores Ciclo Tipo_docente
Tiempo completo
Administrativo
Invitado Edad Rinde_supletorio Rinde_supletorio*Ciclo Repite_materia Repite_materia*Ciclo Participa_chat Participa_foro Participa_video N_comentarios N_accesos_LMS N_accesos_LMS*Tasa_Repetidores N_accesos_LMS*Ciclo _cons Random-effects Parameters AULA: Independent var(Rinde_supletorio) var(Repite_materia) var(Partica_chat) var(Participa_foro) var(Participa_video) var(_cons) var(Residual) LR test vs. linear regression: chi2(6) = 2003.78 Prob > chi2 = 0.00
Se continua con el paso 1 (Explicación del intercepto con variables del nivel 2) se consideran únicamente predictores del nivel 2, con la finalidad de explicar la variabilidad a través de variables del nivel 2.
Para el paso 2 (Significación de las variables explicativas del nivel 1) se ingresan predictores del nivel 1 y estos son los que explican la varianza del rendimiento académico dentro de los grupos. En el paso 3 (Regresión con interacciones y variables de los niveles 1 y 2) se consideran los resultados anteriores para generar una estimación basada en las variables explicativas de los estudiantes y de las aulas que son estadísticamente significativas y se realizan las interacciones multinivel a nivel del alumno con variables explicativas de las aulas.
Finalmente en el paso 4 (Variabilidad en los coeficientes de los predictores del nivel 1), a diferencia del paso 3, se incluye en la parte de efectos aleatorios las pendientes significativas del nivel 1.
Analizando todas las estimaciones para dos niveles (estudiantes y aulas), las estimaciones que explican un mayor porcentaje de la varianza son las del paso 3 y 4, sin embargo, la estimación que mejor se ajusta es la del paso 4, por lo que es este modelo el que se considera como modelo final definitivo para dar respuesta al objetivo prefijado.
El modelo que resulta en el paso 4 se presenta en la Tabla 2 estos datos muestran que después de incluir las interacciones, el componente de la varianza de las pendientes de las variables explicativas del nivel 1 muestra una variación leve pero significativa entre aulas. 5
El modelo final involucra: tres covariables del Nivel 2: tasa de repetidores, ciclo y tipo de docente. Ocho variables del Nivel 1: edad, rinde supletorio, repite materia, participa en chat, participa en foro, participa en video colaboración, N° comentarios, N° accesos al LMS. Cuatro interacciones multinivel. La varianza de cinco pendientes del Nivel 1.
El coeficiente de la variable tasa de repetidores medida en el intervalo [
Otra variable del nivel 2 es la variable ciclo. Los resultados indican que cuando la asignatura se encuentra en un ciclo superior el rendimiento académico incrementa en 0.8 décimas. Esto se puede esperar ya que se considera que conforme un estudiante avanza a ciclos superiores tiene más conocimientos y en cierta forma ha adquirido madurez académica.
La pendiente de la variable tipo de docente influye positivamente sobre el rendimiento académico, ya que, este tiende a subir aproximadamente 1 punto si el docente es administrativo o invitado. Estos resultados se pueden explicar posiblemente por dos razones: la primera sería que los docentes a tiempo completo son más estrictos y la segunda puede ser que estos docentes tienen más créditos o asignaturas a su cargo en comparación a los docentes invitados o administrativos. Estos en sí son dos supuestos, que se deberían de verificar en base a otros aspectos como salario que perciben, número de asignaturas que tienen a su cargo, años de experiencia, etc.
En cuanto a la edad, los resultados indican que por un año más de edad que tenga el
estudiante, el puntaje del rendimiento académico subirá en 0.08 décimas. El
comportamiento de estos resultados coinciden con los planteados por [
El coeficiente de la pendiente de la variable rinde supletorio y su interacción con el ciclo indican que si un estudiante se queda suspenso y está en un ciclo superior el rendimiento académico disminuirá en 0.86 décimas (resultante de la suma de los coeficientes -0.52677 y -0.33669 recogidos en la Tabla 2). Mientras que analizando los resultados de la variable repite materia y su interacción con el ciclo nos muestra que si un estudiante repite la materia y está en un ciclo superior, el rendimiento académico en promedio subirá en 2.6 décimas (resultante de la suma de los coeficientes 2.80826 y -0.24867 recogidos en la Tabla 2).
Todas las variables del enfoque Learning Analytics tienen una relación positiva con
el rendimiento académico, siendo la participación en chat, foro y video-colaboración las
que ocasionan el mayor impacto ya que provocan un incremento de entre 1 y 2 puntos
en el rendimiento académico, afirmando de esta forma que si existe una relación
significativa con el rendimiento académico tal como lo plantean [
Las variables incluidas en la presente investigación permiten identificar cual es la influencia que ejercen sobre el rendimiento académico, estas estimaciones pueden permitir a una institución educativa mejorar la focalización de las intervenciones y los servicios de apoyo a estudiantes en riesgo de problemas académicos.
Los resultados obtenidos dan respuesta a las hipótesis y objetivos planteados, además este trabajo es un punto de partida para futuras investigaciones que consideren que el ámbito tecnológico se está convirtiendo en una de las mejores herramientas de enseñanza aprendizaje, sobre todo en educación a distancia
Todas las variables del enfoque Learning Analytics tienen una influencia positiva sobre el rendimiento académico de estudiantes universitarios, específicamente la participación en chats, foros y video-colaboraciones ocasionan el mayor impacto ya que provocan un incremento de entre 1 y 2 puntos en el rendimiento académico.