Latin American countries shown a low performance in mathematics according standardized tests such as PISA In particular, Chile shows 51.5 % of students have low performance in mathematics. This gures increase in institutions with more vulnerable students. The results motivate the incorporation of b-learning in formal education, using educational platforms such as Khan Academy, which allows students to develop autonomous learning by using available learning resources and leaving traces of their own knowledge building experience. This paper presents a study of academic e ort patterns, using data of the students of an educational institution in Valdivia. The analysis use the participant's temporal behavior and socioeconomic information with the purpose of understanding the risk of failure and school dropout. The nal analysis with clusters shown di erent levels of e ective monthly work throughout the academic year and di erent study pro les. In both analyzes, a strong relationship with academic performance was found, which makes it possible to have better understanding of the learning patterns about who are at greater risk of failing in their studies. The results represent a clear opportunity to provide e ective support to risky students.
La educacion universal es un indicador que re eja el desarrollo de un pa s,
tal como declara la OCDE [
La educacion escolar en America Latina debe hacer frente a altas tasas de
desercion o abandono escolar. Un estudio ha establecido una correlacion entre
el mal rendimiento academico, la baja escolaridad de la madre y la inasistencia,
y su rol preponderante en la decision de abandonar [
La Fundacion San Carlos del Maipo, en Chile, impulsa un sistema para
prevenir la desercion escolar a traves de un Sistema de Alerta Temprana (SAT)
junto con un programa que intenta motivar a los estudiantes con sus colegios a
traves de un espacio recreativo para incentivar a los nin~os a reencontrarse con sus
colegios. SAT considera como factor de riesgo la insistencia a clases, por lo que
provee un seguimiento automatico de las inasistencias de los estudiantes a clases
y activa a una red de profesionales cuya tarea es intervenir preventivamente.
Este sistema ha bene ciado a mas de 7000 estudiantes, logrando disminuir en
promedio un 37% la desercion escolar y aumentar la asistencia en un 79% de
los casos que ingresan al programa [
En este trabajo se propone analizar la informacion recopilada automaticamente durante el an~o 2016 a traves de la plataforma Khan Academy, la cual cuenta con la herramienta BA-Khan (de Blended Analitics y Khan Academy) para recopilar una gran cantidad de datos de las actividades desarrolladas por los estudiantes. Estos datos resultan de utilidad en el analisis automatico de patrones de comportamiento. Por lo tanto, se busca descubrir patrones inherentes en los datos de comportamiento potenciados con informacion socio-economica de los estudiantes. La informacion obtenida desde este estudio de manera automatica representa un soporte concreto para que los establecimientos educacionales comprendan los patrones de comportamiento academicos de sus estudiantes, en particular, los patrones de esfuerzo asociados a la desercion escolar.
Por lo tanto, las preguntas que gu an este trabajo son: RQ1: >La informacion socio-economica determina la desercion escolar? RQ2: >Existen patrones de esfuerzo academico claramente reconocibles entre los participantes? RQ3: >Es posible determinar automaticamente patrones de esfuerzo academico entre los participantes? RQ4: >Existe un patron de esfuerzo academico vinculado a la desercion escolar? 2.
Para este estudio se utilizaron datos recopilados en un establecimiento de educacion secundaria (liceo) en Valdivia-Chile, seleccionado debido a que cuenta con dos an~os de utilizacion de la plataforma BA-Khan. El conjunto de datos construido incorpora informacion socioeconomica, informacion de rendimiento academico y de trabajo de los estudiantes en la plataforma Khan Academy sobre la asignatura de matematicas. Los datos obtenidos corresponden a 281 estudiantes (43.77% hombres), de los cuales 173 pertenecen a primer an~o de educacion secundaria (41.61% hombres).
Para la recoleccion de datos en el establecimiento se siguio el siguiente protocolo: 1) visita al establecimiento, 2) solicitud del consentimiento informado de parte de padres/tutores de los estudiantes con el proposito de obtener los datos requeridos para el analisis, 3) recuperacion de datos de rendimiento academico desde los libros de clases y datos socio-economicos, 4) asegurar la anonimicidad de los estudiantes en los datos y 5) vincular datos academicos, socio-economicos y de comportamiento. En este trabajo solo se consideran los datos correspondientes a los estudiantes del establecimiento en estudio.
La metodolog a b-learning presenta la combinacion de Internet y medios
digitales con clases formales que requieren la presencia f sica de profesor y
estudiantes. Han surgido numerosas adecuaciones que combinan estos dos elementos,
segun Horn, Gu & Evans se pueden diferenciar 4 modelos para b-learning en
la educacion primaria y secundaria: Rotation Model, Flex Model, Self-Blend
model y Enriched-Virtual model [
La herramienta Khan Academy [
(a) Maquina de ejercicios.
(b) Ejercitacion por contenido.
El equipo ha enriquecido las herramientas Khan Academy desarrollando
BAKhan Academy, la que incorpora funcionalidades de apoyo al profesor. BA-Khan
Academy periodicamente consume los servicios de Khan Academy API Explorer
y recopila la informacion del trabajo realizado por cada uno de los estudiantes.
La herramienta tiene principalmente dos macro funcionalidades de apoyo a la
docencia: que son: 1) Apoyo a la evaluacion y cali cacion y 2) Gestion de aula.
Desde la perspectiva del tratamiento de los datos se utilizo los nueve pasos del
metodo KDD (del ingles Knowledge Discovery in Databases)[
Los resultados se encuentran dirigidos por las cuatro preguntas de investigacion de nidas en este estudio. 3.1.
RQ1: >La informacion socio-economica determina la desercion escolar?
Para responder a esta pregunta se analizan mediante la herramienta de IBM Watson Analytics los factores que in uyen en la aprobacion de los estudiantes debido a su relacion estrecha con la desercion escolar. La Figura 2 muestra que la situacion nal se ve in uenciada fuertemente por el Promedio Final, el Promedio de Matematicas y la Asistencia, los tres con un 93%. Por lo que se puede comprobar que obtener buenas cali caciones y asistir regularmente a clases nos lleva a una Situacion Final satisfactoria (Aprobado).
Por otra parte, se analiza como afecta el nivel educacional de los padres en el rendimiento de los estudiantes. Se puede apreciar en el Cuadro 1 que existe una correlacion positiva entre el promedio de matematicas obtenido por los estudiantes y el nivel educacional de los padres. No obstante, cuando la educacion del padre corresponde a Superior Instituto Profesional (SIP) se observa un resultado superior en promedios de matematicas, mientras que el promedio mas bajo se alcanza cuando la educacion del padre corresponde a Basica Incompleta (BI).
RQ2: >Existen patrones de esfuerzo academico claramente reconocibles entre los participantes?
Para responder a esta pregunta se analiza el comportamiento de los estudiantes en la plataforma Khan Academy asociado al aprendizaje de matematicas, extrayendo informacion de los ejercicios realizados por los estudiantes e informacion vinculada a la visualizacion de videos.
El horario del d a en el cual se utiliza mas la plataforma es una variable que determina el esfuerzo academico. Para ello, se determina que el pico de trabajo durante el d a es alcanzado durante la estad a de los estudiantes en el establecimiento educacional, apreciando que 150 estudiantes de primer an~o de secundaria y 100 estudiantes de segundo an~o de secundaria representan el mayor esfuerzo conjunto. El resultado de este analisis fue calculado considerando los datos de todo el an~o 2016 (Figura 3a).
Al analizar la cantidad de ejercicios totales realizados por los estudiantes durante el an~o la cifra asciende a 114.516 en primero de secundaria y 71.049 en segundo de secundaria. Mientras que los cursos con mayor porcentaje de ejercicios realizados alcanzan un mayor rendimiento academico (Figura 3b), por lo que se puede concluir que al realizar mayor cantidad de ejercicios se logran mejores promedios en matematicas.
(a) Horario.
(b) Ejercicios.
Al analizar la cantidad de ejercicios realizados por cada estudiante, se consideran rangos de cali caciones promedio en < 40, < 50, < 60 y <= 70. Luego se calcula el promedio de ejercicios realizados y el promedio de notas para cada rango, ademas de la cantidad de estudiantes promovidos y reprobados. Las Figuras 4a y 4b evidencian que a mayor cantidad de ejercicios resueltos mas alto sera el rango alcanzado por el estudiante en las notas de matematicas. Al momento de hacer ejercicios, los estudiantes tienen la opcion de pedir pistas (count hints) y de realizar varios intentos de respuesta (count attempt). Despues de analizar estos datos para los estudiantes de primero y segundo, no se aprecian variaciones signi cativas en los datos.
(a) Primero medio.
(b) Segundo medio.
Fig. 4: Ejercicios resueltos y promedio de notas.
RQ3: >Es posible determinar automaticamente patrones de esfuerzo academico entre los participantes?
Para responder a esta pregunta se analiza la informacion mensual (de marzo a noviembre) del trabajo realizado por los estudiantes de primero dentro de la plataforma BA-Khan Academy. El numero de estudiantes en cada mes var a debido a que no siempre trabajaron los mismos estudiantes.
Antes de llevar a cabo el analisis de grupos, se estudian los ndices de verosimilitud para el algoritmo de clustering EM con 3 (-32,19) y 6 (-31,47) grupos, los cuales resultan ser similares en cuanto a su con abilidad. Sin embargo, con la obtencion de 3 clusters presenta grupos mas reconocibles debido a que se aprecian caracter sticas que hacen mas facil su diferenciacion.
Posteriormente, se realiza un analisis de cluster mensual con el proposito de obtener una vision de las diferencias de comportamiento de los estudiantes a traves del an~o y, asimismo, observar el cambio de comportamiento de cada estudiante en funcion de los grupos automaticamente reconocidos. En consecuencia, los tres clusters son Trabajo Alto (TA), Trabajo Medio (TM) y Trabajo Bajo (TB), ya que se comprueba que los estudiantes se dividen de acuerdo al esfuerzo academico invertido al momento de hacer ejercicios. As , los nombres de los cluster se de nen en funcion del promedio de ejercicios existente en cada cluster.
Al analizar los patrones de los estudiantes de cada cluster se aprecian claras diferencias. Los estudiantes pertenecientes al cluster TB realizan mas ejercicios a inicio de an~o pero a medida que va pasando el tiempo la cantidad disminuye, volviendo a subir a nales de an~o. Mientras que los estudiantes que pertenecen al cluster TM trabajan de una manera mas constante a lo largo del an~o, siendo este trabajo mayor durante el primer semestre y disminuye de forma notoria en el segundo semestre. Finalmente, para el cluster TA los estudiantes trabajan de manera continua durante todo el an~o. 3.4.
RQ4: >Existe un patron de esfuerzo academico vinculado a la desercion escolar?
Para responder a esta pregunta se analiza el patron de esfuerzo academico de los estudiantes y su relacion con la reprobacion del curso y, en consecuencia, con el riesgo de desercion escolar. Para ello se realiza un nuevo analisis de cluster, descartando del estudio aquellos estudiantes que fueron retirados del establecimiento ya que no es posible determinar su desempen~o academico. En este estudio tambien se utilizo del algoritmo EM, el cual arroja como resultado un numero optimo de tres cluster. La interpretacion de los clusteres nos indica que hay tres tipos de estudiantes, los cuales se pueden clasi car en los siguientes grupos: 1) Estudiante precario (EP), 2) Buen estudiante (BE) y 3) Estudiante Excelente (EE).
En la Tabla 2 se aprecian las caracter sticas de los estudiantes en los diferentes grupos. Se aprecia una fuerte relacion entre el patron de trabajo a lo largo del an~o con los resultados que se obtienen en cuanto a promedios de cali caciones.
En el caso de un estudiante EE, el trabajo mensual en casi todos los meses fue TA y TM y, nalmente, obtiene a nal de an~o una cali cacion promedio de 5,83 (sobre 7,0) en matematicas. Un estudiante EP, que a lo largo del an~o realiza un trabajo TB, lo lleva a un promedio de matematicas menor a un estudiante EE y la asistencia promedio se encuentra cercana al m nimo permitido para aprobar el curso.
Indicador Esfuerzo Promedio PM Promedio PF
En las Figuras 5a y 5b se presenta la cantidad de ejercicios realizados en el primer y segundo semestre academico. Durante el primer semestre se observa que un estudiante EE (cluster 3) trabaja mas que sus pares, siendo muy superior a un estudiante EP (cluster 1) donde se encuentran los estudiantes con menores promedios. Tambien se puede notar que, para los tres cluster el trabajo fue similar en los meses de marzo, septiembre y octubre, por lo que se puede concluir que los estudiantes EE y BE (cluster 2 y 3) con mejores cali caciones disminuyen su trabajo al nalizar el an~o. Esto puede vincularse a que los estudiantes ten an certeza de su aprobacion. En cambio, un estudiante EP (cluster 1) aumenta su trabajo en el ultimo mes, muy probablemente por encontrarse en di cultades de alcanzar la aprobacion. Finalmente, al analizar los ejercicios incorrectos se ve que los estudiantes pertenecientes a EE (cluster 3) en general cometen mas errores, pero debe considerarse que este grupo es el que mas ejercicios realiza y que realizar ejercicios incorrectos tambien es una v a de aprendizaje. (a) Primer semestre.
(b) Segundo semestre.
Fig. 5: Ejercicios resueltos y promedio de notas.
Respecto de las preguntas de investigacion planteadas podemos concluir lo siguiente: 1. >La informacion socio-economica determina la desercion escolar? Si bien los resultados arrojan una cierta relacion entre el ingreso familiar y la desercion, esta relacion es indirecta pues la in uencia se ve ejercida por el nivel de asistencia a clases. Por otra parte dado el contexto de vulnerabilidad del establecimiento los ingresos familiares son muy similares y rondan el ingreso m nimo legal. Por tanto no podemos a rmar que el ingreso familiar en establecimeintos educacionales de vulnerabilidad determinen la desercion escolar. 2. >Existen patrones de esfuerzo academico claramente reconocibles entre los participantes? En este caso, los resultados nos permiten a rmar que existen claros patrones de comportamientos en el uso de la plataforma Khan Academy y que las caracter sitcas que de nen el comportamiento estan vinculadas principalmente a esfuerzo, esto es, cantidad de ejercicios realizados, sin importar la correctitud de ellos y las pistas revisadas para realizar la ejercitacion. Por tanto cobra vital importancia la labor docente que debe fomentar la ejercitacion de los estudiantes sin reprender en los casos de error. 3. >Es posible determinar automaticamente patrones de esfuerzo academico entre los participantes? La determinacion del esfuerzo academico a partir de las caracteristicas relevadas del uso de la plataforma esta construida a partir de datos de recopilacion automatica, por ende, es posible la determinacion automatica de patrones de esfuerzo academico en la medida que el proceso de limpieza y normalizacion de los datos pueda ser realizada de manera automatica. 4. >Existe un patron de esfuerzo academico vinculado a la desercion escolar? Al analizar el patron de ejercitacion mensual por grupos de estudiantes se concluye que el esfuerzo academico y la constancia contribuyen positivamente en el desempen~o academico, disminuyendo el riesgo de desercion y reprobacion. Ademas cobra relevancia el trabajo realizado en los primeros meses de clases, pues los resultados muestran que los estudiantes con bajo esfuerzo no logran repuntar durante el an~o, por ende se podr a considerar que los primeros tres meses son representativos del trabajo durante el resto del an~o.
De esta manera y de acuerdo a los descrito en la literatura, este trabajo
constribuye a entender como los patrones de uso de plataformas educativas pueden
servir para determinar el riesgo escolar de los estudiantes, principalmente porque
al incorporar la metodolog a b-learning al contexto formal se puede recopilar de
manera automatica datos que pueden ser traducidos en asistencia, indicador
clave de la desercion escolar [