That a student can be aware, in real time, of his/her performance is essential to promote participation in a course and the implementation of flipped classroom strategies. This work presents a preliminary work on the development of a Learning Analytics dashboard for the Open edX platform to support MOOCs (Massive Open Online Courses) and SPOCs (Small Private Online Courses) at Universidad Carlos III de Madrid. The new design tries to motivate students, showing them information about the results and statistics they are obtaining in a course. In addition, the student gets information about his/her progress with respect to the peers. After asking users their opinion on the new Learning Analytics dashboard, the answers received are mostly positive, also receiving suggestions and opinions on possible improvements that the system could have in the future.
Hoy en día, la velocidad con la que avanzan las nuevas tecnologías hace que la sociedad
demande nuevas formas y metodologías de aprendizaje. Por ello, la Universidad Carlos
III de Madrid (UC3M) lleva trabajando desde hace años en la incorporación de las
tecnologías de la información y la comunicación y los contenidos multimedia a la
docencia. Una de las novedades que se han llevado a cabo y que, a la hora de crear
cursos en la docencia presencial se han producido de forma innovadora, es la modalidad
de clase invertida o Flipped Classroom [
Esta nueva modalidad busca complementar la enseñanza que se da en un aula tradicional por medio de actividades que los alumnos deben realizar en casa, de forma previa a las actividades en el aula. De esta forma, las actividades con baja complejidad cognitiva (presentación de los conceptos) pasan de llevarse a cabo en aula (mediante la lección magistral) a realizarse en casa, mientras que las actividades con alta complejidad cognitiva (aplicación de los conceptos), pasan de llevarse a cabo en casa en solitario (como deberes tras la clase) a realizarse en el aula, con apoyo del profesor y de los compañeros.
Pero las estrategias de clase invertida no están exentas de problemas. Uno de los más
importantes es que requiere el compromiso de los alumnos a la hora de realizar las
actividades previas en casa. Para ello, en la UC3M, las actividades previas a realizar
por los alumnos se presentan en forma de contenidos de MOOCs desarrollados por los
equipos docentes, o creados específicamente para una asignatura reglada concreta,
siendo dichos contenidos desplegados en una instancia de la plataforma Open edX.
Además, para incentivar a los alumnos a trabajar previamente en los contenidos del
curso se decidió diseñar y utilizar un sistema de gamificación que traslada la mecánica
de los juegos al ámbito educativo universitario, con el fin de mejorar resultados. Este
sistema se basa en la utilización de tres elementos: la plataforma GEL [
La finalidad de este diseño, por tanto, es doble: por un lado, incentivar al alumnado a trabajar con antelación y asimilar los contenidos necesarios dentro de su día a día y, por otro lado, generar información en tiempo real que permita a cada alumno saber cómo está trabajando, permitiéndole “enfrentarse” de manera adecuada a las clases presenciales a partir de los datos reales de su actividad. Los datos que se muestran en el nuevo tablero se extraen tanto del trabajo del alumno en la plataforma Open edX como de la aplicación Flip-App, siendo ambos sistemas complementarios a través de los cuales el alumno puede acceder a los contenidos del curso. La dinámica de trabajo es, por consiguiente, que los contenidos sean accesibles antes de las clases presenciales, para poder trabajar en ellos, asimilarlos y conseguir el máximo números de puntos posibles. Además, si el profesor es consciente de que los alumnos han trabajado los contenidos con antelación, es muy probable que se pueda implementar exitosamente una clase invertida, dando un mayor protagonismo al alumnado. 2
La gamificación educativa [
Para empezar a desarrollar el tablero Learning Analytics [
Los dos que se encuentran arriba a la derecha (Fig. 2b) muestran una comparativa de la puntuación que ha obtenido el alumno teniendo en cuenta tan solo los ejercicios que ha realizado.
Los dos que se encuentran abajo a la izquierda (Fig. 2c) muestran una comparativa de la puntuación que ha obtenido el alumno teniendo en cuenta tan solo los vídeos vistos.
Por ultimo, los dos que se encuentran abajo a la derecha (Fig. 2d) muestran una comparativa del porcentaje de vídeos vistos por el alumno y la media de su grupo docente. Este gráfico muestra tres datos diferentes a través de tres barras horizontales distintas (Fig. 3), y formadas por varios colores, que muestran el valor en forma de puntos que posee cada una de las semanas. En primer lugar, se muestra la distribución teórica de puntos que, dependiendo de cada semana, podría conseguir el alumno. En segundo lugar, se muestra la distribución de puntos que ha obtenido el alumno en cada una de las semanas que forman el curso. Por ultimo, se muestra la distribución de puntos que ha obtenido de media la clase en todas las semanas. 3.3
Al igual que en el gráfico anterior, cada semana se representa con un color diferente, con la diferencia que en este caso el esfuerzo se representa en valor porcentual en lugar de en valor absoluto (Fig. 4). El semicírculo exterior muestra el esfuerzo teórico que debería realizar el alumno en cada una de las semanas que forman el curso. El semicírculo central muestra el esfuerzo que ha realizado el alumno en cada una de las semanas que forman el curso. Por ultimo, el semicírculo interior muestra el esfuerzo que ha realizado de media el grupo docente al que pertenece dicho alumno. En este gráfico (Fig. 5) se muestran tres puntuaciones diferentes por cada semana que compone el curso. En primer lugar, se muestra la puntuación del alumno. En segundo lugar, se muestra la media que ha obtenido la clase también por semana de curso. En tercer lugar, se muestra la puntuación máxima posible que podría haber sacado el alumno en cada semana que forma el curso.
En este gráfico (Fig. 6) se combinan tanto gráfico de puntos como de barras. El primero de ellos, de puntos (representado mediante cuadros naranjas) muestra la puntuación media del grupo docente al que pertenece el alumno por cada semana del curso. El segundo, también de puntos (representado mediante círculos naranjas) muestra la puntuación máxima posible que el alumno podría haber llegado a alcanzar con su esfuerzo. El gráfico de barras está dividido en tres partes: la parte azul muestra la puntuación del alumno sin tener en cuenta puntos extra obtenidos mediante bonus y donaciones entre compañeros; la parte negra muestra, si es que lo hay, el bonus que se ha conseguido el alumno cada semana; y, por último, la parte verde muestra, al igual que el bonus y si es que existe, la donación que ha recibido cada alumno por parte de otros compañeros. En esta última sección de la página se muestran datos de la evolución del alumno en cada una de las semanas que componen el curso del que está matriculado (Fig. 7). En primer lugar, se muestra en qué posición se encuentra el alumno con respecto a su grupo. A continuación, se muestra el nombre de la semana y los puntos que lleva de los máximos posibles que podría llevar. Por último, se puede ver el porcentaje de actividades realizadas (vídeos vistos y ejercicios hechos) por semana. Este panel da la posibilidad de desplegar más contenido con un mayor índice de detalle. Si se cliquea sobre el panel principal se muestra el subtema, los vídeos y los ejercicios que componen un tema y los puntos que ha conseguido un alumno en un determinado elemento (Fig. 8). Además, se muestra un código de colores (rojo, amarillo o verde) dependiendo del trabajo que ha realizado el alumno con respecto a vídeos y ejercicios de cada semana.
Para asignar un color, los vídeos se han clasificado de la siguiente forma: si el alumno ha visualizado más del ochenta por ciento del vídeo, se muestra en color verde; si el alumno ha visualizado entre el treinta y el ochenta por ciento del video, el color que aparece es el amarillo; si el alumno ha visualizado menos del treinta por ciento, se muestra el color rojo. En cuanto a los ejercicios, la forma de clasificarlos ha sido la siguiente: - si el alumno ha realizado correctamente en el primer intento el ejercicio, el color mostrado es el verde; - si el alumno ha intentado realizar el ejercicio, pero no lo ha conseguido en el primer intento, el color que se muestra es el amarillo; - si el alumno no ha intentado realizar el ejercicio, el color que se muestra es el rojo 4
En esta sección se lleva a cabo una evaluación del diseño por parte de los alumnos, donde se busca recoger la opinión de los futuros usuarios. Se reúne a una serie de alumnos (15 concretamente) y se les muestran las visualizaciones antes de implementarlas en Open edX. De esta manera se intenta que valoren el tablero Learning Analytics antes de implementarlo de manera oficial en la UC3M, apreciando posibles carencias o mejoras. La forma de llevar a cabo esta evaluación ha sido mediante una encuesta, de donde se desprenden los siguientes resultados:
➢ Velocímetros (5 respuestas) ➢ Distribución de trabajo por puntos (Barras horizontales) (8 respuestas) ➢ Gráfica de puntuación con bonus y donación (Barras verticales) (2 respuestas)
➢ Esfuerzo de trabajo en tanto por ciento (Semicírculos) (11 respuestas) ➢ Gráfica de puntuación (Gráfica de puntos) (1 respuesta) ➢ Gráfica de puntuación con bonus y donación (Barras verticales) (3 respuestas)
➢ 5-6,9 (3 respuestas) ➢ 7-8,9 (11 respuestas) ➢ 9-10 (1 respuesta)
En esta cuestión, se tuvo constancia de que los estudiantes están muy interesados en conocer información de otros compañeros. Algunas de las respuestas fueron: indicar los puntos de media de la clase en cada una de las semanas que conforman el curso, señalar de qué compañeros has obtenido puntos por donación, o separar el tablero de información semanal de los gráficos. 5
Este artículo ha presentado el trabajo preliminar de diseño y desarrollo de un tablero de Learning Analytics para los estudiantes que utilizan la plataforma Open edX, particularmente en las asignaturas que implementan estrategias de clase invertida en la UC3M. Se espera que con este nuevo diseño los alumnos aumenten su motivación y trabajen con antelación en los MOOCs y SPOCs que se imparten en la UC3M como paso previo a la implementación de una estrategia de clase invertida. Aunque el tablero todavía no se ha probado en escenarios reales, a la vista de los resultados preliminares obtenidos en la encuesta parece que tendrá buena acogida por parte de los estudiantes. Además, las analíticas que ofrece el panel desarrollado le dan un conocimiento a los alumnos en tiempo real de cómo están trabajando. Esto se considera uno de los puntos clave de este diseño, puesto que saber reaccionar al instante es una manera efectiva de abordar eficazmente el trabajo que se está llevando a cabo. Una vez se ha diseñado el tablero Learning Analytics, ya se está pensando en cómo se puede mejorar, trabajando, entre otros muchos desafíos, en la mejora del sistema de gamificación mediante la inclusión de avatares o la posibilidad de crear retos, o mediante analíticas predictivas.
Education
Integrate
Learning
Analytics (SHEILA).