=Paper=
{{Paper
|id=Vol-2224/p2
|storemode=property
|title=Tablero Learning Analytics para Trabajar la Metodología Flipped Classroom mediante la Reutilización de MOOCs (Learning Analytics Dashboard to Work the Flipped Classroom Methodology through the Reuse of MOOCs)
|pdfUrl=https://ceur-ws.org/Vol-2224/2.pdf
|volume=Vol-2224
|authors=Cristina Collado-Gómez,Carlos Alario-Hoyos,David Santín-Cristóbal,Francisco Cruz-Argudo,Carlos Delgado Kloos
}}
==Tablero Learning Analytics para Trabajar la Metodología Flipped Classroom mediante la Reutilización de MOOCs (Learning Analytics Dashboard to Work the Flipped Classroom Methodology through the Reuse of MOOCs)==
https://ceur-ws.org/Vol-2224/2.pdf
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
Tablero Learning Analytics para trabajar la metodología
Flipped Classroom mediante la reutilización de MOOCs
Cristina Collado-Gómez1, Carlos Alario-Hoyos2, David Santín-Cristóbal1,
Francisco Cruz-Argudo1, Carlos Delgado Kloos2
1Servicio de Informática y Comunicaciones
2Departamento de Ingeniería Telemática
Universidad Carlos III de Madrid
Av. Universidad, 30, 28911, Leganés (Madrid), Spain
ccollado@di.uc3m.es
Resumen. Que un alumno pueda tener consciencia en tiempo real de cómo
trabaja es esencial para promover su participación en un curso y la
implementación de estrategias de clase invertida. Este trabajo presenta un trabajo
preliminar sobre el desarrollo de un tablero Learning Analytics que se ha
implementado en la plataforma Open edX para dar soporte a MOOCs (Massive
Open Online Courses) y SPOCs (Small Private Online Courses) en la
Universidad Carlos III de Madrid. El nuevo diseño trata de motivar al alumnado,
mostrándoles información de los resultados y estadísticas que están obteniendo
en un cierto curso. Además, al alumno se le concede información acerca de cómo
avanza con respecto a sus compañeros. Después de preguntar a futuros usuarios
su opinión sobre el nuevo tablero Learning Analytics, las respuestas recibidas son
mayoritariamente positivas, recibiendo también sugerencias y opiniones sobre
posibles mejoras que podría tener en un futuro el sistema.
Abstract. That a student can be aware, in real time, of his/her performance is
essential to promote participation in a course and the implementation of flipped
classroom strategies. This work presents a preliminary work on the development
of a Learning Analytics dashboard for the Open edX platform to support MOOCs
(Massive Open Online Courses) and SPOCs (Small Private Online Courses) at
Universidad Carlos III de Madrid. The new design tries to motivate students,
showing them information about the results and statistics they are obtaining in a
course. In addition, the student gets information about his/her progress with
respect to the peers. After asking users their opinion on the new Learning
Analytics dashboard, the answers received are mostly positive, also receiving
suggestions and opinions on possible improvements that the system could have
in the future.
Palabras clave: Open edX, MOOCs, SPOC, Flipped Classroom, Gamificación.
1 Introducción
Hoy en día, la velocidad con la que avanzan las nuevas tecnologías hace que la sociedad
demande nuevas formas y metodologías de aprendizaje. Por ello, la Universidad Carlos
III de Madrid (UC3M) lleva trabajando desde hace años en la incorporación de las
15
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
tecnologías de la información y la comunicación y los contenidos multimedia a la
docencia. Una de las novedades que se han llevado a cabo y que, a la hora de crear
cursos en la docencia presencial se han producido de forma innovadora, es la modalidad
de clase invertida o Flipped Classroom [1], [2].
Esta nueva modalidad busca complementar la enseñanza que se da en un aula
tradicional por medio de actividades que los alumnos deben realizar en casa, de forma
previa a las actividades en el aula. De esta forma, las actividades con baja complejidad
cognitiva (presentación de los conceptos) pasan de llevarse a cabo en aula (mediante la
lección magistral) a realizarse en casa, mientras que las actividades con alta
complejidad cognitiva (aplicación de los conceptos), pasan de llevarse a cabo en casa
en solitario (como deberes tras la clase) a realizarse en el aula, con apoyo del profesor
y de los compañeros.
Pero las estrategias de clase invertida no están exentas de problemas. Uno de los más
importantes es que requiere el compromiso de los alumnos a la hora de realizar las
actividades previas en casa. Para ello, en la UC3M, las actividades previas a realizar
por los alumnos se presentan en forma de contenidos de MOOCs desarrollados por los
equipos docentes, o creados específicamente para una asignatura reglada concreta,
siendo dichos contenidos desplegados en una instancia de la plataforma Open edX.
Además, para incentivar a los alumnos a trabajar previamente en los contenidos del
curso se decidió diseñar y utilizar un sistema de gamificación que traslada la mecánica
de los juegos al ámbito educativo universitario, con el fin de mejorar resultados. Este
sistema se basa en la utilización de tres elementos: la plataforma GEL [3], de uso
exclusivo de docentes y que actualmente gestiona todos los contenidos de los MOOCs
y SPOCs que se producen en la UC3M (control de acceso, seguimiento de
calificaciones…), la aplicación Flip-App [3], donde se lleva a cabo el aprendizaje y la
gamificación (pudiendo obtener los alumnos puntos por el visionado de vídeos, o la
realización de ejercicios, entre otros) y, por último, la plataforma Open edX, donde son
desplegados los cursos y, en este caso, donde se diseña el nuevo tablero Learning
Analytics, para que cada alumno pueda ver cómo trabaja en tiempo real y pueda
compararse con el resto de compañeros de su grupo docente. Precisamente este artículo
presenta el diseño y desarrollo del tablero Learning Analytics y su evaluación
preliminar por un grupo de 15 estudiantes (usuarios finales).
La finalidad de este diseño, por tanto, es doble: por un lado, incentivar al alumnado
a trabajar con antelación y asimilar los contenidos necesarios dentro de su día a día y,
por otro lado, generar información en tiempo real que permita a cada alumno saber
cómo está trabajando, permitiéndole “enfrentarse” de manera adecuada a las clases
presenciales a partir de los datos reales de su actividad. Los datos que se muestran en el
nuevo tablero se extraen tanto del trabajo del alumno en la plataforma Open edX como
de la aplicación Flip-App, siendo ambos sistemas complementarios a través de los
cuales el alumno puede acceder a los contenidos del curso. La dinámica de trabajo es,
por consiguiente, que los contenidos sean accesibles antes de las clases presenciales,
para poder trabajar en ellos, asimilarlos y conseguir el máximo números de puntos
posibles. Además, si el profesor es consciente de que los alumnos han trabajado los
contenidos con antelación, es muy probable que se pueda implementar exitosamente una
clase invertida, dando un mayor protagonismo al alumnado.
16
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
2 Gamificación en el aula
La gamificación educativa [4], [5] es un método que consiste en aplicar nociones,
técnicas y elementos que se enmarcan en el juego, con el fin de propiciar y obtener un
aprendizaje, una causa y un compromiso por parte del alumnado. Es una nueva forma
de aprender que hace que los alumnos aprendan por motivación, y no por obligación.
Los nuevos tiempos y espacios en la educación demandan ciertos estándares,
competencias y medidas de acción destinadas a cambiar la forma en la que los
estudiantes aprenden, teniendo que buscar nuevas metodologías que los motiven a
trabajar. En este proyecto, lo que se busca es, precisamente, y a través de la
gamificación, incentivar al alumnado a trabajar, conociendo en tiempo real cómo está
trabajando el alumno, y pudiéndose comparar con sus compañeros, entrando en una
dinámica competitiva, que después de todo, es lo que buscan las dinámicas lúdicas. A
través de la combinación de gamificación y learning analytics, se busca además
premiar y reconocer el empeño académico de un estudiante durante su proceso
formativo e identificar fácilmente sus avances y progresos para, de esa manera, mejorar
su rendimiento. En este caso, la forma de utilizar la gamificación es a través de puntos
y trofeos “virtuales” que se dan en la aplicación Flip-App, y que se ven reflejados en el
nuevo tablero.
3 Implementación de visualizaciones Learning Analytics
Para empezar a desarrollar el tablero Learning Analytics [6], [7], [8] fue necesario
habilitar una nueva “pestaña” denominada Flip-App en la plataforma Open edX.
Debajo de la pestaña, los alumnos pueden ver sus datos (nombre y correo electrónico)
junto con la posición y los puntos obtenidos hasta la fecha en un curso (Fig. 1). Además,
mediante los gráficos diseñados, el alumno puede obtener información en tiempo real
de su evolución y cómo se encuentra con respecto a su grupo docente.
Fig. 1. Nueva pestaña Flip-App y cabecera del tablero Learning Analytics.
En primer lugar, en el tablero de analíticas se muestran una serie de gráficas con
estadísticas que indican la evolución de cada alumno y de su grupo docente.
3.1 Puntuación y porcentaje de vídeos vistos (Velocímetros)
Hay 8 velocímetros (Fig. 2), cuatro referidos al alumno, y cuatro referidos al grupo al
que pertenece dicho alumno, diferenciándose por el código de colores que tiene cada
uno (rojo, amarillo y verde para el alumno, y gris para el grupo docente).
- Los dos que se encuentran arriba a la izquierda (Fig. 2a) muestran una
comparativa entre la puntuación total del alumno y la media que lleva la clase.
17
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
- Los dos que se encuentran arriba a la derecha (Fig. 2b) muestran una
comparativa de la puntuación que ha obtenido el alumno teniendo en cuenta tan
solo los ejercicios que ha realizado.
- Los dos que se encuentran abajo a la izquierda (Fig. 2c) muestran una
comparativa de la puntuación que ha obtenido el alumno teniendo en cuenta tan
solo los vídeos vistos.
- Por ultimo, los dos que se encuentran abajo a la derecha (Fig. 2d) muestran una
comparativa del porcentaje de vídeos vistos por el alumno y la media de su
grupo docente.
a) b)
c) d)
Fig. 2. Gráfico de puntuación y porcentaje de vídeos vistos (Velocímetros)
3.2 Puntuación en valor absoluto (Barras horizontales)
Este gráfico muestra tres datos diferentes a través de tres barras horizontales distintas
(Fig. 3), y formadas por varios colores, que muestran el valor en forma de puntos que
posee cada una de las semanas. En primer lugar, se muestra la distribución teórica de
puntos que, dependiendo de cada semana, podría conseguir el alumno. En segundo
lugar, se muestra la distribución de puntos que ha obtenido el alumno en cada una de
las semanas que forman el curso. Por ultimo, se muestra la distribución de puntos que
ha obtenido de media la clase en todas las semanas.
Fig. 3. Gráfico de puntuación en valor absoluto (Barras horizontales).
18
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
3.3 Esfuerzo en valor porcentual (Semicírculos)
Al igual que en el gráfico anterior, cada semana se representa con un color diferente,
con la diferencia que en este caso el esfuerzo se representa en valor porcentual en lugar
de en valor absoluto (Fig. 4). El semicírculo exterior muestra el esfuerzo teórico que
debería realizar el alumno en cada una de las semanas que forman el curso. El
semicírculo central muestra el esfuerzo que ha realizado el alumno en cada una de las
semanas que forman el curso. Por ultimo, el semicírculo interior muestra el esfuerzo
que ha realizado de media el grupo docente al que pertenece dicho alumno.
Fig. 4. Gráfico de esfuerzo en valor porcentual (Semicírculos).
3.4 Puntuación (Gráfico de puntos)
En este gráfico (Fig. 5) se muestran tres puntuaciones diferentes por cada semana que
compone el curso. En primer lugar, se muestra la puntuación del alumno. En segundo
lugar, se muestra la media que ha obtenido la clase también por semana de curso. En
tercer lugar, se muestra la puntuación máxima posible que podría haber sacado el
alumno en cada semana que forma el curso.
Fig. 5. Gráfico de puntuación (Gráfico de puntos).
3.5 Puntuación, bonus y donación (Barras verticales)
En este gráfico (Fig. 6) se combinan tanto gráfico de puntos como de barras. El primero
de ellos, de puntos (representado mediante cuadros naranjas) muestra la puntuación
media del grupo docente al que pertenece el alumno por cada semana del curso. El
segundo, también de puntos (representado mediante círculos naranjas) muestra la
puntuación máxima posible que el alumno podría haber llegado a alcanzar con su
19
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
esfuerzo. El gráfico de barras está dividido en tres partes: la parte azul muestra la
puntuación del alumno sin tener en cuenta puntos extra obtenidos mediante bonus y
donaciones entre compañeros; la parte negra muestra, si es que lo hay, el bonus que se
ha conseguido el alumno cada semana; y, por último, la parte verde muestra, al igual
que el bonus y si es que existe, la donación que ha recibido cada alumno por parte de
otros compañeros.
Fig. 6. Gráfico de puntuación, bonus y donación (Barras verticales).
3.6 Tablero de información semanal
En esta última sección de la página se muestran datos de la evolución del alumno en
cada una de las semanas que componen el curso del que está matriculado (Fig. 7). En
primer lugar, se muestra en qué posición se encuentra el alumno con respecto a su
grupo. A continuación, se muestra el nombre de la semana y los puntos que lleva de los
máximos posibles que podría llevar. Por último, se puede ver el porcentaje de
actividades realizadas (vídeos vistos y ejercicios hechos) por semana.
Fig. 7. Tablero de información semanal.
20
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
Este panel da la posibilidad de desplegar más contenido con un mayor índice de
detalle. Si se cliquea sobre el panel principal se muestra el subtema, los vídeos y los
ejercicios que componen un tema y los puntos que ha conseguido un alumno en un
determinado elemento (Fig. 8). Además, se muestra un código de colores (rojo, amarillo
o verde) dependiendo del trabajo que ha realizado el alumno con respecto a vídeos y
ejercicios de cada semana.
Fig. 8. Información detallada del tablero de información semanal.
Para asignar un color, los vídeos se han clasificado de la siguiente forma:
- si el alumno ha visualizado más del ochenta por ciento del vídeo, se muestra en
color verde;
- si el alumno ha visualizado entre el treinta y el ochenta por ciento del video, el
color que aparece es el amarillo;
- si el alumno ha visualizado menos del treinta por ciento, se muestra el color
rojo.
21
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
En cuanto a los ejercicios, la forma de clasificarlos ha sido la siguiente:
- si el alumno ha realizado correctamente en el primer intento el ejercicio, el color
mostrado es el verde;
- si el alumno ha intentado realizar el ejercicio, pero no lo ha conseguido en el
primer intento, el color que se muestra es el amarillo;
- si el alumno no ha intentado realizar el ejercicio, el color que se muestra es el
rojo
4 Evaluación de resultados
En esta sección se lleva a cabo una evaluación del diseño por parte de los alumnos,
donde se busca recoger la opinión de los futuros usuarios. Se reúne a una serie de
alumnos (15 concretamente) y se les muestran las visualizaciones antes de
implementarlas en Open edX. De esta manera se intenta que valoren el tablero Learning
Analytics antes de implementarlo de manera oficial en la UC3M, apreciando posibles
carencias o mejoras. La forma de llevar a cabo esta evaluación ha sido mediante una
encuesta, de donde se desprenden los siguientes resultados:
Pregunta 1: ¿Te gusta el diseño del nuevo tablero Learning Analytics?
Pregunta 2: ¿Crees que aumentará la motivación de los estudiantes para
trabajar en los cursos online con este nuevo tablero?
22
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
Pregunta 3 - apartado 1: ¿Qué gráfico te aporta más información de tu proceso en
el curso online que estás realizando? Si es necesario, incluye algún comentario que
consideres que puede mejorar el diseño.
➢ Velocímetros (5 respuestas)
➢ Distribución de trabajo por puntos (Barras horizontales) (8 respuestas)
➢ Gráfica de puntuación con bonus y donación (Barras verticales) (2 respuestas)
Pregunta 3 - apartado 2: ¿Y menos?
➢ Esfuerzo de trabajo en tanto por ciento (Semicírculos) (11 respuestas)
➢ Gráfica de puntuación (Gráfica de puntos) (1 respuesta)
➢ Gráfica de puntuación con bonus y donación (Barras verticales) (3 respuestas)
Pregunta 4: ¿Cuál es tu nota promedio del tablero Learning Analytics?
➢ 5-6,9 (3 respuestas)
➢ 7-8,9 (11 respuestas)
➢ 9-10 (1 respuesta)
Pregunta 5: ¿Incluirías algún punto, gráfico, dato, mejora, etc. que aportará más
información en el nuevo diseño? Explícalo brevemente.
En esta cuestión, se tuvo constancia de que los estudiantes están muy interesados en
conocer información de otros compañeros. Algunas de las respuestas fueron: indicar
los puntos de media de la clase en cada una de las semanas que conforman el curso,
señalar de qué compañeros has obtenido puntos por donación, o separar el tablero de
información semanal de los gráficos.
5 Conclusiones
Este artículo ha presentado el trabajo preliminar de diseño y desarrollo de un tablero
de Learning Analytics para los estudiantes que utilizan la plataforma Open edX,
particularmente en las asignaturas que implementan estrategias de clase invertida en la
UC3M. Se espera que con este nuevo diseño los alumnos aumenten su motivación y
trabajen con antelación en los MOOCs y SPOCs que se imparten en la UC3M como
paso previo a la implementación de una estrategia de clase invertida. Aunque el tablero
todavía no se ha probado en escenarios reales, a la vista de los resultados preliminares
obtenidos en la encuesta parece que tendrá buena acogida por parte de los estudiantes.
Además, las analíticas que ofrece el panel desarrollado le dan un conocimiento a los
alumnos en tiempo real de cómo están trabajando. Esto se considera uno de los puntos
clave de este diseño, puesto que saber reaccionar al instante es una manera efectiva de
abordar eficazmente el trabajo que se está llevando a cabo. Una vez se ha diseñado el
tablero Learning Analytics, ya se está pensando en cómo se puede mejorar, trabajando,
entre otros muchos desafíos, en la mejora del sistema de gamificación mediante la
inclusión de avatares o la posibilidad de crear retos, o mediante analíticas predictivas.
23
Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018)
Referencias
[1] Hamdan, N., McKnight, P., McKnight, K., & Arfstrom, K. M. (2013). The Flipped Learning
Model: A white paper based on the literature review titled a review of Flipped Learning.
New York, NY: Flipped Learning Network.
[2] The Flipped Classroom. Experiencias y recursos para dar “la vuelta” a la clase
https://www.theflippedclassroom.es
[3] Argudo, F. C. Flip-App o cómo incorporar gamificación a asignaturas “Flipped Classroom”
basado en la plataforma Open edX (2017). Actas de la Jornada de MOOCs en español en
EMOOCs 2017 (EMOOCs-ES), pp. 25-34.
[4] Observatorio de Innovación Educativa del Tecnológico de Monterrey. (2016).
Gamificación. https://observatorio.itesm.mx/edutrendsgamificacion
[5] Foncubierta, J. M. (2014). Didáctica de la gamificación en clase de español. Editorial
Edinumen. https://www.edinumen.es/spanish_challenge/gamificacion_didactica.pdf
[6] Baalsrud-Hauge, J. M., Stanescu, I. A., Arnab, S., Ger, P. M., Lim, T., Serrano-Laguna, A.,
Lameras, P., Hendrix, M., Kiili, K., Ninaus, M., de Freitas, S., Mazzetti, A., Dahlbom, A.
and Degano, C. (2015). Learning Analytics Architecture to Scaffold Learning Experience
through Technology-based Methods. International Journal of Serious Games, 2(1), 29-44
[7] Supporting Higher Education to Integrate Learning Analytics (SHEILA).
http://sheilaproject.eu/
[8] Gutiérrez-Priego, R. (2015). Learning Analytics: instrumento para la mejora del aprendizaje
competencial. https://www.oei.es/historico/divulgacioncientifica/?Learning-analytics-
instrumento
24