=Paper= {{Paper |id=Vol-2231/LALA_2018_paper_35 |storemode=property |title=MyMOOCSpace: Herramienta de juego móvil para fomentar el aprendizaje colaborativo y motivar la preparación de exámenes en cursos presenciales de Ingeniería(MyMOOCSpace: mobile game tool to foster collaborative learning and motivate assessments preparation in face-to-face engineering courses) |pdfUrl=https://ceur-ws.org/Vol-2231/LALA_2018_paper_35.pdf |volume=Vol-2231 |authors=Luis Ramírez-Donoso,Mar Pérez-Sanagustín,Andrés Neyem }} ==MyMOOCSpace: Herramienta de juego móvil para fomentar el aprendizaje colaborativo y motivar la preparación de exámenes en cursos presenciales de Ingeniería(MyMOOCSpace: mobile game tool to foster collaborative learning and motivate assessments preparation in face-to-face engineering courses)== https://ceur-ws.org/Vol-2231/LALA_2018_paper_35.pdf
         MyMOOCSpace: Mobile Game Tool to Foster
        Collaborative Learning and Motivate Assessments
        Preparation in Face-to-Face Engineering Courses

             Luis Ramírez-Donoso1,2, Mar Pérez-Sanagustín1, Andrés Neyem1
    1
        Pontificia Universidad Católica de Chile, Av. Vicuña Mackenna 486, Santiago, Chile
                              {llramirez, mar.perez, aneyem}@uc.cl
               2
                 Universidad Bernardo O’Higgins, Avda. Viel, 1497, Santiago, Chile
                                       luis.ramirez@ubo.cl



         Abstract. The evaluations in traditional university courses are still an accepted
         tool to validate the knowledge acquired in the different subjects.
         MyMOOCSpace is a cloud-based tool that encourages the interaction of students
         participating in a course. However, a variation of this tool supports collaborative
         learning and motivation for exam preparation in a traditional, classroom-based
         higher education classroom. This article presents a study on this context, which
         evaluated the impact on the results of the evaluations, using the tool as the basis
         for the study and preparation. The case study involved 40 students of computer
         engineering from a Chilean university and its results show that MyMOOCSpace
         generates a positive increase in student interaction with respect to the subjects
         covered in the course, and that it increased motivation and assistance in the study
         and preparation for the final exam of the course.

         Keywords: Collaborative Learning, MOOCs, Cloud Systems, Gamification,
         Face-to-Face Courses, Mobile Learning.


1        Introducción

   Tradicionalmente, un proceso de evaluación es considerado como una medida del
aprendizaje de un estudiante en una materia particular y que en muchos casos puede
tener el propósito de hacer un diagnóstico, definir objetivos y verificar si éstos se han
alcanzado. Con el fin de verificar las mejoras en el aprendizaje colaborativo y propor-
cionar un incentivo diferente para que los estudiantes de un curso se preparen a una
evaluación, este artículo presenta los resultados de un quasi-experimento aplicado en
un curso universitario tradicional y presencial (Ciencia y Tecnología del Mundo Digital
dictado en la Pontificia Universidad Católica de Chile), utilizando la herramienta My-
MOOCSpace, como una alternativa para el estudio en grupo dentro y fuera del aula.
   Entre los aspectos identificados en el área de Aprendizaje Colaborativo Asistido por
Computadora (CSCL, por sus siglas en inglés), hay comportamientos típicos en la
forma en que los estudiantes se preparan para un examen. De acuerdo con Reyes Tejada
(2003)(Reyes Tejada, 2003), existe una correlación significativa entre el rendimiento
2

académico, la ansiedad en los exámenes, los rasgos de personalidad, el autoconcepto y
la asertividad del estudiante con respecto a cómo preparar las evaluaciones en sus asig-
naturas. Por otro lado, Furlan (2008)(Furlan, Kohan Cortada, Piemontesi, & Heredia,
2008), concluye que los procesos de atención de alumnos posee correlaciones negativas
con la ansiedad en los exámenes y correlaciones positivas con el enfrentamiento a los
problemas.
   En este contexto, se preparó una versión especial de la herramienta MyMOOCSpace
original para este estudio(Ramírez-Donoso et al., 2017). Esta variación corresponde a
la aplicación de la herramienta en un curso presencial tradicional con preguntas de todas
las materias vistas en el curso para que los grupos de alumnos puedan jugar una carrera
espacial, validando así el nivel de colaboración existente en cada grupo y otorgando
una forma diferente y divertida de estudiar antes de un examen final.
   Para validar y evaluar este análisis a través de la aplicación móvil, proponemos un
caso de estudio que contempla un quasi-experimento con 40 personas del curso, cuyo
objetivo es responder a la siguiente pregunta de investigación: ¿Cómo mejora My-
MOOCSpace el aprendizaje colaborativo durante la preparación de evaluaciones pre-
senciales en cursos de educación superior de Inegniería? Los resultados de este quasi-
experimento reflejan el nivel de interacción entre los estudiantes durante la preparación
del examen final del curso y la motivación para estudiar de una manera diferente las
materias organizadas en el.
   La Sección II revisa la literatura en colaboración efectiva con la tecnología y la ga-
mificación. En la sección III se presenta la metodología aplicada en esta línea de in-
vestigación y cómo se utilizó para la investigación en curso. En la sección IV se pre-
senta la dinámica de la herramienta. En la sección V se presenta la evaluación contro-
lada del caso de estudio. El artículo termina con la Sección VI de conclusiones y tra-
bajos futuros.


2      Estado del Arte

   Una revisión de la literatura sobre CSCL nos ha llevado a identificar varios aspectos
importantes que contribuyen a fomentar la colaboración en los cursos de ingeniería.
Uno de ellos es el uso de las tecnologías móviles y la gamificación que permiten diver-
sas experiencias, facilitando la continuación del aprendizaje a través de diferentes dis-
positivos(Wong, Milrad, & Specht, 2015).

   A.    Aprendizaje colaborativo efectivo
   El aprendizaje colaborativo es un factor relevante y de gran importancia para lograr
la motivación y posterior participación de los alumnos en el estudio de las asignaturas
de un curso presencial(Järvelä, Volet, & Järvenoja, 2010). En el área de colaboración y
CSCL, existen importantes variables que ayudan a fomentar la colaboración. En este
contexto, Johnson & Johnson (1999)(Johnson & Johnson, 1999) proponen algunos as-
pectos fundamentales que deben ser considerados en la promoción de un ambiente co-
laborativo. Tres de los principales aspectos son considerados en esta evaluación:
   1.    Objetivo común entre los participantes del curso.
                                                                                        3

   2.    Una interdependencia positiva entre las acciones de cada participante.
   3.    Responsabilidad individual de las actividades a realizar en el curso.
   A través de la colaboración, se genera una oportunidad de impacto en la interacción
y participación de los estudiantes, logrando un mejor aprendizaje grupal en compara-
ción con el proceso de aprendizaje individual de acuerdo con Gadelha, Gomes, Fucks
& Castro (2008)(Gadelha, Gomes, Fuks, & Castro Jr., 2008).

   B.     Fomentar la colaboración a través de la tecnología móvil y la Gamificación
   Otros enfoques utilizados en los últimos años para fomentar la colaboración en en-
tornos educativos son los juegos en conjunto con las tecnologías móviles. Estudios re-
cientes han indicado que el futuro de los estudios con el acceso a las asignaturas de un
curso está en los smartphones(González & Area, 2013). De hecho, el creciente uso de
dispositivos móviles en los últimos años ha llevado a muchos investigadores a sugerir
una tendencia hacia aplicaciones ubicuas(Shaun Beaty, 2016), que proporcionan conti-
nuidad y experiencias de aprendizaje dentro del contexto. Como afirman Bruns y
Humphreys (2005)(Bruns & Humphreys, 2005), Los dispositivos móviles son espacios
de comunicación ideales para desarrollar algunas de las habilidades críticas, colabora-
tivas y creativas de los estudiantes, así como nuevas competencias digitales.
   Sin embargo, estas herramientas no poseen dentro de sus principales funciones, mo-
tivar o aplicar diferentes técnicas de estudio basadas en la dinámica del juego. Algunos
autores sugieren diferentes dinámicas para promover la colaboración y actividades de
estudio para preparar exámenes(Štogr, 2012). Guitert y Pérez-Mateo (2013)(Guitert &
Pérez-Mateo, 2013) consideran, que el interés y los objetivos comunes construyen el
entorno colaborativo. Guerrero y Revuelta-Domínguez (2013)(Revuelta-Domínguez,
2013), analizaron la interdependencia positiva como un punto fundamental para forta-
lecer la responsabilidad del grupo. Sin embargo, aunque estos estudios proponen enfo-
ques interesantes para promover la colaboración, ninguno de ellos ha sido probado en
entornos que incluyan componentes de Gamificación y menos para la preparación de
pruebas o exámenes presenciales.


3      Metodología

   En el proceso de investigación y diseño de MyMOOCSpace, se utilizó la metodolo-
gía Design Based Research (DBR)(Wang & Hannafin, 2005). Esta metodología integra
el diseño de los procesos de aprendizaje. El objetivo de DBR es estudiar un único en-
torno de aprendizaje a medida que pasa a través de múltiples iteraciones para desarrollar
nuevas teorías, mecanismos y prácticas que también pueden aplicarse generalmente a
otras plataformas de cursos (Barab & Squire, 2004). DBR permite a los investigadores
trabajar en un producto o aplicación en su contexto real e iterativo, mejorar para obtener
un diseño aplicable a otras plataformas. (Ver Figura 1.)
4




    Figura 1. "Investigación basada en el diseño (DBR)". Adaptado (Wang & Hannafin, 2005)

   Este estudio presenta el trabajo realizado en las fases primera, segunda y tercera de
la Figura 1. En la primera etapa de la Exploración Informada, surgieron varios requeri-
mientos sobre los diversos aspectos recomendados por la literatura para generar cola-
boración en los ambientes de aprendizaje(Johnson & Johnson, 1999), destacando algu-
nos signos de comportamiento social y patrones de interacción y participación(Daniels,
2009),(Verma, Sood, & Kalra, 2017). En la segunda etapa, y de acuerdo con la litera-
tura, se diseñan ciertas dinámicas para satisfacer los aspectos colaborativos derivados
del CSCL para cursos presenciales e integrarlos con dinámicas de gamificación y pla-
taformas móviles, logrando una mejor distribución, proximidad al estudiante e interac-
ción con el curso. En la tercera fase de la metodología se ha evaluado la usabilidad y la
experiencia del usuario en la preparación del examen, permitiendo recoger feedback
directo para la mejora continua de la herramienta y para la realización de quasi-experi-
mentos que validen los aspectos dinámicos y de colaboración propuestos en los dife-
rentes cursos presenciales.


4      Dinámica de MyMOOCSpace en cursos presenciales

   MyMOOCSpace es un sistema móvil basado en la nube (CMS) que tiene como ob-
jetivo promover la colaboración entre los estudiantes de un curso presencial y fomentar
el estudio y preparación antes de las evaluaciones del curso, utilizando elementos de
gamificación. En el diseño de la plataforma se tuvo en cuenta tres aspectos de la cola-
boración, que se destacan en la literatura(Suárez Guerrero & Gros Salvat, 2013). Estos
aspectos motivan a los estudiantes a trabajar juntos hacia una meta común, generando
interdependencia positiva dentro del equipo y creando responsabilidades individuales
para que cada estudiante apoye el progreso del grupo.

   A.     Dinámica de juego
   La dinámica de MyMOOCSpace está dada por un circuito espacial, jugado en equi-
pos. Cada equipo lo conforman 3 o 4 participantes seleccionados al azar del curso. El
objetivo del juego es que cada equipo responda preguntas de opción múltiple o alterna-
tivas en el menor tiempo posible. Todas las preguntas son generadas por el profesor en
la plataforma y consideran los contenidos vistos en clase. Cuantas más respuestas co-
rrectas obtenga el equipo, mayor será el puntaje otorgado (Cheong, Bruno, & Cheong,
2012).
   El equipo puede avanzar a través de las etapas del juego si y sólo si cada miembro
ha respondido correctamente al menos una pregunta oficial. Dado que cada miembro
                                                                                          5

del equipo debe contribuir a un mayor progreso en el juego, vinculamos los aspectos
de colaboración (responsabilidad individual ,objetivo común, interdependencia posi-
tiva). Las etapas del juego se representan como planetas correspondientes a diferentes
capítulos de los temas vistos en el aula.
   La pregunta oficial corresponde a la pregunta que cada miembro del equipo debe
responder en el menor tiempo posible. Esta pregunta es lo que ganará los puntos del
equipo. Los participantes pueden practicar mientras otros miembros del equipo respon-
den a las preguntas oficiales. Si es hora de contestar la pregunta oficial y el participante
no conoce la respuesta, puede pasarle la pregunta a otro compañero antes de que se
termine el tiempo para que el equipo no pierda puntos. Al pasar la pregunta oficial, el
participante sólo puede seleccionar a los compañeros que aún no han respondido. De
esta manera, vinculamos el aspecto de la colaboración con la interdependencia positiva,
fomentando la interacción dentro del equipo para lograr el objetivo común en cada
etapa.
   Por otro lado, la aplicación incluye una función de chat como herramienta funda-
mental para generar interacción y relaciones entre los participantes de un equipo. Esta
herramienta vincula la dinámica del juego con los tres aspectos de la colaboración en
cuestión, permitiendo a los alumnos fomentar una mayor comunicación para avanzar
en las etapas y superar las dificultades del contenido de cada planeta.
   El equipo ganador es quien gana más puntos después de haber completado todos los
planetas (temas del curso presencial).
   En la Figura 2, vemos una parte del juego MyMOOCSpace donde el participante
puede seleccionar el curso en el aula en la que quiere inscribirse (Figura 2a). La Figura
2b representa el circuito completo del curso seleccionado, en el que cada planeta refleja
los capítulos del curso presencial. La Figura 2c muestra cómo los participantes cono-
cerán a su equipo y cómo pueden responder a la pregunta oficial, junto con el modo de
práctica que cada estudiante puede utilizar. Finalmente, la Figura 2d muestra cómo se
muestran las preguntas, resaltando la cantidad de tiempo que el participante tiene para
responder. La Figura 2d también muestra lo fácil que es acceder a las herramientas de
chat y estadísticas en cualquier momento mientras se usa la aplicación.
6

     Figura 2: (a) Selección de cursos para la ejecución del juego; (b) Circuito completo del
 juego que muestra los planetas que deben ser completados; (c) Presentación del equipo con la
opción de practicar y contestar la prueba oficial; (d) Pregunta oficial con alternativas y tempori-
                                              zador.


5      Evaluación: Un Caso de Estudio Controlado (Quasi-
       Experimento)

   Uno de los aspectos relevantes dentro de la metodología DBR es la evaluación a
nivel local (fase 3) para lograr resultados concretos en las etapas preliminares antes del
lanzamiento definitivo del producto. El objetivo de este experimento es medir eficaz-
mente el nivel de interacción de los estudiantes que colaboran en un curso presencial
mientras se preparan para realizar un examen final de las asignaturas del curso, utili-
zando la aplicación MyMOOCSpace. Cuarenta alumnos del curso "Informática: Cien-
cia y Tecnología del Mundo Digital" de la Pontificia Universidad Católica de Chile
participó en este experimento. El rango de edad promedio es de 23 años, y oscila entre
los 20 y los 25 años de edad. El 70% de los estudiantes eran hombres y el 30% mujeres.
Todos ellos tienen formación universitaria, ya que son estudiantes de ingeniería de la
facultad de ingeniería de esta universidad.

   A.    Diseño del quasi-experimento
   La metodología aplicada en este experimento consistió en formar grupos de estu-
diantes con 4 miembros, para un total de 10 grupos. Se pidió a cada grupo que trabajara
en conjunto para progresar en el juego. El progreso en el juego corresponde al avance
de cada grupo en las diferentes etapas. Estas etapas son los planetas del juego (módulos
visto en clases presenciales y que los alumnos tienen como material de estudio publi-
cado por el profesor). Como parte del proceso del quasi-experimento, cada estudiante
recibió en un inicio y al final del quasi-experimento un cuestionario para evaluar el
nivel de interacción y colaboración que se generaba en cada equipo.

   B.    Herramientas de medición
   Para medir el nivel de colaboración entre los estudiantes, no encontramos un instru-
mento específico en la literatura (o revisión literaria) que se ajuste al contexto de este
quasi-experimento. Por lo tanto, se desarrollaron dos cuestionarios para el propósito de
este estudio: uno para ser aplicado antes del comienzo del juego y otro para ser aplicado
después de la finalización del quasi-experimento.
   Cuestionario Inicial: Este cuestionario recoge los elementos propuestos por
PISA(OECD, 2013) para medir las habilidades individuales de cada estudiante en la
resolución colaborativa de problemas (CPS). A parte de las tres habilidades principales
de los CPS, se hace un punto de intersección con las cuatro etapas de resolución de
problemas y se obtiene una matriz de habilidades que indica las competencias del estu-
diante (Tabla I). Para evaluar cada criterio, se utilizaron y evaluaron preguntas en una
escala de Likert con valores de 1 (mínimo) a 5 (máximo), con un total de 21 preguntas.
                                                                                           7

                   Dimensión            Sub-dimensiones              Resultados
                                  1. Establecer y mantener un
                                  entendimiento compartido
                                  2. Tomar las medidas ade-
                Habilidades-
                                  cuadas para resolver el pro-
                CPS
                                  blema
                                  3. Establecer y mantener la     Matriz de las
                                  organización del equipo         habilidades de
                                                                  los CPS de un
                                  1. Exploración y compren-       estudiante
                                  sión
                Resolución de     2. Representación y para-mu-
                Problemas         lación
                                  3. Planificación y ejecución
                                  4. Seguimiento y reflexión
                                   Tabla I: “Habilidades CPS”

   De estas competencias surgen tres niveles de habilidades de los CPS, los cuales están
directamente relacionados con el comportamiento esperado de un estudiante que debe
colaborar cuando trabaja en equipo (Bajo, Mediano, Alto).
   Cuestionario final: Este cuestionario evalúa el rendimiento del equipo después de
completar la experiencia con el curso y la aplicación MyMOOCSpace. Para ello, se
realiza una evaluación de las cuatro dimensiones propuestas por Smith-Jentsch
(1998)(Smith-Jentsch, Zeisig, Acton, & McPherson, 1998), agrupadas bajo el nombre
de Team Dimensional Training (TDT): Intercambio de información, o lo que se ha in-
formado; comunicación, la forma en que se ha transmitido la información; comporta-
miento de apoyo; iniciativa y liderazgo. Cada dimensión fue evaluada con preguntas en
una escala de Likert con valores de 1 a 5, con un total de 15 preguntas. A partir de estas
dimensiones, existen tres valores posibles para el rendimiento del equipo (Bajo, Me-
diano, Alto).

   C.     Resultados
   En la tabla II se presentan los resultados globales obtenidos a partir de los cuestio-
narios inicial y final, respectivamente. El análisis de los datos se realizó en base a si los
resultados respondían a la pregunta de investigación: ¿Cómo mejora MyMOOCSpace
el aprendizaje colaborativo durante la preparación de evaluaciones presenciales en cur-
sos de educación superior de Ingeniería?

                    Ranking de estudiantes en Habilidades CPS (40 estudiantes)
                      Low                   Medium                     High
                    4 (10%)                 17 (43%)                 19 (48%)
                         Ranking de estudiantes en TDT (40 estudiantes)
                      Low                   Medium                     High
                    5 (13%)                 18 (45%)                 17 (43%)
            Tabla II: “Calificación de los estudiantes en las dimensiones Evaluadas”

   En cuanto a maximizar las posibilidades de colaboración entre los alumnos del curso
presencial, los datos obtenidos de la plataforma, junto con los comentarios expresados
por los alumnos, validan MyMOOCSpace como una herramienta que permite la inter-
acción y colaboración en los procesos de estudio para la preparación de evaluaciones
8

y/o exámenes. Los estudiantes apreciaron las dinámicas de colaboración, fueron consi-
deradas atractivas e innovadoras en comparación con lo que ofrecen los sistemas actua-
les de colaboración y/o estudio.
   Por lo tanto, la aplicación demostró ser una herramienta que ayuda a los procesos de
aprendizaje colaborativo entre los estudiantes y les ayuda en el proceso de estudio
mientras preparan los contenidos para el examen. Lo anterior nos permite responder la
pregunta de investigación planteada.


6      Conclusiones y Trabajo Futuro

En este artículo, hemos presentado MyMOOCSpace, una herramienta basada en una
arquitectura de nube de juego móvil. Hemos evaluado la herramienta en términos de
colaboración efectiva entre estudiantes, funcionalidad y entretenimiento, utilizando una
metodología de investigación basada en el diseño (DBR) en un entorno de aprendizaje
universitario de la facultad de ingeniería.
Los resultados de la evaluación muestran, desde el punto de vista de la funcionalidad y
de la arquitectura del sistema, que la herramienta es actualmente una opción para pro-
porcionar estabilidad al usuario a la vez que se utiliza como una alternativa para estudiar
las asignaturas de un curso presencial universitario. Dada la heterogeneidad de los par-
ticipantes, la aplicación móvil promueve la interacción y colaboración entre los miem-
bros del grupo. Al realizar el quasi-experimento, hemos dejado abierta la posibilidad
de integrarlo con las redes sociales, la construcción de comunidades y el uso personal
de entornos colaborativos, especialmente con la integración de la funcionalidad de chat.
La percepción general de los estudiantes que participaron en el experimento fue posi-
tiva. En particular, en la evaluación se destacó la facilidad de uso y el carácter lúdico
de la aplicación.
El trabajo a realizar en el futuro incluye la mejora de la arquitectura, la mejora de la
interfaz del juego y la presentación de nuevas versiones de la dinámica del juego. Como
el objetivo de este sistema es fomentar la colaboración y motivación en la experiencia
de estudio y aprendizaje de los estudiantes, esperamos enviar retroalimentación a cada
estudiante sobre los temas específicos que necesitan revisar. Creemos que esta es una
característica importante, que puede lograrse mediante el uso de un sistema informá-
tico. Además, es posible recomendar la implementación de un análisis de preguntas con
las que el usuario tiene mayor dificultad e ir correlacionándolas con contenidos pasados
y futuros del curso. Usando esta información, el usuario puede ser notificado de las
unidades pasadas que necesita revisar, y en qué unidades futuras necesita enfocarse.
También es posible extraer información útil a través del filtrado colaborativo, que ex-
plota la correlación entre las calificaciones en una población de usuarios para predecir
qué unidades necesitarán más tiempo de estudio en función de las respuestas de sus
pares.
                                                                                                           9


7       Agradecimientos

Este proyecto está parcialmente financiado el Proyecto Corfo 2030 (14ENI2-26862), MOOCMa-
ker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP) y la beca Conicyt (21161264) para estudios
de doctorado.


Referencias
Barab, S., & Squire, K. (2004). Design-based research: Putting a stake in the ground. The Journal of the
       Learning                          Sciences.                    Retrieved                        from
       http://www.tandfonline.com/doi/pdf/10.1207/s15327809jls1301_1
Bruns, A., & Humphreys, S. (n.d.). Wikis in Teaching and Assessment: The M/Cyclopedia Project. Retrieved
       from                         http://delivery.acm.org.ezproxy.puc.cl/10.1145/1110000/1104976/p25-
       bruns.pdf?ip=146.155.94.33&id=1104976&acc=ACTIVE
       SERVICE&key=1491585A44E508DD.08F85572555EDF8B.4D4702B0C3E38B35.4D4702B0C3E
       38B35&CFID=850785025&CFTOKEN=39756348&__acm__=1515872051_40d408c8ae6e6d80fb
       ca970ff43bd33d
Brusilovsky, P., Kobsa, A., & Nejdl, W. (2007). LNCS 4321 - Content-Based Recommendation Systems.
       LNCS,           4321,            325–341.       Retrieved        from           https://link-springer-
       com.ezproxy.puc.cl/content/pdf/10.1007%2F978-3-540-72079-9_10.pdf
Cheong, C., Bruno, V., & Cheong, F. (2012). Designing a Mobile-app-based Collaborative Learning System.
       Journal of Information Technology Education Innovations in Practice, 11, 97–119.
Daniels, B. (2009). Motivation, academic success, and learning environments: Comparing high school face
       -to     -face   and     online     courses.   George   Mason      University.     Retrieved     from
       https://search.proquest.com/docview/288084686/
Furlan, L., Kohan Cortada, A., Piemontesi, S. E., & Heredia, D. E. (2008). AUTORREGULACIÓN DE LA
       ATENCIÓN, AFRONTAMIENTO Y ANSIEDAD ANTE LOS EXÁMENES EN ESTUDIANTES
       UNIVERSITARIOS. Retrieved from http://www.aacademica.org.
Gadelha, B., Gomes, S., Fuks, H., & Castro Jr., A. N. de. (2008). FLOCOS: Sistema Colaborativo à
       Construção de Objetos de Aprendizagem Funcionais. In 2008 Simpsio Brasileiro de Sistemas
       Colaborativos (pp. 215–223). IEEE. https://doi.org/10.1109/SBSC.2008.27
González, C., & Area, M. (2013). Breaking the Rules: Gamification of Learning and Educational Materials.
       Proceedings of the 2nd International Workshop on Interaction Design in Educational Environments,
       (2013), 47–53. https://doi.org/10.5220/0004600900470053
Guitert, M., & Pérez-Mateo, M. (2013). La colaboración en la red: hacia una definición de aprendizaje
       colaborativo en entornos virtuales. Teoría de La Educación. Educación Y Cultura En La Sociedad de
       La Información, 14(1), 10–31.
Järvelä, S., Volet, S., & Järvenoja, H. (2010). Research on Motivation in Collaborative Learning: Moving
       Beyond the Cognitive–Situative Divide and Combining Individual and Social Processes
       MOTIVATION IN RESEARCH ON COLLABORATIVE LEARNING. EDUCATIONAL
       PSYCHOLOGIST, 45(1), 15–27. https://doi.org/10.1080/00461520903433539
Johnson, D. W., & Johnson, R. T. (1999). Making cooperative learning work. Theory Into Practice, 38(2),
10

       67–73. https://doi.org/10.1080/00405849909543834
OECD (2016). (2013). PISA Programa Internacional de Evaluación de Estudiantes, 1(July 2013), 89.
       https://doi.org/http://dx.doi.org/10.1787/9789264266490-en
Ramírez-Donoso, L., Rojas-Riethmuller, J. S., Pérez-Sanagustín, M., Neyem, A., & Alario-Hoyos, C. (2017).
       MyMOOCSpace: A cloud-based mobile system to support effective collaboration in higher education
       online     courses.    Computer     Applications     in   Engineering    Education,     25(6),    910–926.
       https://doi.org/10.1002/cae.21843
Revuelta-Domínguez, F. I. (2013). Reseña:: Aprender en red: de la interacción a la colaboración. RELATEC:
       Revista     Latinoamericana        de   Tecnología    Educativa,    12(1),     63–64.   Retrieved      from
       https://books.google.com/books?hl=es&lr=&id=a15QGz5FE34C&oi=fnd&pg=PA13&dq=Guerrero
       ,+C.+S.,+%26+Gros,+B.+(2013)&ots=OKs01OQ42s&sig=A7j6F2aeUdmIK5iF-dtVGUa2298
Reyes Tejada, Y. N. (2003). Relación entre rendimiento académico, la ansiedad ante los exámenes, los
       rasgos de personalidad, el autoconcepto y la asertividad en estudiantes del primer año de psicología
       de                     la                   UNMSN.                      Retrieved                      from
       http://cybertesis.unmsm.edu.pe/bitstream/cybertesis/590/1/Reyes_ty.pdf
Saavedra, R., & Saavedra, M. (2001). Evaluación del aprendizaje: conceptos y técnicas. Pedagogía
       dinámica.
Shaun Beaty, R. (2016). Students’ Perceptions Concerning the Use of Mobile Devices in Higher Education
       Learning          Environments.           Northcentral          University.         Retrieved          from
       https://search.proquest.com/openview/a6f8a04c584a549545779a6a25fead44/1?pq-
       origsite=gscholar&cbl=18750&diss=y
Smith-Jentsch, K. A., Zeisig, R. L., Acton, B., & McPherson, J. A. (1998). Team dimensional training: A
       strategy for guided team self-correction. In Making decisions under stress: Implications for individual
       and      team   training. (pp. 271–297). Washington: American                 Psychological     Association.
       https://doi.org/10.1037/10278-010
Štogr, J. (2012). Badges For (Lifelong) Learning-Gamification, Enhanced Visibility Of Reached
       Achievements And Continuous Building Of E-Portfolio As Data Source For. In 7th DisCo
       Conference New Media.
Suárez Guerrero, C., & Gros Salvat, B. (2013). Aprender en red : de la interacción a la colaboración.
       Editorial UOC. Retrieved from https://dialnet.unirioja.es/servlet/libro?codigo=542356
Verma, P., Sood, S. K., & Kalra, S. (2017). Smart computing based student performance evaluation
       framework for engineering education. Computer Applications in Engineering Education, 25(6), 977–
       991. https://doi.org/10.1002/cae.21849
Wang, F., & Hannafin, M. J. (2005). Design-based research and technology-enhanced learning environments.
       Educational           Technology        Research          and      Development,         53(4),        5–23.
       https://doi.org/10.1007/BF02504682
Wong, L., Milrad, M., & Specht, M. (2015). Seamless learning in the age of mobile connectivity.