=Paper=
{{Paper
|id=Vol-2231/LALA_2018_paper_35
|storemode=property
|title=MyMOOCSpace: Herramienta de juego móvil para fomentar el aprendizaje colaborativo y motivar la preparación de exámenes en cursos presenciales de Ingeniería(MyMOOCSpace: mobile game tool to foster collaborative learning and motivate assessments preparation in face-to-face engineering courses)
|pdfUrl=https://ceur-ws.org/Vol-2231/LALA_2018_paper_35.pdf
|volume=Vol-2231
|authors=Luis Ramírez-Donoso,Mar Pérez-Sanagustín,Andrés Neyem
}}
==MyMOOCSpace: Herramienta de juego móvil para fomentar el aprendizaje colaborativo y motivar la preparación de exámenes en cursos presenciales de Ingeniería(MyMOOCSpace: mobile game tool to foster collaborative learning and motivate assessments preparation in face-to-face engineering courses)==
MyMOOCSpace: Mobile Game Tool to Foster Collaborative Learning and Motivate Assessments Preparation in Face-to-Face Engineering Courses Luis Ramírez-Donoso1,2, Mar Pérez-Sanagustín1, Andrés Neyem1 1 Pontificia Universidad Católica de Chile, Av. Vicuña Mackenna 486, Santiago, Chile {llramirez, mar.perez, aneyem}@uc.cl 2 Universidad Bernardo O’Higgins, Avda. Viel, 1497, Santiago, Chile luis.ramirez@ubo.cl Abstract. The evaluations in traditional university courses are still an accepted tool to validate the knowledge acquired in the different subjects. MyMOOCSpace is a cloud-based tool that encourages the interaction of students participating in a course. However, a variation of this tool supports collaborative learning and motivation for exam preparation in a traditional, classroom-based higher education classroom. This article presents a study on this context, which evaluated the impact on the results of the evaluations, using the tool as the basis for the study and preparation. The case study involved 40 students of computer engineering from a Chilean university and its results show that MyMOOCSpace generates a positive increase in student interaction with respect to the subjects covered in the course, and that it increased motivation and assistance in the study and preparation for the final exam of the course. Keywords: Collaborative Learning, MOOCs, Cloud Systems, Gamification, Face-to-Face Courses, Mobile Learning. 1 Introducción Tradicionalmente, un proceso de evaluación es considerado como una medida del aprendizaje de un estudiante en una materia particular y que en muchos casos puede tener el propósito de hacer un diagnóstico, definir objetivos y verificar si éstos se han alcanzado. Con el fin de verificar las mejoras en el aprendizaje colaborativo y propor- cionar un incentivo diferente para que los estudiantes de un curso se preparen a una evaluación, este artículo presenta los resultados de un quasi-experimento aplicado en un curso universitario tradicional y presencial (Ciencia y Tecnología del Mundo Digital dictado en la Pontificia Universidad Católica de Chile), utilizando la herramienta My- MOOCSpace, como una alternativa para el estudio en grupo dentro y fuera del aula. Entre los aspectos identificados en el área de Aprendizaje Colaborativo Asistido por Computadora (CSCL, por sus siglas en inglés), hay comportamientos típicos en la forma en que los estudiantes se preparan para un examen. De acuerdo con Reyes Tejada (2003)(Reyes Tejada, 2003), existe una correlación significativa entre el rendimiento 2 académico, la ansiedad en los exámenes, los rasgos de personalidad, el autoconcepto y la asertividad del estudiante con respecto a cómo preparar las evaluaciones en sus asig- naturas. Por otro lado, Furlan (2008)(Furlan, Kohan Cortada, Piemontesi, & Heredia, 2008), concluye que los procesos de atención de alumnos posee correlaciones negativas con la ansiedad en los exámenes y correlaciones positivas con el enfrentamiento a los problemas. En este contexto, se preparó una versión especial de la herramienta MyMOOCSpace original para este estudio(Ramírez-Donoso et al., 2017). Esta variación corresponde a la aplicación de la herramienta en un curso presencial tradicional con preguntas de todas las materias vistas en el curso para que los grupos de alumnos puedan jugar una carrera espacial, validando así el nivel de colaboración existente en cada grupo y otorgando una forma diferente y divertida de estudiar antes de un examen final. Para validar y evaluar este análisis a través de la aplicación móvil, proponemos un caso de estudio que contempla un quasi-experimento con 40 personas del curso, cuyo objetivo es responder a la siguiente pregunta de investigación: ¿Cómo mejora My- MOOCSpace el aprendizaje colaborativo durante la preparación de evaluaciones pre- senciales en cursos de educación superior de Inegniería? Los resultados de este quasi- experimento reflejan el nivel de interacción entre los estudiantes durante la preparación del examen final del curso y la motivación para estudiar de una manera diferente las materias organizadas en el. La Sección II revisa la literatura en colaboración efectiva con la tecnología y la ga- mificación. En la sección III se presenta la metodología aplicada en esta línea de in- vestigación y cómo se utilizó para la investigación en curso. En la sección IV se pre- senta la dinámica de la herramienta. En la sección V se presenta la evaluación contro- lada del caso de estudio. El artículo termina con la Sección VI de conclusiones y tra- bajos futuros. 2 Estado del Arte Una revisión de la literatura sobre CSCL nos ha llevado a identificar varios aspectos importantes que contribuyen a fomentar la colaboración en los cursos de ingeniería. Uno de ellos es el uso de las tecnologías móviles y la gamificación que permiten diver- sas experiencias, facilitando la continuación del aprendizaje a través de diferentes dis- positivos(Wong, Milrad, & Specht, 2015). A. Aprendizaje colaborativo efectivo El aprendizaje colaborativo es un factor relevante y de gran importancia para lograr la motivación y posterior participación de los alumnos en el estudio de las asignaturas de un curso presencial(Järvelä, Volet, & Järvenoja, 2010). En el área de colaboración y CSCL, existen importantes variables que ayudan a fomentar la colaboración. En este contexto, Johnson & Johnson (1999)(Johnson & Johnson, 1999) proponen algunos as- pectos fundamentales que deben ser considerados en la promoción de un ambiente co- laborativo. Tres de los principales aspectos son considerados en esta evaluación: 1. Objetivo común entre los participantes del curso. 3 2. Una interdependencia positiva entre las acciones de cada participante. 3. Responsabilidad individual de las actividades a realizar en el curso. A través de la colaboración, se genera una oportunidad de impacto en la interacción y participación de los estudiantes, logrando un mejor aprendizaje grupal en compara- ción con el proceso de aprendizaje individual de acuerdo con Gadelha, Gomes, Fucks & Castro (2008)(Gadelha, Gomes, Fuks, & Castro Jr., 2008). B. Fomentar la colaboración a través de la tecnología móvil y la Gamificación Otros enfoques utilizados en los últimos años para fomentar la colaboración en en- tornos educativos son los juegos en conjunto con las tecnologías móviles. Estudios re- cientes han indicado que el futuro de los estudios con el acceso a las asignaturas de un curso está en los smartphones(González & Area, 2013). De hecho, el creciente uso de dispositivos móviles en los últimos años ha llevado a muchos investigadores a sugerir una tendencia hacia aplicaciones ubicuas(Shaun Beaty, 2016), que proporcionan conti- nuidad y experiencias de aprendizaje dentro del contexto. Como afirman Bruns y Humphreys (2005)(Bruns & Humphreys, 2005), Los dispositivos móviles son espacios de comunicación ideales para desarrollar algunas de las habilidades críticas, colabora- tivas y creativas de los estudiantes, así como nuevas competencias digitales. Sin embargo, estas herramientas no poseen dentro de sus principales funciones, mo- tivar o aplicar diferentes técnicas de estudio basadas en la dinámica del juego. Algunos autores sugieren diferentes dinámicas para promover la colaboración y actividades de estudio para preparar exámenes(Štogr, 2012). Guitert y Pérez-Mateo (2013)(Guitert & Pérez-Mateo, 2013) consideran, que el interés y los objetivos comunes construyen el entorno colaborativo. Guerrero y Revuelta-Domínguez (2013)(Revuelta-Domínguez, 2013), analizaron la interdependencia positiva como un punto fundamental para forta- lecer la responsabilidad del grupo. Sin embargo, aunque estos estudios proponen enfo- ques interesantes para promover la colaboración, ninguno de ellos ha sido probado en entornos que incluyan componentes de Gamificación y menos para la preparación de pruebas o exámenes presenciales. 3 Metodología En el proceso de investigación y diseño de MyMOOCSpace, se utilizó la metodolo- gía Design Based Research (DBR)(Wang & Hannafin, 2005). Esta metodología integra el diseño de los procesos de aprendizaje. El objetivo de DBR es estudiar un único en- torno de aprendizaje a medida que pasa a través de múltiples iteraciones para desarrollar nuevas teorías, mecanismos y prácticas que también pueden aplicarse generalmente a otras plataformas de cursos (Barab & Squire, 2004). DBR permite a los investigadores trabajar en un producto o aplicación en su contexto real e iterativo, mejorar para obtener un diseño aplicable a otras plataformas. (Ver Figura 1.) 4 Figura 1. "Investigación basada en el diseño (DBR)". Adaptado (Wang & Hannafin, 2005) Este estudio presenta el trabajo realizado en las fases primera, segunda y tercera de la Figura 1. En la primera etapa de la Exploración Informada, surgieron varios requeri- mientos sobre los diversos aspectos recomendados por la literatura para generar cola- boración en los ambientes de aprendizaje(Johnson & Johnson, 1999), destacando algu- nos signos de comportamiento social y patrones de interacción y participación(Daniels, 2009),(Verma, Sood, & Kalra, 2017). En la segunda etapa, y de acuerdo con la litera- tura, se diseñan ciertas dinámicas para satisfacer los aspectos colaborativos derivados del CSCL para cursos presenciales e integrarlos con dinámicas de gamificación y pla- taformas móviles, logrando una mejor distribución, proximidad al estudiante e interac- ción con el curso. En la tercera fase de la metodología se ha evaluado la usabilidad y la experiencia del usuario en la preparación del examen, permitiendo recoger feedback directo para la mejora continua de la herramienta y para la realización de quasi-experi- mentos que validen los aspectos dinámicos y de colaboración propuestos en los dife- rentes cursos presenciales. 4 Dinámica de MyMOOCSpace en cursos presenciales MyMOOCSpace es un sistema móvil basado en la nube (CMS) que tiene como ob- jetivo promover la colaboración entre los estudiantes de un curso presencial y fomentar el estudio y preparación antes de las evaluaciones del curso, utilizando elementos de gamificación. En el diseño de la plataforma se tuvo en cuenta tres aspectos de la cola- boración, que se destacan en la literatura(Suárez Guerrero & Gros Salvat, 2013). Estos aspectos motivan a los estudiantes a trabajar juntos hacia una meta común, generando interdependencia positiva dentro del equipo y creando responsabilidades individuales para que cada estudiante apoye el progreso del grupo. A. Dinámica de juego La dinámica de MyMOOCSpace está dada por un circuito espacial, jugado en equi- pos. Cada equipo lo conforman 3 o 4 participantes seleccionados al azar del curso. El objetivo del juego es que cada equipo responda preguntas de opción múltiple o alterna- tivas en el menor tiempo posible. Todas las preguntas son generadas por el profesor en la plataforma y consideran los contenidos vistos en clase. Cuantas más respuestas co- rrectas obtenga el equipo, mayor será el puntaje otorgado (Cheong, Bruno, & Cheong, 2012). El equipo puede avanzar a través de las etapas del juego si y sólo si cada miembro ha respondido correctamente al menos una pregunta oficial. Dado que cada miembro 5 del equipo debe contribuir a un mayor progreso en el juego, vinculamos los aspectos de colaboración (responsabilidad individual ,objetivo común, interdependencia posi- tiva). Las etapas del juego se representan como planetas correspondientes a diferentes capítulos de los temas vistos en el aula. La pregunta oficial corresponde a la pregunta que cada miembro del equipo debe responder en el menor tiempo posible. Esta pregunta es lo que ganará los puntos del equipo. Los participantes pueden practicar mientras otros miembros del equipo respon- den a las preguntas oficiales. Si es hora de contestar la pregunta oficial y el participante no conoce la respuesta, puede pasarle la pregunta a otro compañero antes de que se termine el tiempo para que el equipo no pierda puntos. Al pasar la pregunta oficial, el participante sólo puede seleccionar a los compañeros que aún no han respondido. De esta manera, vinculamos el aspecto de la colaboración con la interdependencia positiva, fomentando la interacción dentro del equipo para lograr el objetivo común en cada etapa. Por otro lado, la aplicación incluye una función de chat como herramienta funda- mental para generar interacción y relaciones entre los participantes de un equipo. Esta herramienta vincula la dinámica del juego con los tres aspectos de la colaboración en cuestión, permitiendo a los alumnos fomentar una mayor comunicación para avanzar en las etapas y superar las dificultades del contenido de cada planeta. El equipo ganador es quien gana más puntos después de haber completado todos los planetas (temas del curso presencial). En la Figura 2, vemos una parte del juego MyMOOCSpace donde el participante puede seleccionar el curso en el aula en la que quiere inscribirse (Figura 2a). La Figura 2b representa el circuito completo del curso seleccionado, en el que cada planeta refleja los capítulos del curso presencial. La Figura 2c muestra cómo los participantes cono- cerán a su equipo y cómo pueden responder a la pregunta oficial, junto con el modo de práctica que cada estudiante puede utilizar. Finalmente, la Figura 2d muestra cómo se muestran las preguntas, resaltando la cantidad de tiempo que el participante tiene para responder. La Figura 2d también muestra lo fácil que es acceder a las herramientas de chat y estadísticas en cualquier momento mientras se usa la aplicación. 6 Figura 2: (a) Selección de cursos para la ejecución del juego; (b) Circuito completo del juego que muestra los planetas que deben ser completados; (c) Presentación del equipo con la opción de practicar y contestar la prueba oficial; (d) Pregunta oficial con alternativas y tempori- zador. 5 Evaluación: Un Caso de Estudio Controlado (Quasi- Experimento) Uno de los aspectos relevantes dentro de la metodología DBR es la evaluación a nivel local (fase 3) para lograr resultados concretos en las etapas preliminares antes del lanzamiento definitivo del producto. El objetivo de este experimento es medir eficaz- mente el nivel de interacción de los estudiantes que colaboran en un curso presencial mientras se preparan para realizar un examen final de las asignaturas del curso, utili- zando la aplicación MyMOOCSpace. Cuarenta alumnos del curso "Informática: Cien- cia y Tecnología del Mundo Digital" de la Pontificia Universidad Católica de Chile participó en este experimento. El rango de edad promedio es de 23 años, y oscila entre los 20 y los 25 años de edad. El 70% de los estudiantes eran hombres y el 30% mujeres. Todos ellos tienen formación universitaria, ya que son estudiantes de ingeniería de la facultad de ingeniería de esta universidad. A. Diseño del quasi-experimento La metodología aplicada en este experimento consistió en formar grupos de estu- diantes con 4 miembros, para un total de 10 grupos. Se pidió a cada grupo que trabajara en conjunto para progresar en el juego. El progreso en el juego corresponde al avance de cada grupo en las diferentes etapas. Estas etapas son los planetas del juego (módulos visto en clases presenciales y que los alumnos tienen como material de estudio publi- cado por el profesor). Como parte del proceso del quasi-experimento, cada estudiante recibió en un inicio y al final del quasi-experimento un cuestionario para evaluar el nivel de interacción y colaboración que se generaba en cada equipo. B. Herramientas de medición Para medir el nivel de colaboración entre los estudiantes, no encontramos un instru- mento específico en la literatura (o revisión literaria) que se ajuste al contexto de este quasi-experimento. Por lo tanto, se desarrollaron dos cuestionarios para el propósito de este estudio: uno para ser aplicado antes del comienzo del juego y otro para ser aplicado después de la finalización del quasi-experimento. Cuestionario Inicial: Este cuestionario recoge los elementos propuestos por PISA(OECD, 2013) para medir las habilidades individuales de cada estudiante en la resolución colaborativa de problemas (CPS). A parte de las tres habilidades principales de los CPS, se hace un punto de intersección con las cuatro etapas de resolución de problemas y se obtiene una matriz de habilidades que indica las competencias del estu- diante (Tabla I). Para evaluar cada criterio, se utilizaron y evaluaron preguntas en una escala de Likert con valores de 1 (mínimo) a 5 (máximo), con un total de 21 preguntas. 7 Dimensión Sub-dimensiones Resultados 1. Establecer y mantener un entendimiento compartido 2. Tomar las medidas ade- Habilidades- cuadas para resolver el pro- CPS blema 3. Establecer y mantener la Matriz de las organización del equipo habilidades de los CPS de un 1. Exploración y compren- estudiante sión Resolución de 2. Representación y para-mu- Problemas lación 3. Planificación y ejecución 4. Seguimiento y reflexión Tabla I: “Habilidades CPS” De estas competencias surgen tres niveles de habilidades de los CPS, los cuales están directamente relacionados con el comportamiento esperado de un estudiante que debe colaborar cuando trabaja en equipo (Bajo, Mediano, Alto). Cuestionario final: Este cuestionario evalúa el rendimiento del equipo después de completar la experiencia con el curso y la aplicación MyMOOCSpace. Para ello, se realiza una evaluación de las cuatro dimensiones propuestas por Smith-Jentsch (1998)(Smith-Jentsch, Zeisig, Acton, & McPherson, 1998), agrupadas bajo el nombre de Team Dimensional Training (TDT): Intercambio de información, o lo que se ha in- formado; comunicación, la forma en que se ha transmitido la información; comporta- miento de apoyo; iniciativa y liderazgo. Cada dimensión fue evaluada con preguntas en una escala de Likert con valores de 1 a 5, con un total de 15 preguntas. A partir de estas dimensiones, existen tres valores posibles para el rendimiento del equipo (Bajo, Me- diano, Alto). C. Resultados En la tabla II se presentan los resultados globales obtenidos a partir de los cuestio- narios inicial y final, respectivamente. El análisis de los datos se realizó en base a si los resultados respondían a la pregunta de investigación: ¿Cómo mejora MyMOOCSpace el aprendizaje colaborativo durante la preparación de evaluaciones presenciales en cur- sos de educación superior de Ingeniería? Ranking de estudiantes en Habilidades CPS (40 estudiantes) Low Medium High 4 (10%) 17 (43%) 19 (48%) Ranking de estudiantes en TDT (40 estudiantes) Low Medium High 5 (13%) 18 (45%) 17 (43%) Tabla II: “Calificación de los estudiantes en las dimensiones Evaluadas” En cuanto a maximizar las posibilidades de colaboración entre los alumnos del curso presencial, los datos obtenidos de la plataforma, junto con los comentarios expresados por los alumnos, validan MyMOOCSpace como una herramienta que permite la inter- acción y colaboración en los procesos de estudio para la preparación de evaluaciones 8 y/o exámenes. Los estudiantes apreciaron las dinámicas de colaboración, fueron consi- deradas atractivas e innovadoras en comparación con lo que ofrecen los sistemas actua- les de colaboración y/o estudio. Por lo tanto, la aplicación demostró ser una herramienta que ayuda a los procesos de aprendizaje colaborativo entre los estudiantes y les ayuda en el proceso de estudio mientras preparan los contenidos para el examen. Lo anterior nos permite responder la pregunta de investigación planteada. 6 Conclusiones y Trabajo Futuro En este artículo, hemos presentado MyMOOCSpace, una herramienta basada en una arquitectura de nube de juego móvil. Hemos evaluado la herramienta en términos de colaboración efectiva entre estudiantes, funcionalidad y entretenimiento, utilizando una metodología de investigación basada en el diseño (DBR) en un entorno de aprendizaje universitario de la facultad de ingeniería. Los resultados de la evaluación muestran, desde el punto de vista de la funcionalidad y de la arquitectura del sistema, que la herramienta es actualmente una opción para pro- porcionar estabilidad al usuario a la vez que se utiliza como una alternativa para estudiar las asignaturas de un curso presencial universitario. Dada la heterogeneidad de los par- ticipantes, la aplicación móvil promueve la interacción y colaboración entre los miem- bros del grupo. Al realizar el quasi-experimento, hemos dejado abierta la posibilidad de integrarlo con las redes sociales, la construcción de comunidades y el uso personal de entornos colaborativos, especialmente con la integración de la funcionalidad de chat. La percepción general de los estudiantes que participaron en el experimento fue posi- tiva. En particular, en la evaluación se destacó la facilidad de uso y el carácter lúdico de la aplicación. El trabajo a realizar en el futuro incluye la mejora de la arquitectura, la mejora de la interfaz del juego y la presentación de nuevas versiones de la dinámica del juego. Como el objetivo de este sistema es fomentar la colaboración y motivación en la experiencia de estudio y aprendizaje de los estudiantes, esperamos enviar retroalimentación a cada estudiante sobre los temas específicos que necesitan revisar. Creemos que esta es una característica importante, que puede lograrse mediante el uso de un sistema informá- tico. Además, es posible recomendar la implementación de un análisis de preguntas con las que el usuario tiene mayor dificultad e ir correlacionándolas con contenidos pasados y futuros del curso. Usando esta información, el usuario puede ser notificado de las unidades pasadas que necesita revisar, y en qué unidades futuras necesita enfocarse. También es posible extraer información útil a través del filtrado colaborativo, que ex- plota la correlación entre las calificaciones en una población de usuarios para predecir qué unidades necesitarán más tiempo de estudio en función de las respuestas de sus pares. 9 7 Agradecimientos Este proyecto está parcialmente financiado el Proyecto Corfo 2030 (14ENI2-26862), MOOCMa- ker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP) y la beca Conicyt (21161264) para estudios de doctorado. Referencias Barab, S., & Squire, K. (2004). Design-based research: Putting a stake in the ground. The Journal of the Learning Sciences. Retrieved from http://www.tandfonline.com/doi/pdf/10.1207/s15327809jls1301_1 Bruns, A., & Humphreys, S. (n.d.). Wikis in Teaching and Assessment: The M/Cyclopedia Project. Retrieved from http://delivery.acm.org.ezproxy.puc.cl/10.1145/1110000/1104976/p25- bruns.pdf?ip=146.155.94.33&id=1104976&acc=ACTIVE SERVICE&key=1491585A44E508DD.08F85572555EDF8B.4D4702B0C3E38B35.4D4702B0C3E 38B35&CFID=850785025&CFTOKEN=39756348&__acm__=1515872051_40d408c8ae6e6d80fb ca970ff43bd33d Brusilovsky, P., Kobsa, A., & Nejdl, W. (2007). LNCS 4321 - Content-Based Recommendation Systems. LNCS, 4321, 325–341. Retrieved from https://link-springer- com.ezproxy.puc.cl/content/pdf/10.1007%2F978-3-540-72079-9_10.pdf Cheong, C., Bruno, V., & Cheong, F. (2012). Designing a Mobile-app-based Collaborative Learning System. Journal of Information Technology Education Innovations in Practice, 11, 97–119. Daniels, B. (2009). Motivation, academic success, and learning environments: Comparing high school face -to -face and online courses. George Mason University. Retrieved from https://search.proquest.com/docview/288084686/ Furlan, L., Kohan Cortada, A., Piemontesi, S. E., & Heredia, D. E. (2008). AUTORREGULACIÓN DE LA ATENCIÓN, AFRONTAMIENTO Y ANSIEDAD ANTE LOS EXÁMENES EN ESTUDIANTES UNIVERSITARIOS. Retrieved from http://www.aacademica.org. Gadelha, B., Gomes, S., Fuks, H., & Castro Jr., A. N. de. (2008). FLOCOS: Sistema Colaborativo à Construção de Objetos de Aprendizagem Funcionais. In 2008 Simpsio Brasileiro de Sistemas Colaborativos (pp. 215–223). IEEE. https://doi.org/10.1109/SBSC.2008.27 González, C., & Area, M. (2013). Breaking the Rules: Gamification of Learning and Educational Materials. Proceedings of the 2nd International Workshop on Interaction Design in Educational Environments, (2013), 47–53. https://doi.org/10.5220/0004600900470053 Guitert, M., & Pérez-Mateo, M. (2013). La colaboración en la red: hacia una definición de aprendizaje colaborativo en entornos virtuales. Teoría de La Educación. Educación Y Cultura En La Sociedad de La Información, 14(1), 10–31. Järvelä, S., Volet, S., & Järvenoja, H. (2010). Research on Motivation in Collaborative Learning: Moving Beyond the Cognitive–Situative Divide and Combining Individual and Social Processes MOTIVATION IN RESEARCH ON COLLABORATIVE LEARNING. EDUCATIONAL PSYCHOLOGIST, 45(1), 15–27. https://doi.org/10.1080/00461520903433539 Johnson, D. W., & Johnson, R. T. (1999). Making cooperative learning work. Theory Into Practice, 38(2), 10 67–73. https://doi.org/10.1080/00405849909543834 OECD (2016). (2013). PISA Programa Internacional de Evaluación de Estudiantes, 1(July 2013), 89. https://doi.org/http://dx.doi.org/10.1787/9789264266490-en Ramírez-Donoso, L., Rojas-Riethmuller, J. S., Pérez-Sanagustín, M., Neyem, A., & Alario-Hoyos, C. (2017). MyMOOCSpace: A cloud-based mobile system to support effective collaboration in higher education online courses. Computer Applications in Engineering Education, 25(6), 910–926. https://doi.org/10.1002/cae.21843 Revuelta-Domínguez, F. I. (2013). Reseña:: Aprender en red: de la interacción a la colaboración. RELATEC: Revista Latinoamericana de Tecnología Educativa, 12(1), 63–64. Retrieved from https://books.google.com/books?hl=es&lr=&id=a15QGz5FE34C&oi=fnd&pg=PA13&dq=Guerrero ,+C.+S.,+%26+Gros,+B.+(2013)&ots=OKs01OQ42s&sig=A7j6F2aeUdmIK5iF-dtVGUa2298 Reyes Tejada, Y. N. (2003). Relación entre rendimiento académico, la ansiedad ante los exámenes, los rasgos de personalidad, el autoconcepto y la asertividad en estudiantes del primer año de psicología de la UNMSN. Retrieved from http://cybertesis.unmsm.edu.pe/bitstream/cybertesis/590/1/Reyes_ty.pdf Saavedra, R., & Saavedra, M. (2001). Evaluación del aprendizaje: conceptos y técnicas. Pedagogía dinámica. Shaun Beaty, R. (2016). Students’ Perceptions Concerning the Use of Mobile Devices in Higher Education Learning Environments. Northcentral University. Retrieved from https://search.proquest.com/openview/a6f8a04c584a549545779a6a25fead44/1?pq- origsite=gscholar&cbl=18750&diss=y Smith-Jentsch, K. A., Zeisig, R. L., Acton, B., & McPherson, J. A. (1998). Team dimensional training: A strategy for guided team self-correction. In Making decisions under stress: Implications for individual and team training. (pp. 271–297). Washington: American Psychological Association. https://doi.org/10.1037/10278-010 Štogr, J. (2012). Badges For (Lifelong) Learning-Gamification, Enhanced Visibility Of Reached Achievements And Continuous Building Of E-Portfolio As Data Source For. In 7th DisCo Conference New Media. Suárez Guerrero, C., & Gros Salvat, B. (2013). Aprender en red : de la interacción a la colaboración. Editorial UOC. Retrieved from https://dialnet.unirioja.es/servlet/libro?codigo=542356 Verma, P., Sood, S. K., & Kalra, S. (2017). Smart computing based student performance evaluation framework for engineering education. Computer Applications in Engineering Education, 25(6), 977– 991. https://doi.org/10.1002/cae.21849 Wang, F., & Hannafin, M. J. (2005). Design-based research and technology-enhanced learning environments. Educational Technology Research and Development, 53(4), 5–23. https://doi.org/10.1007/BF02504682 Wong, L., Milrad, M., & Specht, M. (2015). Seamless learning in the age of mobile connectivity.