Application of Social Learning Analytics -SLA- in groups of WhatsApp, to strengthen the virtual tutoring in e- Learning programs of teacher training. Case study: Universidad de San Carlos de Guatemala – USAC- Luis Magdiel Oliva Córdova,1 Sonia Alejandra Recinos Fernández 2 Maylin Suleny Bojórquez Roque 3 y Antonio García Cabot 4 1 Facultad de Humanidades, Universidad de San Carlos de Guatemala, Ciudad Universitaria, 11 Av., Guatemala 01012 2 programa Formación de Formadores -DIGED-, Universidad de San Carlos de Guatemala, Ciudad Universitaria, 11 Av., Guatemala 01012 3 Facultad de Humanidades, Universidad de San Carlos de Guatemala, Ciudad Universitaria, 11 Av., Guatemala 01012 4 Departamento de Ciencias de la Computación, Universidad de Alcalá de Henares, Escuela Politécnica. Campus Universitario. Ctra. Madrid-Barcelona, Km. 33,600 1 moliva@fahusac.edu.gt 2 alejandra@profesor.usac.edu.gt 3 mbojorquez@fahusac.edu.gt 4 a.garciac@uah.es Abstract. From the implementation of E-Learning programs for teacher training at the University of San Carlos de Guatemala - USAC - we decided to use the Moodle platform and the social network WhatsApp to facilitate virtual tutoring. In the process, we proposed the need to know the behavior of students and the tutorial actions within the WhatsApp groups. The objective of the study was identify the behavior of students and the tutorial actions that can be performed when applying Social Learning Analytics – SLA- in Whatsapp groups. Research was conducted with a mixed (quantitative – qualitative) approach, exploratory in nature, which allowed for data collection of 251 participants divided into 6 teams that interacted for 6 weeks through WhatsApp groups. To perform the data analysis, the Gartner execution taxonomy and the following tools were considered: Chatvisualizer WhatsApp Analizer and Chatylizer, all of which allowed for the exploration and assessment of the data [1][2][3]. As a result, we identified tutorial actions and student participation through the number of messages sent, hours and days with more activity, main flow of information from groups, and the particular mood of the student, through the most frequently used emojis. The study allowed for the recognition that the application of SLA in WhatsApp groups favors decision-making through the visualization of statistical data and infographics and the strengthening of the tutorial actions in e-learning programs for teacher training at the USAC. Keywords: Social Learning Analytics, WhatsApp, Virtual tutoring, Training. 2 1 Introducción La educación actual debe integrar una comunicación multimodal, este tipo de comunicación es imperativa, debido a los cambios en las prácticas de lectura y escritura de las generaciones actuales, quienes leen y escriben textos digitales e hipertextos, los cuales ofrecen potencialidades innovadoras [4]. La combinación de las formas de comunicación en la educación puede desarrollarse cuando se usa un LMS y de forma paralela, se incorporan redes sociales. WhatsApp es una red social que puede utilizarse como complemento a la educación en línea. En las últimas estadísticas generadas, WhatsApp, se contempla como la segunda y tercera red más utilizada en el mundo [5][6]. Las características que permiten que WhatsApp sea uno de los mejores complementos para llevar a cabo la tutoría virtual radica en que su uso permite la mensajería instantánea, llamadas, videollamadas, compartir fotos y vídeos en tiempo real; también favorece la interacción en grupos que pueden ser administrados por el tutor. Se ha comprobado que identificar las rutas de aprendizaje de los estudiantes, mediante los datos obtenidos en una red social, favorece la tutoría; indica que estos grupos son pertinentes e idóneos como sistemas de comunicación alternativos en la tutoría virtual [7]. Además, la data obtenida de WhatsApp puede ser analizada por distintas herramientas para visualizar el grado en que una comunidad de aprendizaje se desarrolla dentro de la red. Este proceso se conoce como SLA, cuyo objetivo se centra en identificar comportamientos y patrones de aprendizaje en un entorno social [8]. El presente estudio surge de la necesidad de encontrar respuesta a la interrogante: ¿cuál es el comportamiento de los estudiantes y las acciones tutoriales dentro de los grupos de WhatsApp en los programas e-learning de formación docente de la USAC? Los resultados pueden enmarcarse a partir de la aplicación de SLA en 6 grupos de WhatsApp con 251 participantes del Diplomado en Tutoría Virtual (Segunda cohorte) del Programa de Formación de Formadores de la Dirección General de Docencia - DIGED- de la USAC. Previamente, se hizo una revisión de estudios relacionados con la pregunta de investigación y pudo notarse que hay carencia de estudios similares que refieran la aplicación de SLA en grupos de WhatsApp para fortalecer la tutoría virtual. Se identificaron estudios que describen el potencial de utilizar WhatsApp en la tutoría virtual, pero en sus resultados no se describe el uso de SLA; por otro lado, también existen estudios que están centrados en el análisis de datos en grupos de WhatsApp, sin especificar un enfoque hacia la tutoría virtual. De los antecedentes más relevantes destacan: 1. A Study of WhatsApp Usage Patterns and Prediction Models without Message Content (2018), por Rosenfeld, A., Sina, S., Sarne, D., Avidov, O., & Kraus, S. Es un estudio sobre el uso de WhatsApp, con el fin de explicar mejor el uso de la red. Se hizo un análisis de más de 6 millones mensajes de más de 100 usuarios, con el objetivo de construir modelos de predicción demográfica utilizando datos de actividad del usuario y como resultados, se encontraron diferencias significativas en el uso de WhatsApp según el género y la edad [9]. 2. Exploring Students Use of the Social Networking Site WhatsApp to fos-ter connectedness in the online learning experience. (2018), por Stone, S., & Logan. La investigación presenta los hallazgos en torno al uso de WhatsApp en tres áreas relacionadas con la experiencia de aprendizaje en línea: a. el aprendizaje en línea como una experiencia de aprendizaje de segunda clase; b. el fomento de la conexión en los contextos de aprendizaje en línea y c. los medios sociales y el aprendizaje [10]. 3. WhatsApp Group Data Analysis with R. (2018), por Patil, S. Este trabajo de investigación predice el nivel de adicción de un individuo al grupo WhatsApp según la edad y el género, esto se logró identificar con la ayuda del programa de software de estadísticas “R” [11]. 4. Sistemas de comunicación alternativos en tutoría virtual: los grupos de WhatsApp en la docencia universitaria (2016): 121-137, por Román, P. Estudio que da a conocer la idoneidad de los grupos de WhatsApp para favorecer la tutoría virtual. Dentro de las conclusiones más relevantes se indica que los grupos académicos en esta red social aumenta la participación de los estudiantes [7]. 5. El WhatsApp como herramienta de apoyo a la tutoría. (2017) por Suárez, B. La investigación presenta una experiencia educativa realizada con el fin de conocer si la aplicación de mensajería instantánea WhatsApp sería una adecuada herramienta de apoyo en la labor tutorial. Los resultados del estudio indican satisfacción por parte de los particpantes. Concluye que dicha aplicación es útil en las labores de tutoría [12]. 6. Valoración del uso de WhatsApp en la tutorización del TFG (2016) por Suelves, D. En este trabajo se valoró la utilización de WhatsApp, desde la perspectiva del estudiante, como herramienta de tutorización en el Trabajo Final de Graduación -TFG- Dentro de los resultados más importantes, destacan: la facilidad de comunicación, fluidez, agilización del proceso, contacto directo con el tutor y comprensión [13]. Los resultados de esta investigación evidencian que utilizar SLA en grupos de WhatsApp, fortalecen la acción tutorial en programas e-learning de formación docente de la USAC. 2 Metodología 2.1 Contexto de estudio La investigación tuvo un alcance descriptivo. Se desarrolló bajo un enfoque mixto; fue un estudio poblacional que orientó a través del diseño cuasiexperimental, el análisis de datos cualitativos y cuantitativos [14]. El diseño cuasiexperimental exploratorio permitió observar las variables y describirlas tal como se presenta en su ambiente natural. El estudio se efectuó con grupo de profesores universitarios que conformaron la segunda cohorte del Diplomado en Tutoría Virtual (Segunda cohorte) del Programa de Formación de Formadores de la Dirección General de Docencia -DIGED- USAC [15]. 2.2 Participantes El proceso del estudio se llevó a cabo con 251 estudiantes (100%), estos fueron seleccionados dentro de 375 personas que enviaron una solicitud para ser aceptados. Todos participaron en la convocatoria de forma voluntaria. La metodología de selección de docentes para ser becados como estudiantes en el diplomado se basó en una serie de 4 criterios preestablecidos. Las personas seleccionadas cumplieron con los siguientes criterios: trabajar solamente en la USAC, disponer de tres horas diarias (si no ha tenido experiencia en modalidad e-learning) o de 1 - 2 horas (si ha tenido experiencias en modalidad e-learning), poseer computador y un smartphone con acceso a internet permanente, utilizar correo electrónica y WhatsApp de forma cotidiana, enviar digitalmente una carta de compromiso firmada. Al tener seleccionados a los 251 participantes, se procedió a la conformación de grupos y asignación de tutores virtuales con experiencia previa. Los grupos se conformaron según el número del ingreso de solicitudes aceptadas: del 1 al 52 (52 participantes), del 53 al 104 (52 participantes), del 105 al 154 (50 participantes), del 155 al 184 (30 participantes), del 185 al 214 (30 participantes), del 215 al 251 (37 participantes). La cantidad de los participantes se asignaron a los tutores según las horas de contratación. El grado académico de los participantes es de licenciaturas, maestrías y doctorados; entre ellos autoridades, directivos y profesores de las facultades, escuelas, centros no facultativos de la USAC. El total de participantes estuvo integrado por el 54% de hombres y el 46% de mujeres, esto refleja inclusión y equidad de género, pues en contextos tecnológicos, aunque el género masculino destaca, la diferencia en cuanto a interacción y participación tiene el mismo nivel de importancia. La edad promedio de los participantes es de 47 años, considerando que el diplomado es para profesores universitarios, este dato es interesante, porque en la sociedad actual se ha considerado que las redes sociales son para comunidades más jóvenes. Sin embargo, es una clara referencia que el SLA puede ser aplicado a distintos grupos y sectores. El participante con menos edad es de 21 años y el de más edad es de 65 años. 2.3 Proceso El proceso se llevó a cabo a través de cinco etapas: planificación, recolección, análisis, interpretación y comunicación, fundamentadas en los criterios de SLA, considerando que la analítica de aprendizaje se ejecuta de forma cíclica, bajo el objetivo de mejorar y optimizar el contexto educativo [16] [17]. Planificación: se planificó utilizar la red social WhatsApp como complemento de comunicación, de forma paralela a la plataforma Moodle en el diplomado e-learning. La planificación permitió establecer el objetivo, los involucrados, fuentes de datos, dimensiones, tipo de análisis y las herramientas a utilizar. Recolección: en esta etapa se llevó a cabo la creación de 6 grupos de WhatsApp dirigidos por tutores virtuales del programa. Se determinó días y horarios en los que cada tutor enviaría mensajes con temáticas específicas, como inicio de módulo, recordativo de la fecha para subir una tarea, entre otros. Sin embargo, la comunicación de los participantes en el grupo y otras intervenciones del tutor no se predijeron, pues la conversación debía girar en torno a la necesidad de orientación de los participantes. Los registros de las conversaciones se descargaron mediante el siguiente procedimiento: ingresar al grupo, ver información de grupo, exportar chat, enviar data al correo electrónico seleccionado. Los datos fueron enviados en formato .txt al correo electrónico para proceder al análisis. Análisis: con la exportación de la data de los 6 grupos de WhatsApp, se realizó un proceso de selección, limpieza y transformación de los datos a través de la aplicación Power Query, finalmente se cargó a las aplicaciones web Chatvisualizer, WhatsApp Analizer y Chatylizer, donde se generaron 18 reportes visuales y 1 tabla conglomerada que permitió la comparación por grupos de los datos obtenidos. Posteriormente se integraron para efectos de presentación de resultados [1][2][3]. La amenaza que se tuvo en el análisis fue la compatibilidad de los dispositivos móviles con las aplicaciones web para generar los tableros de visualización, debido a que en algunos casos no permitía extraer de forma íntegra los datos. Interpretación: con base en las visualizaciones de los datos se validaron los resultados a fin de confrontarlos con el objetivo del estudio, bajo las dimensiones: interacción de los estudiantes, estado de ánimo del grupo, intervención tutorial, horas y días con mayor actividad y palabras más utilizadas. Comunicación: se procedió a la elaboración de un informe para los interesados, en el que se presenta el comportamiento de los participantes dentro de los grupos de WhatsApp y las intervenciones que realizaron los tutores virtuales. 2.4 Instrumentos y medidas Por la naturaleza de WhatsApp se utilizó como instrumento el registro de conversaciones de grupos, además se utilizó el análisis de redes sociales propuesto por Ferguson, puesto que la información se recolectó mediante la interacción espontánea de los miembros de cada uno de los grupos [8]. Los datos obtenidos de la interacción fueron analizados con las métricas seleccionadas en función de la naturaleza de los datos: Tabla 1. Descripción de métricas seleccionadas. Objetivo Metas de comprensión Métricas Escala de medición Identificar el ¿cuántos mensajes envía el Intervención del Escala discreta comportamiento tutor? tutor Cuantitativa de los estudiantes ¿qué emojis determinan el Estado de ánimo Escala nominal y las acciones estado de ánimo del grupo? Cualitativa tutoriales que ¿cuál es la cantidad de Participaciones Escala nominal pueden realizarse mensajes por día? por día Cualitativa al aplicar Social ¿cuál es el día en qué más Escala nominal Learning se participa? Cualitativa Analytics –SLA- ¿cuál es la cantidad de Participaciones Escala discreta en grupos de mensajes por hora de los por hora Cuantitativa WhatsApp participantes? ¿cuáles son las palabras Palabras más Escala nominal más utilizadas en los utilizadas Cualitativa mensajes? La tabla 1 muestra las variables que se midieron a partir de la data obtenida del grupo de WhatsApp. Se evidencian los enfoques de investigación: cuantitativo y cualitativo, según la naturaleza del indicador y su respectiva escala de medición. 6 3 Resultados Los resultados integran todos los grupos, a fin de tener una visión general, mediante ilustraciones y breve explicación para orientar la interpretación. En la figura 1 se representa la intervención del tutor. La mayor cantidad de mensajes son generados para favorecer la acción tutorial, enviar recordativos, responder dudas, aclarar, motivar, retroalimentar y responder dudas. El promedio de interacción del tutor, según la cantidad de mensajes es de un 20%, es decir que escribió una quinta parte de los mensajes. La cantidad de mensajes por grupo equivale al 100%, por lo que la intervención se da según la demanda de los participantes, desde un 17%, hasta un 32%. Total de mensajes Mensajes del tutor NÚMERO DE MENSAJES 863 464 314 288 163 160 17% 20% 18% 20% 21% 32% G1 G2 G3 G4 G5 G6 Total de mensajes 314 464 288 163 863 160 Mensajes del tutor 17% 20% 18% 20% 21% 32% GRUPOS Fig. 1. Interacción por mensajería. Intervención del tutor. En la figura 2, se representa los emojis más utilizados. Aunque la comunicación con emojis, suele relacionarse con la forma en la que se comunican los jóvenes, se ha tornado un recurso indispensable para que cualquier usuario refiera su estado de ánimo. Reconocer, cuál es el estado de ánimo de los estudiantes en un curso de modalidad e- learning es importante, al no verlos personalmente, permite tener una visión de las emociones que, a la distancia, experimentan los estudiantes. El emojis más utilizado fue el de la mano con el pulgar hacia arriba, quiere decir: ¡Todo está bien! Es un buen punto de partida para continuar con la tutoría virtual [18]. 👏 🙌 😃 😒😀 10% 3% 3% 😓 3% 3% 🤔 👍 3% 2% 👏 😱 🙌 3% 😃 😄 😒 Otros 😓 2% 9% 🙏 😀 2% 🤔 😉 😱 👍… 2% 😄 🙏 😉 Fig. 2. Estado de ánimo y emojis favoritos. Según la figura 2, el 64% estudiantes reflejaron el estado de ánimo con el emojis de la mano con el pulgar hacia arriba. Un 10% indicó que estaban satisfechos, con el emojis de manos saludándose. Un emojis de victoria y otro de sonrisa, fue utilizado por el 3%, cada uno. Es decir que el 80% mantuvo un estado de ánimo favorable para el aprendizaje. Los emojis de duda, nerviosismo y asombro, sumaron un 9%. Otro 9% utilizó emojis diversos como los que representan un “gracias” con las manos juntas o un guiño. Es importante destacar que únicamente el 2% utilizó emojis de interrogación o duda. Esto seguramente se debe a que el tutor pudo contestar con prontitud y los cuestionamientos por parte del estudiante son menores. La figura 3 representa la interacción de los participantes por hora, a fin de reconocer cuál es el horario en que todos los miembros del grupo están atentos y receptivos. De esta manera se evitará el trabajo innecesario, pues si el tutor conoce con esta caracterización de su grupo, siempre será oportuno. Es importante notar que todos los grupos interactúan más a las 8:00 PM, los grupos 5 y 6 enviaron un promedio de 200 mensajes, el grupo 4, 110; el grupo 3, 100; el grupo 2, 75 y el grupo 1, 55. La hora en la que hay menos interacción es las 12:00 del mediodía. Otra hora de mayor interacción para los grupos 5 y 6, fue las 11:00 AM; para los grupos 2, 3 y 4, también fue popular las 10:00 AM. 250 200 MENSAJES 150 G6 100 G5 50 G4 0 6:00 a. m. 7:00 a. m. 8:00 a. m. 9:00 a. m. 10:00 a. m. 11:00 a. m. 12:00 a. m. 6:00 p. m. 11:00 p. m. 1:00 p. m. 2:00 p. m. 3:00 p. m. 4:00 p. m. 5:00 p. m. 7:00 p. m. 8:00 p. m. 9:00 p. m. 10:00 p. m. 12:00 p. m. G3 G2 G1 HORAS Fig. 3. Interacción de participantes por hora. 400 350 300 MENSAJES G1 250 200 G2 150 100 G3 50 0 G4 G5 G6 DÍA DE LA SEMANA Fig. 4. Interacción de participantes por día. 8 La figura 4, refleja que el día de mayor interacción fue el lunes, los 6 grupos coinciden. El grupo 5 interactuó con 365 mensajes. El grupo 2, interactuó con un total de 175 mensajes, el grupo 1, con un total de 110, el grupo 3 con un total de 75, el grupo 5 con un total de 60 y el grupo 4 con un total de 50. Es importante destacar que el jueves también fue uno de los días en los que el grupo 3 interactuó con mayor frecuencia enviando un total de 68 mensajes. La figura 5 refleja qué palabras fueron las más utilizadas por los usuarios en los 6 grupos de WhatsApp. Las palabras gracias, fue la más utilizada, tomando en cuenta que es un término que se menciona cuando se recibe una respuesta pronta y oportuna. Las palabras comprensión, instrucciones y saludos fueron usadas también con frecuencia. Esta figura puede interpretarse de varias formas, sin embargo, en el contexto de tutoría virtual, estos datos obtenidos mediante la aplicación de Social Learning Analytics pueden ser utilizados, para reconocer los términos de los cuales el tutor puede valerse para escribir sus mensajes y llamar la atención de los usuarios. Fig. 5. Palabras frecuentes. 4 Discusión Para discutir los resultados es necesario indicar que este es un estudio poblacional el cual está integrado por profesores universitarios (estudiantes) y tutores (especialistas) del Diplomado en Tutoría Virtual del Programa de Formador de Formadores de la Universidad de San Carlos de Guatemala. Según la información demográfica de los participantes, la brecha de género no está notoriamente marcada, porque el porcentaje presentado equivale a 135 hombres y 116 mujeres, de los 251 participantes. En cuento a la actividad es importante resaltar, que, aunque la edad promedio de los participantes sea 47, no representa ningún límite para la aplicación de SLA. Las dimensiones analizadas: interacción de los estudiantes, estado de ánimo del grupo, intervención tutorial, horas y días con mayor actividad y palabras más utilizadas. En cuanto a la intervención tutorial se refleja que es equivalente, a los mensajes enviados por los miembros del grupo. Por una parte, el tutor debe interpretar correctamente los mensajes que comparten los usuarios mediante emojis y por otra, tener siempre presente los días y horas en los que su mensaje tendrá mayor y mejor aceptación. En cuanto a los emojis, el más usado fue el del pulgar hacia arriba, generalmente se utiliza al final de un intercambio de mensajes y refleja aceptación total hacia el o los interlocutores [19]. En cuanto al segundo emoji más utilizado vemos el de manos aplaudiendo que denota triunfo o comprensión óptima del mensaje. En ambos casos el tutor puede tener certeza de la claridad de su mensaje. Si por alguna razón no se reciben estás señales, el tutor debe revisar la redacción de sus textos para verificar qué aspectos debe incluir para una comunicación clara. Puede revisar mensajes anteriores donde su intervención generó el emoji de la mano con el pulgar hacia arriba o las manos aplaudiendo y retomar ideas, términos o formatos de redacción. Es importante hacer notar que, así como el estudiante se comunica con la mano del pulgar hacia arriba, con las manos aplaudiendo, con una sonrisa, o con un guiño, también da señales de alerta, cuando utiliza una cara sudorosa, un signo de interrogación, una cara de asombro, o una cara que denota confusión. Aunque son mínimas, este tipo de reacciones deben tomarse en cuenta, más aún cuando se dan en una red social utilizada como complemento de comunicación en un curso e-learning. Son los porcentajes mínimos del uso de emojis, los que dan la pauta de nuevas formas de accionar del tutor. No todos los grupos manifiestan los mismos resultados, esto quiere decir que cada grupo establece la tendencia de comportamiento creando así, su identidad. Por ejemplo: para el grupo 5, es oportuno recibir retroalimentación, recordativos o aclaraciones a las once, cuatro y veinte horas los lunes; si el tutor envía a este grupo un mensaje a las doce horas del sábado, seguramente cuando todos ingresen estarán desorientados y confundidos. Aquí radica la importancia de aplicar SLA para tomar decisiones oportunas. Desde este punto de vista, la tutoría no es un accionar pasivo. La tutoría debe ser en extremo activa, puesto que su intervención se verá reflejada en los resultados de la calidad educativa [20]. 5 Conclusión El comportamiento de los estudiantes dentro de los grupos de WhatsApp es dinámico, y presenta características singulares en torno a los datos obtenidos de la aplicación de SLA: estado de ánimo, número de mensajes, palabras más utilizadas, horas y días con mayor actividad. Cabe mencionar que, aunque los participantes del estudio son docentes universitarios, en los grupos de WhatsApp adoptaron el perfil de un estudiante en todas sus dimensiones sociales digitales (bromas, preguntas, abreviaturas, etc.) En cuanto a las acciones tutoriales que pueden realizarse al aplicar Social Learning Analytics –SLA- en los grupos de WhatsApp, destacan: 1. Reconocer el nivel de interacción de los estudiantes 2. Descubrir las palabras y los emojis más usados; esto implica: primero, redactar mensajes de retroalimentación utilizando los mismos términos de los cuales se ha apropiado el estudiante; segundo, identificar el estado de ánimo de los participantes, para comprender cuán agradado, receptivo, motivado, preocupado o abrumado se siente en función del proceso de aprendizaje que se está llevando a cabo e intervenir oportunamente. 3. Identificar las horas y días de la semana de mayor actividad de los usuarios para: organizar su intervención en horarios en los que sus mensajes tendrán mayor recepción 4. Determinar la frecuencia de uso de palabras utilizadas, con el propósito de intervenir oportunamente. Puede concluirse que aplicar SLA a través de grupos de WhatsApp, facilita la tutoría virtual y permite identificar el comportamiento de los estudiantes en los programas de formación de formadores de la Universidad de San Carlos de Guatemala. 10 Referencias 1. Chatvisualizer, https://chatvisualizer.com/, último acceso 21/04/2018 2. WhatsApp Analizer, http://whatsapp-analyzer.herokuapp.com/, último acceso 22/04/2018 3. Chatylizer, https://chatilyzer.com/, último acceso 22/04/2018 4. Haquin, D.: "La perspectiva multimodal sobre la comunicación: desafíos y aportes para la enseñanza en el aula." Diálogos educativos, (22), 3-14. (2011). 5. Torralba, G.: "Las redes sociales más utilizadas." Disponible en: https://caracterurbano.com/ocio/redes-sociales-mas-utilizadas. Último acceso 22/03/2018 6. Statista. "Principales redes sociales globales 2018." Disponible en: https://es.statista.com/estadisticas/600712/ranking-mundial-de-redes-sociales-por-numero- de-usuarios/. Último acceso 25/03/2018. 7. Román, P. "Sistemas de comunicación alternativos en tutoría virtual: los grupos de WhatsApp en la docencia universitaria." (2016): 121-137 8. Ferguson, R., & Shum, S. B. "Social learning analytics: five approaches." Proceedings of the 2nd international conference on learning analytics and knowledge. ACM, 2012. 9. Rosenfeld, A., Sina, S., Sarne, D., Avidov, O., & Kraus, S. "A Study of WhatsApp Usage Patterns and Prediction Models without Message Content." arXiv preprint arXiv:1802.03393 (2018). 10. Stone, S., & Logan, A."Exploring Students’ Use of the Social Networking Site WhatsApp to foster connectedness in the online learning experience." Irish Journal of Technology Enhanced Learning 3.1 (2018). 11. Patil, S."WhatsApp Group Data Analysis with R." International Journal of Computer Applications 154.4 (2016). 12. Suárez Lantarón, B. "El WhatsApp como herramienta de apoyo a la tutoría." REDU. Revista de Docencia Universitaria. Vol. 15. No. 2. Universitat Politècnica de València, 2017. 13. Suelves, D. M. "Valoración del uso de WhatsApp en la tutorización del TFG." EDUNOVATIC 2016-I Congreso Virtual internacional de Educación, Innovación y TIC.: Del 14 al 16 de diciembre de 2016. Libro de actas. REDINE. Red de Investigación e Innovación Educativa., 2016. 14. Viteri, N. C., Ortiz, J. P., Cañizares, N. G. G., Macías, X. Á., Pinos, O. Q.: "La investigación mixta, estrategia andragógica fundamental para fortalecer las capacidades intelectuales superiores." La investigación mixta, estrategia andragógica fundamental para fortalecer las capacidades intelectuales superiores. 17, 2(2). (2012) 15. Hernández, R., Fernández, C., Baptista, P.: "Metodología de la investigación." (2014) 16. Luzuriaga, R.: "Aplicación de learning analytics para enriquecer el proceso de enseñanza en la educación superior." (2016) 17. Amo, D., Santiago, R.: "Learning analytics: la narración del aprendizaje a través de los datos. " (2017) pp.75 18. Sampietro, A.: "Emoticonos y multimodalidad. El uso del pulgar hacia arriba en WhatsApp. " Aposta. Revista de Ciencias Sociales, (69), 271-295. (2016) 19. Jiménez, A., Casalino, I., Véliz, M., Ingunza, M. X., & Yap, L. E. "Significado y uso de los emojis de WhatsApp dentro de situaciones comunicativas interculturales." (2017). 20. Silva, J., "El rol del tutor en los entornos virtuales de aprendizaje. Innovación Educativa. " (2010)