In this work, the main goal of this study is the use of descriptive learning analytics (LA) in continuous training in higher education to identifying the behavior of participants in virtual courses. Traditionally, to the end of a course the participant opinion about the course is based on surveys or interviews, in this case, the LA was used for setting the interaction in the Moodle learning management system (LMS). Learning analytics is an innovative technique for monitoring and controlling the training courses that higher education institutions must implement.
El término analítica de aprendizaje (AA) o LA (Learning Analytics) nace el 2011 de
la mano de George Siemens, que la define como la recopilación y el análisis de datos
del alumnado en un ambiente de formación [1].
En Ecuador, se han definido políticas sobre la formación (educación continua) del profesorado universitario, impulsadas por el Consejo de Educación Superior (CES), organismo que regula a las instituciones de educación superior (IES) [6]. En diferentes cursos de formación, sea presencial, virtual o mixto en los contextos de educación superior, los instructores o directivos usan como herramientas de control y seguimiento encuestas de satisfacción al inicio, intermedio o final de los mismos, presentados por lo general, por medio de reportes con información descriptiva poco útil a la hora de identificar las fortalezas o debilidades en este tipo de programas de formación [7][8], creando con ello una oportunidad para la AA en la mejora de los procesos de la formación o capacitación en Ecuador. Muchas IES ofrecen la formación del profesorado en la modalidad virtual, con el fin de democratizar la educación y que penetre en la gran mayoría de su comunidad universitaria y en la sociedad [9]. De acuerdo a lo mencionado, se plantea la pregunta de investigación: ¿Cuáles son las características de comportamiento de los participantes de un curso virtual de formación del profesorado?
El objetivo principal de este trabajo es identificar por medio de la AA descriptiva, las características de aprendizaje desarrolladas por los participantes de un curso de formación virtual, que permitirá potenciar los recursos de aprendizaje y diseño instruccional en la oferta de nuevos cursos virtuales que ofertan las IES. Este trabajo se organiza de la siguiente forma: la sección 1 presenta el problema, objetivo, definiciones preliminares y trabajos relacionados con el objeto de estudio. En la sección 2 se presenta la metodología realizada y que servirá para replicar el trabajo en otros contextos. La sección 3 muestra los principales resultados obtenidos en relación a la AA. La sección 4 presenta la discusión de los resultados obtenidos. Finalmente, en la sección 5 se describen las conclusiones obtenidas y las líneas futuras. 1.1
La AA se define como “el uso de datos y modelos para predecir el progreso y desempeño del estudiante, y la habilidad para utilizar esa información” [10]. De acuerdo con [11], la AA aprovecha la gran cantidad de información que generan los estudiantes durante el proceso educativo con la finalidad de mejorar la calidad del aprendizaje y el rendimiento académico. La AA ha surgido como un área significativa de investigación sobre el aprendizaje potenciado por la tecnología, debido a la disponibilidad de grandes conjuntos de datos, al surgimiento del aprendizaje en línea a gran escala y la preocupación política por los estándares educativos [12]. El proceso de AA tiene las siguientes etapas: recolección de datos, modelizar, interpretar, predecir, intervenir, adaptar y personalizar [11]. Por otra parte, las analíticas en los LMS hacen referencia a la recopilación y medición de los datos que se generan en estos entornos virtuales y también al posterior análisis de dichos datos. Al agregar a los LMS la funcionalidad de AA, éstos podrán obtener y medir información relevante sobre cursos, materias o capacitaciones, así como también sobre el desempeño e interacción de los alumnos (participantes) y profesores (tutores), que ayude a enriquecer las estrategias utilizadas y permite que las IES adopten medidas destinadas a mejorar los procesos de enseñanza y de aprendizaje, como así también potenciar los EVA (virtual, semi-presencial y presencial). Existen AA predictivas y AA descriptivas. Las predictivas relevan posibles situaciones futuras, en cambio las descriptivas muestran datos de lo sucedido en los cursos [8]. Las AA permiten: (a) guiar y motivar a los participantes de una capacitación a través de un aprendizaje que tiende al aprendizaje personalizado, (b) evaluar los programas de capacitación y las competencias que otorgan mejorar procesos, (c) transformar las estrategias de enseñanza y de evaluación, (d) mejorar la comunicación entre los agentes (participantes, tutores), (e) predecir el abandono y el desempeño de los participantes en el curso, (f) identificar necesidades de aprendizajes, (g) perfeccionar las estrategias de comunicación de los tutores dentro del campus y (h) optimizar los recursos de formación. Finalmente, los procesos de AA utilizan los registros que existen en los LMS sobre: perfil del usuario, actividad en el curso, participación en el curso, evaluaciones y calificaciones, finalización de actividades, uso e interacción con los objetos de aprendizaje (OA), participación e interacción en los foros, finalización de cursos, planes de aprendizaje y competencias. .
A continuación, se mencionan los trabajos relacionados con el objeto de estudio y que permiten sustentar científicamente la investigación realizada.
Primeramente, en el trabajo de Rusinque Pineda [8] se describen los procesos de la AA descriptiva e interpretativa, que mediante la producción documental de las prácticas y los discursos producidos en el trayecto y funcionamiento en tres universidades, se evidencian los modelos y métodos de enseñanza y aprendizaje en la formación docente, en los distintos campos disciplinares, entre estos los más importantes: pedagogía y la didáctica. En el trabajo de Díaz-Lázaro et al [13] se presenta una experiencia realizada en una carrera de licenciatura, que permitió identificar cómo aprenden y colaboran los estudiantes en entornos en línea, específicamente a través del uso de las redes sociales (blogs, Twitter y Facebook). El análisis fue tanto cuantitativo, basado principalmente en los datos recogidos de la AA, como cualitativo (analizando el contenido de los estudiantes a partir de los comentarios). La AA demuestra que existe una relación entre los miembros del grupo y su interacción y comportamiento en las redes.
Por otro lado, en el trabajo de García-Tinizaray [11] se presenta un trabajo que tiene como objetivo, determinar la incidencia del uso de un EVA sobre el rendimiento académico a través de un grupo de variables de interacción (participación en foro, chat, video colaboración, número de mensajes enviados al profesor, número de comentarios en el curso de la asignatura, número de accesos al LMS), que permita responder a las necesidades de mejorar el rendimiento académico en la educación superior. En el trabajo de Gómez-Aguilar et al [14] se describe un estudio mediante técnicas de analítica visual, los resultados identificaron que no sólo la participación en foros de discusión, como la lectura o la publicación, sino también el acceso a la lectura de los recursos, y la periodicidad con que estas actividades se realizan, pueden alertar sobre el desempeño del estudiante. Además, se comprobó la existencia de una fuerte relación de influencia entre la frecuencia de acceso a la lectura y publicación a foros de discusión, así como entre la frecuencia de acceso a la lectura a los recursos con los resultados de los estudiantes. En el trabajo de Celis et al [15] se presenta el uso de herramientas de la minería de datos educativa (educational data mining) para construir un modelo que predice la deserción estudiantil, por motivos académicos, en estudiantes de primer año del plan común de ingeniería y ciencias, el modelo permite desarrollar intervenciones focalizadas en aquellos estudiantes en mayor riesgo antes que finalice el período académico.
Posteriormente, en el trabajo de Lester et al [16] se presenta una recopilación de estudios en el campo de AA en educación superior, relacionados a identificar las interacciones en los EVA, modelos de predicción, análisis de redes sociales, con el objetivo de potenciar los procesos de enseñanza y aprendizaje en línea. En el trabajo de Muñoz Del Castillo et al [17] se muestra la literatura concerniente a la formación de docentes en competencias digitales y al uso de técnicas de AA para la recolección de datos procedentes de un EVA basado en Moodle, que servirá para evaluar el diseño de propuestas de formación inicial de profesorado. En el trabajo de Gómez-Aguilar et al [18] se presenta un modelo de análisis de datos educativos basado en analítica visual, AA y analítica académica. Se usa un software que permite realizar análisis de datos exploratorios y confirmatorios, en interacción con la información obtenida de un EVA en la formación en línea.
Así mismo, en el trabajo de García Alcázar [19] se propone el diseño y desarrollo de una herramienta que facilita un cuadro de mando educativo basado en AA, que mediante una interfaz presenta la información generada en los cursos tanto a instructores como a administradores, de tal forma que permitió identificar qué formato de curso recibe mejor captación en este entorno en línea y realizar un seguimiento de la trayectoria académica de los estudiantes a través del tiempo. En el trabajo de CastellanosNieves [20] se presenta un estudio sobre el seguimiento de las experiencias de los participantes en un EVA relacionado en materias en el campo del grado en Ingeniería Informática. Se identificó las métricas relevantes del aprendizaje de estudiantes y profesores que permitirán proponer recomendaciones para una mayor personalización de las asignaturas. En el trabajo de García-Tinizaray et al [21] se explora un conjunto de datos en un contexto universitario, con el objetivo de predecir la deserción estudiantil, se usa la AA en el desarrollado un modelo predictivo (regresión logística), los resultados muestran que las variables relacionadas al acceso al EVA, la participación en foros y la subida y descarga de recursos educativos son las que determinan una potencial deserción.
Finalmente, en el trabajo de Sánchez Poveda [22] se ha realizado un estudio que analiza de manera cualitativa el uso de Moodle y sus herramientas de AA por parte de los docentes de una IES. En la investigación se ha identificado que un reducido número de docentes usan las herramientas de AA que Moodle proporciona. En el trabajo de Granados et al [23] se presenta un estudio sobre el seguimiento de un curso en línea, donde se persigue que a través de los datos recabados durante el periodo en que se impartió, se pudo observar cómo se desarrolló el curso, y poder inferir si dicho comportamiento se presenta en cualquier curso o bien, cuales son las causas que lo hagan distinto de los demás; pudiendo incluso, luego de varios cursos registrados, planear uno nuevo o modificar el diseño de las actividades y temarios de acuerdo al desarrollo observado en cursos pasados. Esta recopilación de datos se realizó a través de un software denominado Sistema de Monitoreo Automático de Cursos. En los trabajos de Aguilar et al y Sánchez et al [24][25] se describe la arquitectura de implementación de la AA en un salón de clases inteligente, para ello, se trabaja con los paradigmas de computación en la nube y agentes inteligentes en el contexto académico universitario. 2 2.1
Identificar por medio de la AA descriptiva, las características de comportamiento desarrolladas por los participantes de un curso virtual de formación del profesorado. 2.2
La investigación fue de enfoque cuantitativa, que permitió recolectar información que servirá para expresar numéricamente por medio de la AA lo sucedido en el EVA. El investigador es el docente (tutor) del curso de formación en línea, y se usó la observación directa, como método de apoyo a la investigación. Como una limitante, el presente estudio se basó en la AA descriptiva de doce observaciones (participantes). 2.3
Doce participantes de la Carrera de Ingeniería en Sistemas de la Facultad de Energía
de la Universidad Nacional de Loja (http://unl.edu.ec/), perío
Instrumentos: • Herramientas para el diseño y puesta en marcha del curso: OA (proporcionados por Latindex (http://www.latindex.org/latindex/inicio), INASP (http://www.inasp.info/en/), AuthorAID (http://www.authoraid.info/en/)), eXelearning para crear OA, para el EVA se usó el LMS Moodle 2.8. • Observación directa: ficha de observación, usada para plantear las actividades de aprendizaje en el curso.
• Herramientas para la AA: log de Moodle, hoja de cálculo, software R. 1 “Entrar como invitado” y en el “Acuerdo con las Condiciones del Sitio”, clic en Sí
• Técnica estadística: descriptiva.
Para alcanzar el objetivo planteado, se planificó el siguiente procedimiento: • Fase 1: diseño, ejecución y finalización del curso para recoger la información. • Fase 2: procesamiento de la información. • Fase 3: identificación de características y comportamientos por medio de la
AA descriptiva. 3 3.1
En el curso “Habilidades de Escritura Científica en Ingeniería Informática 1.0”, desarrollado entre los meses de febrero y marzo del 2018 en la modalidad en línea, se registró en el EVA 13 participantes: 1 tutor, 12 alumnos. En la Tabla 1, se observa el número de recursos y actividades de aprendizaje que se gestionaron en el EVA2.
Tabla 1. Resumen de recursos y actividades de aprendizaje que se gestionaron en el EVA.
Recursos (R)/actividades (A)
Nro.
Paquete de contenido IMS (OA) (R)
Página (R) Archivo (R)
Foro (A) Cuestionario (A)
Tarea (A)
URL (R) Total de recursos/actividades 6 15 12 9 5 3 1 51 3.2
En esta fase se usó los log del EVA (Moodle) con un total de 5437 registros. Posteriormente, con la ayuda de una hoja de cálculo, se procedió a obtener una matriz de datos (dataset, 67x12, disponible en el URL: https://www.dropbox.com/s/jma04zmdlvlof6w/dataset-la.xlsx?dl=0) que resume todos los rastros realizados en el EVA. En lo relacionado a la privacidad de los datos, los participantes firmaron una carta de consentimiento informado, autorizando el uso de su información en la investigación. 2 Más detalles de los recursos y actividades de aprendizaje ver en: http://tmoodle2.lachamba.ec/course/view.php?id=5 3.3
La Tabla 2 muestra los resultados del análisis que servirá para el AA.
Tabla 2. Análisis descriptivo de los datos por cada participante (Pi).
Recurso/actividad (inter
acciones) Nota final acumulada (Me
dia=53.24) Número total de interacciones en el EVA (Me
dia=163) Número total de interacciones con los OA (Me
dia=37.08) Total foros (Media=42)
P1
Considerando los resultados que se muestran en la Tabla 1, dentro del tipo de recursos de aprendizaje que más se diseñaron en el curso fue “Archivo” con un total de 15, en cambio, dentro de las actividades de aprendizaje que más se creó fue “Foro” con un total de 9. Se tiene un total de 51 recursos/actividades que permitieron obtener los insumos para realizar la AA.
De acuerdo a la matriz de datos (dataset) resultante del proceso de análisis de los log del EVA, se identifica que, de los 12 participantes, la nota máxima acumulada es de 58.1/60, y la mínima es de 50.22/60. Otro hallazgo, fue que el recurso de aprendizaje con más interacciones (85) fue el OA “Paquete de contenido IMS: Lección 3: Ética para investigadores”; y la actividad de aprendizaje con más interacciones (123) fue “Foro: Actividad práctica 5: Buscando la “revista meta” y la “revista depredadora””. Todo lo mencionado, permite afirmar que los OA son los recursos educativos que se deben usar en el diseño de cursos en línea, debido a que son construidos con estándares técnicos y pedagógicos de acuerdo al contexto dónde se los use. Así mismo, se confirma que los foros son las actividades de aprendizaje con mayor valor para aprender o dar a conocer los puntos de vista sobre un tema particular de los cursos en línea, debido a que es una actividad abierta, permite aprender de los participantes más experimentados o brindar una retroalimentación a quién la solicite [14][17].
Los resultados presentados en la Tabla 2, muestran que los tres valores altos de interacción en el EVA son P5(229), P6(225) y P11(186); y los tres valores altos de la nota final acumulada son P8(58.12), P6(57.12) y P4(54.43). Por otro lado, los tres valores altos de interacción con los OA son P4(58), P6(47) y P5(46); y los tres valores altos de interacción con los foros son P6(84), P2(72) y P10(69). Finalmente, se puede observar las características de comportamiento del participante P6, identificando que es el que presenta más interacciones en los foros, y es el segundo participante con la nota final acumulada más alta, además, de ser el segundo participante con altas interacciones con los OA y el EVA.
Como principal contribución del trabajo, tenemos que la AA descriptiva permitió identificar las características de los participantes (profesorado) y con ello comprender el comportamiento en los escenarios de formación virtual, respondiendo con ello la pregunta de investigación planteada.
El uso de recursos educativos abiertos y la formación continua del profesorado en la modalidad virtual en las IES, permitirá alcanzar la calidad a corto plazo, con la ayuda de herramientas que ofrecen las TIC, combinadas con técnicas o recursos de la Inteligencia Artificial, Realidad Virtual y Aumentada, entre otros.
La AA permite identificar con más claridad el nivel de interacción con los recursos y actividades de aprendizaje en los cursos en línea, a diferencia del seguimiento tradicional que se realiza con encuestas al finalizar los cursos.
Como líneas futuras, se puede realizar una AA predictiva, con el objetivo de prevenir la deserción de los cursos en línea, además, se puede involucrar un AA del rastro de los participantes que interactúan en los cursos, que por algún motivo reprueban los mismos. Se debe realizar el estudio de correlación entre las variables, aumentando el número de la población de los participantes, y poder validar estadísticamente las hipótesis.
Finalmente, se observa que, entre las principales características de los participantes del curso, los recursos y las actividades de aprendizaje que más usan son los OA y los foros respectivamente, corroborando lo identificado en los trabajos relacionados propuestos por [13][14][17][23].
Este trabajo forma parte de las actividades del Grupo de Investigación GITIC, agradecemos al profesorado y alumnado de la Carrera de Ingeniería en Sistemas de la Universidad Nacional de Loja (UNL). Nuestro especial agradecimiento a los investigadores del Ministerio de Educación por su aporte en el trabajo y al Ing. Stalin Paladines, decano de la Facultad de Energía de la UNL por la apertura, realización y ejecución del curso de formación del profesorado/alumnado.