Serious games facilitate the learning of skills in educational environments, due to their entertaining nature. Ad-hoc developed serious games ease aligning the ludic experience with speci c learning goals, allowing the recording of player activity. However, the data generated can be too large to be analysed through manual techniques. In this paper we propose applying process mining techniques to analyse the data resulting from a serious game experience. Speci cally, model discovery is applied to a serious game speci cally developed to work skills on conceptual data modelling in a computer system. Detailed data about each game experience is recorded, including not only the nal outcome but also how the player reached it. Preliminary results in an actual case study
conducted in a course of a Degree in Computer Science and Engineering, proved to conduct a scalable analysis of the data produced by the students through pro le generation. In this way, evidence of the behaviour for speci c student pro les is obtained to provide feedback or even assess students. 1.
Los juegos serios se han visto bene ciados de la alta presencia de videojuegos en multiples entornos, demostrando que pueden ser algo mas que simples herramientas de entretenimiento. En general, los juegos serios son juegos y simulaciones que no presentan unicamente propositos ludicos, sino tambien propositos de aprendizaje [3]. Segun indica el informe sobre juegos serios elaborado por la Conferencia de Directores y Decanos de Ingenier a Informatica (CODII) de Espan~a: \el analisis de los principios de disen~o de los videojuegos los identi ca como un medio idoneo para la educacion: un videojuego es una experiencia de aprendizaje disen~ada para mantener el nivel de desaf o teniendo al jugador y, ademas, mantiene la atencion del jugador" [7].
Dentro de un juego pueden ocurrir una alta cantidad de interacciones segun
las caracter sticas del juego: seleccionar opciones, interactuar con un personaje,
usar objetos, etc. Estas interacciones pueden almacenarse como registros
secuenciales de eventos formando grandes conjuntos de datos. Sin embargo, el analisis
de estos conjuntos de datos puede acarrear problemas de escalabilidad, de forma
que llegue a no ser abarcable mediante un analisis manual [
La naturaleza secuencial de los juegos serios hace que sean una fuente de
datos apropiada para las tecnicas de analisis de secuencias. Dentro de estas
tecnicas, la miner a de procesos (process mining ) proporciona tecnicas de
analisis de eventos para descubrir, monitorizar y mejorar procesos reales a traves
de la extraccion de conocimiento de registros de eventos producidos por dichos
procesos [
El resto del trabajo esta estructurado de la siguiente manera: la seccion 2 presenta un contexto general sobre process mining. En la seccion 3 describimos el metodo propuesto. La seccion 4 describe el caso de estudio llevado a cabo. La seccion 5 proporciona un resumen del juego serio empleado. En la seccion 6 realizamos un analisis del modelo de comportamiento obtenido. Finalmente, la seccion 7 presenta las conclusiones del estudio.
Por un lado, process mining es una disciplina situada entre la inteligencia
computacional y la miner a de datos. Por otro lado, esta situada entre el
modelado y el analisis de procesos [
En primer lugar, las tecnicas de descubrimiento toman como entrada un registro de eventos y producen modelos sin usar ninguna otra informacion adicional. Los modelos pueden ser proporcionados en notaciones diferentes: Redes de Petri, grafos de dependencia, BPMN (del ingles, Business Process Model and Notation), etc. Destacar que BPMN se ha convertido en un estandar para el modelado de procesos en la industria 3. En segundo lugar, las tecnicas de conformidad comparan un modelo de procesos ya existente con un registro de eventos del mismo proceso para validar si los eventos registrados encajan con el comportamiento asociado al modelo y viceversa. Finalmente, las tecnicas de mejora se centran en extender o enriquecer modelos de proceso aplicando nueva informacion incluida en un registro de eventos adicional.
Un algoritmo de descubrimiento de proceso se de ne como \una funcion que mapea un registro de eventos como un modelo de proceso, el cual es representativo del comportamiento observado en el registro de eventos" [2]. Existen cuatro criterios que marcan la calidad de un modelo descubierto: idoneidad (de ahora en adelante, tness), precision, generalizacion y simplicidad.
Fitness mide la capacidad de un modelo para reproducir las trazas de eventos almacenadas en un registro. La precision mide la capacidad que un modelo posee para aceptar comportamiento no relacionado, por lo que un modelo con una baja precision es un modelo demasiado generico. La generalizacion mide si el modelo puede generalizar el comportamiento analizado. Como contrapartida de la precision, un modelo con una baja generalizacion sera demasiado espec co y adaptado al comportamiento del registro de eventos. Finalmente, la simplicidad indica que el modelo descubierto deber a ser el modelo mas simple que represente el comportamiento de un registro de eventos.
Cabe destacar que process mining ha sido aplicado de forma activa en
entornos educativos [
En este trabajo proponemos el uso de un metodo basado en tecnicas de process mining para descubrir modelos que faciliten el analisis de comportamiento llevado a cabo por per les espec cos de estudiantes durante una experiencia de aprendizaje basada en juegos serios. La arquitectura del metodo propuesto se muestra en la Fig. 1.
Figura 1. Metodo para descubrir modelos de comportamiento de per les de estudiante en experiencias de aprendizaje basadas en juegos serios.
Nuestro punto de entrada es un registro de eventos con todas las interacciones realizadas por cada jugador durante la experiencia de juego. Durante el juego, las interacciones realizadas por los estudiantes son almacenadas en un registro donde cada instancia corresponde a una traza de eventos. Estos eventos deben incluir algunos campos obligatorios: el CaseID correspondiente (un identi cador unico por cada instancia de proceso), la actividad (interaccion llevada a cabo) y una marca de tiempo. Segun el contexto, pueden incluirse otros campos externos: cali caciones, errores cometidos, etc.
El registro de eventos es ltrado para obtener un subconjunto segun el per l de estudiante que queramos analizar, por lo que la herramienta de process mining a utilizar para implementar el metodo debe proporcionar dicha funcionalidad. Estos per les de estudiante pueden basarse en cualquier campo que este incluido en el registro: edad, genero, cali cacion, duracion de la partida, etc.
Una vez obtenido el sub-registro correspondiente a un per l de estudiante, aplicamos tecnicas de descubrimiento de modelos de proceso para identi car patrones de comportamiento. En nuestro metodo hemos usado el algoritmo B', cuya implementacion es conocida como miner a inductiva (IM, del ingles, Inductive Miner ). IM descubre un conjunto de modelos de proceso que encajen en el comportamiento observado en un orden de tiempo polinomico al taman~o de los registros, medido como el numero de actividades que contiene el registro.
Sin embargo, en caso de que el sub-registro empleado presente una
variabilidad de comportamiento demasiado amplia, los modelos obtenidos con IM
podr an ser demasiados genericos. Existe una variante del algoritmo IM llamada
IM - infrequent (IMi), la cual permite ltrar comportamientos infrecuentes de
todos los pasos de IM [
El proceso proporciona como salida un modelo en notacion de red de Petri, la cual puede transformarse a un modelo BPMN. En caso de que el modelo obtenido no sea lo su cientemente preciso, se pueden llevar a cabo nuevas iteraciones aplicando IMi con diferentes parametros, ltrando caminos infrecuentes. 4.
En esta seccion, implementamos y validamos nuestro metodo a traves de un
caso de estudio. Las tecnicas de process mining del metodo fueron
implementadas a traves del framework open source ProM [
El caso de estudio fue llevado a cabo en la asignatura \Bases de Datos", obligatoria para los estudiantes del Grado en Ingenier a Informatica de la Universidad de Cadiz durante el segundo semestre del segundo curso. 110 estudiantes matriculados en la asignatura \Bases de Datos" participaron en la experiencia de aprendizaje basada en juegos serios. En el experimento utilizamos un videojuego que propone el disen~o de una especi cacion conceptual de datos a traves de un diagrama de Entidad Relacion (E/R). El juego fue desarrollado utilizando el motor Unity, es multiplataforma (Windows, GNU/Linux y MacOs) y posee enlace de descarga permanente [6].
El jugador realiza un diagrama E/R en base a una serie de requisitos textuales
sobre una universidad: profesores, alumnos, asignaturas, etc. El problema
planteado dentro del juego esta basado en el ejemplo practico presentado en el anexo
de [
Inicialmente, se le solicita al jugador un identi cador unico, el cual se incluye en el registro de eventos. Tras introducirlo, el jugador puede usar un menu para navegar por las diferentes pantallas del juego: el mapa, el bloc de notas y el editor de diagrama E/R. Ademas, el menu proporciona una opcion para con rmar el diagrama E/R y salir del juego.
En la pantalla del mapa el jugador debe obtener los requisitos textuales para el ejercicio propuesto visitando diferentes edi cios. Al seleccionar un edi cio, un personaje (un delegado de clase, un profesor o una directora de departamento) proporcionara nuevos requisitos textuales.
La pantalla del bloc de notas permite consultar todos los requisitos recolectados por el jugador. Cada requisito esta formado por una o dos frases donde la informacion mas relevante para el disen~o del E/R (palabras clave) estan resaltadas en un color diferente.
Por ultimo, el jugador debe disen~ar el diagrama E/R usando las herramientas proporcionadas en la pantalla del editor, el cual consta de una barra de inventario y una zona de trabajo. La Fig. 2 muestra un ejemplo de disen~o de un E/R. En primer lugar, el inventario contiene las palabras clave de los requisitos textuales obtenidos, de forma que el jugador debe elegir el tipo de elemento al que corresponde una palabra (entidad, atributo o relacion) antes de incorporarlo al modelo. En segundo lugar, la zona de trabajo permite al usuario organizar los elementos del modelo, relacionarlos entre s , seleccionar sus cardinalidades (0, 1 o N) o eliminarlos. Cuando un jugador con rma su disen~o del diagrama E/R, se crea un registro de eventos con todas las interacciones realizadas durante el juego.
Figura 2. Ejemplo de un diagrama E/R siendo disen~ado en la pantalla del editor. La barra de inventario es mostrada a la izquierda. La zona de trabajo corresponde al resto de la ventana.
Una vez recolectados los registros de eventos de todos los estudiantes, estos fueron procesados para uni carlos de forma automatica en un unico conjunto de datos. En este procesado se an~adieron las cali caciones nales que los estudiantes obtuvieron en la asignatura, lo que permitio analizar el comportamiento de per les espec cos de estudiantes en base a sus resultados.
El registro de eventos procesado contuvo 9.402 eventos, donde cada evento corresponde a una interaccion, y 110 trazas, donde cada traza corresponde a la experiencia de juego de un estudiante. En total existen 18 tipos de interacciones relacionadas con la construccion del diagrama E/R. Estas interacciones abarcan las diferentes operaciones que el jugador puede aplicar sobre los diferentes elementos del diagrama E/R (entidad, atributo y relacion): an~adir, borrar, unir y separar. Ademas, existe una interaccion por cada tipo de cardinalidad asignada a la union de una entidad con una relacion (0,1,N). 6.
El registro de eventos obtenido en la experiencia de aprendizaje fue importado en ProM. Tras ltrar el registro segun las cali caciones de los estudiantes, obtuvimos un sub-registro con los eventos de aquellos estudiantes con una cali cacion de sobresaliente (10 estudiantes). El sub-registro fue utilizado como entrada para aplicar tecnicas de descubrimiento de modelos basadas en el algoritmo IMi. Buscando un balance entre precision y generalizacion, ltramos el 20 % de los caminos menos frecuentes. El algoritmo genero el modelo de proceso mostrado en la Fig. 3.
El modelo es presentado siguiendo una notacion BPMN. En esta sintaxis, existen dos c rculos vac os que representan el inicio y el nal del modelo, respectivamente. Todos los nodos se muestran como cajas etiquetadas con una accion de evento, lo que en nuestro contexto corresponde con un tipo de interaccion durante la experiencia de juego. Los nodos estan enlazados por echas direccionadas que representan la secuencialidad entre los eventos. Ademas, existen dos tipos de cajas en forma de rombo para representar el control de ujo. Por un lado, los rombos con un s mbolo \+" corresponden a uniones de los caminos de entrada y a una division en paralelo de los caminos de salida. Por otro lado, los rombos con un s mbolo \X" corresponden a puntos de decision donde el camino se bifurca en caso de tener multiples salidas. Finalmente, los nombres de los eventos fueron acortados para mejorar la visualizacion del modelo: entidad (ent), atributo (atr) y relacion (rel).
En general, el modelo presenta una estructura lineal pero incluyendo ciertas iteraciones y bifurcaciones, alejandose de estructuras demasiado adaptadas al registro (modelos lineales con escasa variedad secuencial) y de estructuras sobregeneralizadas (modelos \en or" donde cualquier secuencia es posible). Por tanto, consideramos que es un modelo representativo y apropiadamente balanceado entre precision y generalizacion.
El modelo contiene cuatro etapas diferenciadas y una iteracion principal que va desde el nal de la tercera etapa hasta el principio del modelo. La iteracion re
Figura 3. Modelo de comportamiento de los estudiantes con cali cacion de sobresaliente. presenta un proceso repetitivo donde los estudiantes recorrieron secuencialmente las tres primeras etapas antes de pasar a la cuarta y nalizar el disen~o.
En primer lugar, los estudiantes comenzaron con la interaccion de an~adir entidades, lo cual tiene sentido debido a que las entidades pueden considerarse como el punto de inicio del disen~o de un diagrama E/R.
La segunda etapa incluye dos interacciones de borrado de elementos en el diagrama: entidades y atributos. Debido a las bifurcaciones incluidas, solo parte de los alumnos eliminaron entidades y/o atributos, por lo que algunos disen~aron el diagrama E/R a la perfeccion sin tener que realizar correcciones. Ademas, evidencia que solo se eliminaron elementos en ciertas iteraciones del proceso.
La tercera etapa incluye cuatro tipos de interacciones: an~adir relaciones, unirlas con las entidades e indicar cardinalidades con valor 1 y/o N. Esta etapa representa la creacion de relaciones entre entidades. Las interacciones de an~adir relaciones y de unir entidades con relaciones son obligatorias cada vez que un estudiante pase por esta etapa, mientras que las cardinalidades pueden ser evitadas debido a las bifurcaciones incluidas. Esto evidencia que los estudiantes dejaron pendientes ciertas cardinalidades para ser indicadas posteriormente, probablemente una vez el diagrama E/R estuviera mas completo. Ademas, el bucle unido a la interaccion de unir entidades y relaciones indica que al igual que con las cardinalidades, los estudiantes pudieron retrasar la inclusion de relaciones entre entidades para iteraciones posteriores.
Tras esta tercera etapa, el modelo presenta una bifurcacion que permite volver al inicio del modelo o seguir avanzando. Finalmente, la cuarta etapa incluye dos interacciones: an~adir atributos y unirlos con las entidades. Esta etapa incluye un pequen~o bucle para repetir este proceso tantas veces como sea necesario.
El modelo analizado evidencia ciertos patrones de comportamiento propios de este grupo de estudiantes. Realizaron un proceso estructurado e iterativo, el cual se baso en an~adir entidades, relacionar aquellas que el estudiante considerara oportuno, y volver a an~adir entidades para repetir el proceso. Una vez indicadas todas las relaciones entre entidades, se an~adieron y relacionaron todos los atributos con las entidades correspondientes.
Cabe destacar que el modelo carece de ciertas interacciones incluidas en el registro, por lo que los estudiantes no borraron relaciones ni separaron elementos una vez unidos. Esto evidencia una clara y adecuada interpretacion de los requisitos textuales. Ademas, solo se indicaron cardinalidades 1 y N, evitando cardinalidades con valor 0 y que no existen en la solucion proporcionada.
En este trabajo se propone un metodo para analizar de manera escalable el comportamiento de per les espec cos de estudiantes a traves de la aplicacion de tecnicas de process mining. Para implementar y validar nuestro metodo, se llevo a cabo un caso de estudio en una experiencia de aprendizaje basada en juegos serios en estudios universitarios de grado.
Nuestro metodo produjo un modelo de comportamiento para aquellos estudiantes que obtuvieron una cali cacion nal de sobresaliente en la asignatura. El modelo proporciono varias evidencias de los patrones de comportamiento seguidos por este per l de estudiantes durante la experiencia de juego que permite dar feedback y descubrir errores comunes.
Los resultados permiten a rmar que la propuesta facilito el analisis de comportamiento de los estudiantes en experiencias de aprendizaje basadas en juegos serios. El metodo propuesto proporciono un analisis escalable y detallado, proporcionando evidencias del comportamiento desempen~ado. Por tanto responde a rmativamente a la pregunta de investigacion: >Pueden las tecnicas de process mining proporcionar evidencias del comportamiento de per les espec cos de estudiantes en experiencias de aprendizaje basadas en juegos serios?. Como trabajo futuro proponemos el uso de estas evidencias mediante la inclusion del descubrimiento de modelos como parte de un metodo mas amplio para evaluar competencias educativas. Ademas, proponemos aplicar el descubrimiento de modelos para comparar dinamicas de comportamiento de diferentes grupos de estudiantes.
Este trabajo ha sido (codigo TIN2017-85797-R). nanciado parcialmente por el proyecto VISAIGLE