El anÆlisis del comportamiento en el contexto de los videojuegos se ha convertido en una prÆctica muy popular debido permite obtener informacin vital de los jugadores. En modelos de negocio como los videojuegos Free-to-Play (F2P) esta informacin es importante para aumentar el interØs de los jugadores/clientes en el videojuego, la cantidad de jugadores y las ganancias obtenidas. De igual forma, tambiØn permite realizar mejoras en el diseaeo. En este trabajo se realiza anÆlisis de comportamiento de trazas del videojuego TetrisAnalytics. En Østas se encuentran los movimientos tÆcticos del jugador durante la partida, a las que se aplican los mØtodos de clustering SimpleKMeans y EM(Expectation-Maximization) va Weka.
Los videojuegos se han convertido en sosticados sistemas de informacin. A travØs de Østos se obtiene gran cantidad de datos por medio de la interaccin que tiene el usuario con el videojuego [7]. La telemetra y las mØtricas de videojuegos han demostrado ser indispensables para la medicin de diferentes aspectos del rendimiento de los sistemas, la nalizacin exitosa de los proyectos y el anÆlisis de sus jugadores [11]. Existe una gran cantidad de informacin escondida en conjuntos de datos de comportamiento. Sin embargo, para obtener esa informacin es necesario aplicar diferentes tØcnicas que permitan extraer patrones de los datos [7]. Por medio de tØcnicas de Aprendizaje No Supervisado, como clustering, es posible extraer patrones de comportamiento para la toma de decisiones de diseaeo y renar la estrategia de ganancias utilizada. La aplicacin de tØcnicas de inteligencia articial a conjuntos de datos de comportamiento de jugadores es reciente en comparacin con otros campos de aplicacin [5].
En este artculo, utilizando la herramienta de minera de datos Weka se aplican pruebas sobre conjuntos de datos de comportamiento con el n de clasicar los diferentes jugadores de dicha muestra. Se aplican los algoritmos K-means y EM. Los mØtodos de clustering, y particularmente el algoritmo k-means, es uno de los mÆs populares utilizados para la evaluacin de bases de datos de comportamiento en el contexto de los videojuegos. Este anÆlisis se realiza con la nalidad de vericar la eciencia de la clasicacin de los diferentes jugadores en juegos con bajo rango de movimientos disponibles. Asimismo, la fase inicial para el ajuste dinÆmico de la dicultad en videojuegos es el desarrollo de un modelo de comportamiento que posteriormente serÆ utilizado para relacionar las habilidades de los jugadores con la dicultad estimada para este.
En la seccin 2 de este artculo, se describe la importancia del anÆlisis del comportamiento de los jugadores en videojuegos, una de las tØcnicas de Aprendizaje No Supervisado mÆs utilizadas y la herramienta de minera de datos empleada para realizar los experimentos. La seccin 3 contiene el diseaeo del videojuego, las variables y los algoritmos utilizados. En la seccin 4 se presentan los resultados obtenidos. Y por oeltimo, en la seccin 4 se comentan las conclusiones y trabajo futuro. 2
El anÆlisis del comportamiento en videojuegos ha pasado a ser una prÆctica ampliamente utilizada debido a que esta provee informacin vital sobre la poblacin de jugadores. En modelos de negocio como videojuegos Free-to-Play (F2P) esta informacin permite conocer mejor los clientes/jugadores con el n de aumentar los ingresos [5,7]. El anÆlisis del comportamiento de los usuarios permite conocer las caractersticas mÆs atractivas del juego, los artculos mÆs utilizados e incluso, la forma en que los usuarios interactoean entre s. Al conocer esta informacin, es posible realizar mejoras en el diseaeo de los elementos mÆs utilizados y as mantener el interØs de los jugadores e incluso atraer mÆs.
De igual forma, la clasicacin de los jugadores a partir de la interaccin que
estos tienen con el juego permite conocer el nivel de habilidad que cada uno. La
nalidad de un juego es que sus jugadores se diviertan. Esta se deriva del dominio
de las habilidades y la satisfaccin de cumplir los retos propuestos. DespuØs de
dominar las habilidades, el juego da una recompensa al jugador por su buen
trabajo y crea nuevos objetivos por alcanzar. As se crea un ciclo donde el jugador
se encuentra constantemente aprendiendo, dominando habilidades y obteniendo
recompensas, lo que lo mantiene interesado [
La clasicacin de jugadores basÆndose en su comportamiento es parte de una lnea de investigacin que se centra en el desarrollo de juegos personalizables [7, 17]. Esta permite realizar un anÆlisis completo de las bases de datos de comportamiento y obtener resultados a travØs de los diferentes perles. Con los resultados es posible realizar mejoras en el diseaeo del juego y en las estrategias de monetizacin utilizadas [3, 10]. Con tØcnicas de Aprendizaje No Supervisado, como clustering, es posible disminuir la dimensionalidad de un conjunto de datos y obtener aquellas caractersticas mÆs relevantes entre los jugadores. En el caso en que se desee clasicar el comportamiento de los jugadores, se usa clustering si se desconoce cmo vara su comportamiento o si no existen clases denidas [7].
El Clustering es uno de los mØtodos de Aprendizaje No Supervisado mÆs utilizados en diferentes campos de aplicacin. Esta tØcnica ha sido utilizada en el anÆlisis de los videojuegos como una forma de encontrar patrones en el comportamiento de los jugadores, la realizacin de comparativas entre videojuegos(bechmark), la evaluacin del desempeaeo del jugador, y el diseaeo y entrenamiento de personajes no controlados. Los algoritmos existentes para la asignacin de los objetos a un cluster se clasican en parcial( "soft" ) o total("hard" ). Un algoritmo es de asignacin total, cuando el objeto es identicado completamente por el cluster. AnÆlogamente, un algoritmo es considerado de asignacin parcial, cuando un objeto puede pertenecer a diferentes cluster por tener cierto grado de semejanza [2].
En las categoras principales de los mØtodos de clustering se encuentran los mØtodos de particionamiento , tambiØn conocido como clustering de centroides [6, 8]. Estos mØtodos construyen grupos que cumplen dos requerimientos: cada grupo debe contener por lo menos un objeto y cada objeto solo puede pertenecer a un grupo. Los mØtodos de particionamiento empiezan realizando una divisin inicial entre los datos. Luego utiliza una tØcnica iterativa de re-ubicacin de objetos, donde intercambian objetos de un grupo a otro con el n de validar la semejanza de los elementos pertenecientes al mismo cluster. El criterio utilizado en el algoritmo k-means es uno de los mÆs populares. En este cada cluster es representado por el valor medio de los objetos en dicho cluster [8].
Weka es una herramienta sencilla de usar con herramientas de Minera de Datos y Aprendizaje AutomÆtico [15, 16]. Esta herramienta ofrece diferentes algoritmos para la transformacin de bases de datos y su pre-procesamiento, la ejecucin de tØcnicas de minera de datos y el anÆlisis del resultado. Entre los algoritmos implementados para clustering se encuentra k-Means y EM. El algoritmo EM es una adaptacin de k-means, excepto que este calcula la probabilidad que tiene cada instancia de pertenecer a un cluster. En clustering, EM genera una descripcin de probabilidad de los clusters en tØrminos de la media y la desviacin estÆndar para los atributos numØricos y realiza un conteo para los valores nominales [14].
Los mØtodos de clustering han sido utilizados para la categorizacin del comportamiento de los jugadores en diferentes casos de estudio. Missura y Grtner [12] utilizan k-means y mÆquinas de vectores de soporte para predecir el ajuste dinÆmico de la dicultad en un juego sencillo de disparar a naves extraterrestres. Este caso de estudio se enfoca en la construccin de un modelo de dicultad encargado de agrupar los diferentes tipos de jugadores en principiante, promedio y experto; encontrar el ajuste de dicultad asociado a cada grupo y utilizar estos modelos para realizar predicciones a partir de pocas trazas del juego. Por otro lado, Drachen et al. [4] aplican los algoritmos k-means y SIVM (Simplex Volume Maximization) a un conjunto de datos de 260,000 jugadores de MMORPG Tera Online y el multijugador FPS Battleeld 2: Bad Company 2 . Utilizando la tØcnica de Drachen et al. [3], desarrollan perles de los jugadores a partir de los algoritmos mencionados. Con k-means obtienen los perles mÆs comunes entre los jugadores, y con Archetypal Analysis va SIVM, obtienen los comportamientos extremos. Otro caso de estudio similar es el realizado por Drachen et al. [5] con el popular MMORPG World of Warcraft.
La mayora de trabajos acadØmicos realizados actualmente se centran en un banco de pruebas pequeaeos con datos de comportamiento obtenidos a travØs de telemetra. En la investigacin acadØmica, es complejo realizar este tipo de pruebas debido a la falta de disponibilidad de bases de datos grandes. A pesar que existen algunos estudios de juegos comerciales, esto continoea siendo escaso. Sin embargo, la colaboracin entre estos dos sectores(empresas e instituciones de investigacin) ha mejorado [5]. 3
Para realizar la clasicacin de comportamiento de los jugadores se utiliza TetrisAnalytics. La implementacin de este juego de Tetris es sencilla. Se tiene 7 diferentes piezas y al pasar el tiempo, la cha cae mÆs rÆpido por el tablero. El jugador puede realizar los movimientos tradicionales(izquierda, derecha, rotacin y bajar la cha). El juego slo naliza cuando el jugador pierde; es decir, cuando las chas alcanzan la parte superior del tablero.
Las variables obtenidas de cada partida son las siguientes: PosX: posicin X donde el jugador ubica la pieza. Esta variable es una enumeracin con los siguientes valores: x0, x1, x2, x3, x4, x5, x6, x7, x8, x9. PosY: posicin Y donde el jugador ubica la pieza. Esta variable es una enumeracin con los siguientes valores: y0, y1, y2, y3, y4, y5, y6, y7, y8, y9, y10, y11, y12, y13, y14, y15, y16, y17, y18, y19.
Rot: rotacin de la cha. Esta variable es una enumeracin con valores: r0, r1, r2, r3.
NextPiece: pieza siguiente que saldrÆ a continuacin(valor entero entre 0 y 6).
Celda_X_Y (X e Y enteros desde 0 hasta el ancho/alto - 1): estado de cada celda concreta del tablero. Valores 0 o 1 dependiendo de si estÆ vaca u ocupada respectivamente.
TipoFicha: tipo de cha. Enumerado p0, p1, p2, p3, p4, p5, p6.
Al nalizar la partida, se guarda un archivo binario con la informacin completa de la partida. A partir de este binario se pueden generar archivos ARFF que posteriormente serÆn ingresados en Weka para su anÆlisis. Las polticas de generacin de archivos ARFF utilizadas son:
PosYTipoFichaARFF: guarda todos los atributos de la poltica anterior mas el tipo de cha actual.
LastXLinesARFF: guarda la informacin de las chas (posicin, rotacin, tipo de cha y cha siguiente). Al igual que la parte superior del tablero; es decir, las oeltimas las no vacas. La "X" del nombre puede variar entre 1-4, lo cual indica la cantidad de las que se guardan. La posicin de la cha se almacena relativa a la Y de la la superior.
EstadoCompletoARFF: guarda todo el estado del juego, esto incluye: la posicin de la cha, rotacin y tipo, as como la cha siguiente y el estado completo del tablero (casilla libre=0, casilla ocupada=1).
Cada instancia contiene el movimiento tÆctico del jugador; es decir, cada instancia contiene la posicin x e y donde el jugador ubica la cha junto con los demÆs atributos que incluya la poltica de generacin de archivos.
Se efectoea la evaluacin clases a clusters con los algoritmos SimpleKMeans y EM para clustering de Weka, donde k=noemero de jugadores. En este modo, Weka inicialmente ignora la clase y genera los clusters. Posteriormente, en la fase de pruebas, asigna las clases a los clusters basÆndose en la clase con mayor cantidad de instancias que se encuentren en dicho cluster. Luego calcula la tasa de error de la clasicacin, el cual se basa en la asignacin de clases a clusters y muestra la matriz de confusin [14]. El algoritmo EM, en modo evaluacin de clases a clusters, realiza el cÆlculo de likelihood function , asigna clases a los clusters, muestra la matriz de confusin y la cantidad de instancias incorrectamente clasicadas. De igual forma, el algoritmo SimpleKMeans en modo evaluacin de clases a clusters, realiza la asignacin de clases a clusters, muestra la matriz de confusin, la tasa de error y la sumatoria del error cuadrado de los clusters.
Las trazas evaluadas corresponden a 6 jugadores diferentes. Tres de estos, son IA’s. Dos de las IA’s utilizadas son sencillas, su tÆctica es ubicar la cha en la parte izquierda o derecha del tablero. La tercera tiene una habilidad alta para jugar y su comportamiento es similar a los movimientos de los jugadores reales. Esta IA, llamada HardCodedTacticalAI, evaloea el tablero de acuerdo a su altura(la mÆs alta con alguna posicin ocupada) y el noemero de espacios en este(noemero de posiciones sin ocupar en una columna por debajo de la primera posicin ocupada). Esta evaluacin la realiza para cada una de las 4 rotaciones posibles de la pieza y selecciona la mejor ubicacin. 4
Para el anÆlisis de las trazas de TetrisAnalytics se realizan dos pruebas diferentes con el n de evaluar la clasicacin de los jugadores con respecto a sus movimientos tÆcticos individuales y ademÆs, en una segunda prueba se realiza la unin de las trazas de la jugada actual con la siguiente con el n de analizar el impacto que tienen la ubicacin de las piezas si el jugador conoce cual es la cha siguiente.
El anÆlisis efectuado para el comportamiento de los jugadores respecto a los movimientos individuales se desarrollaron con 4312 instancias de 6 jugadores. Tres de los jugadores son IA’s, una posee buenas habilidades para jugar Tetris(jugador 3). Las otras dos son "tontas" y sus movimientos consisten en poner las chas siempre en el lado izquierdo o derecho(jugador 5 y jugador 4 respectivamente) del tablero; mientras que los demÆs jugadores distribuyen las chas de manera mÆs homogØnea a travØs del tablero. Esto se puede examinar en la gura 2, donde cada color representa un jugador. Por medio de TetrisAnalytics es posible producir archivos ARFF con diferentes conjuntos de variables. Con la poltica de generacin PosYTipoFichaARFF se exporta el tipo de cha actual, el tipo de cha siguiente, la posicin x y y donde se ubica la cha, y la rotacin que tiene la pieza en su ubicacin nal. Con Last4LinesARFF y EstadoCompletoARFF, se agrega la informacin de las 4 las no vacas superiores del tablero y el estado completo del tablero respectivamente.
La tasa de error para las pruebas con los movimientos tÆcticos individuales son las siguientes:
PosYTipoFichaARFF: SimpleKMeans 70.61% (3045 instancias), EM 71.12% (3067 instancias).
Last4LinesARFF: SimpleKMeans 44.15% (1904 instancias), EM 48.46% (2090 instancias).
EstadoCompletoARFF: SimpleKMeans 45.06% (1943 instancias), EM 53.43% (2304 instancias).
Para todos los casos SimpleKMeans clasica mejor que EM. Asimismo, aunque se esperaba que al tener la informacin del tablero completo diera mejores resultados que la informacin parcial de este, la mejor clasicacin fue realizada teniendo la informacin de las 4 las superiores no vacas del tablero. Debido a que la evaluacin es realizada con los movimientos tÆcticos individuales de los jugadores, es posible que el estado completo del tablero, hasta cierto punto, no sea tan relevante para su clasicacin debido a que solo se tiene en cuenta la ubicacin de cada cha, no de un conjunto de chas consecutivas.
En la matriz de confusin(tabla 1), las columnas representan el noemero de predicciones del algoritmo y las las las instancias en la clase real. La mayora de las instancias de los jugadores 4 y 5 pertenecen a los clusters 0 y 3 respectivamente. Estos dos jugadores, debido a tener comportamientos extremos, su clasicacin es bastante acertada. Sin embargo, el resto de jugadores, debido a que realizan diferentes movimientos, pueden llegar a tener comportamientos similares y as ser clasicados errneamente. Esto ocurre porque el espacio de movimientos posibles permitidos a los jugadores es bastante reducido, as que al evaluar las partidas con movimientos individuales por jugador puede llevar a una mala clasicacin.
Debido a que la evaluacin de los movimientos de los jugadores de manera individual presentan una tasa de error considerablemente alta, tambiØn se realiza la evaluacin de las trazas uniendo la instancia de la cha actual con la siguiente por jugador y partida. Esta unin se realiza porque durante la partida el jugador puede observar la cha siguiente a ubicar en el tablero. Por lo tanto, se puede considerar que el jugador ubica la cha actual de manera diferente si conoce cual serÆ la siguiente. As que se realiza un anÆlisis de los dos movimientos consecutivos, con el n de vericar si existe algoen patrn entre la ubicacin de la cha actual con base en la cha siguiente que este tendrÆ disponible. Por consiguiente, se realizan las pruebas con las tres polticas de generacin de archivos ARFF de TetrisAnalytics.
La tasa de error que presentan las pruebas al unir la traza de la pieza actual con la siguiente son las siguientes:
PosYTipoFichaARFF: SimpleKMeans 60.03% (2588 instancias), EM 58.33% (2515 instancias).
Last4LinesARFF: SimpleKMeans 40.78% (1756 instancias), EM 47.08% (2030 instancias).
EstadoCompletoARFF: SimpleKMeans 52.32% (2253 instancias), EM 53.032% (2296 instancias).
En el caso de PosYTipoFichaARFF, se puede observar una disminucin importante en el porcentaje de instancias incorrectamente clasicadas para ambos algoritmos. Con la conguracin EstadoCompletoARFF, ambos algoritmos alcanzan una tasa de error similar y menor con respecto a la prueba anterior. Last4LinesARFF sigue siendo la mejor clasicada. Para el caso de los jugadores JUG4 y JUG5, los cuales presentan comportamientos extremos, se puede observar una clasicacin correcta de todas sus instancias en la tabla de confusin(Tabla 2) resultante de la evaluacin con SimpleKMeans.
Debido a restricciones de espacio, no se muestra la tabla de confusin resultante de la asignacin de clases a clusters utilizando el algoritmo EM. Sin embargo, la clasicacin realizada por este algoritmo, a pesar de su mejora, no es tan buena como se espera. Los jugadores JUG4 y JUG5 siguen siendo clasicados en diferentes clusters a pesar que su comportamiento es diferente al resto de jugadores evaluados. A pesar de esto, se puede notar una mejora con respecto a las pruebas realizadas con movimientos individuales.
Con el n de conocer cual de los algoritmos es utilizados es el mejor, se realiza la t-test pareada corregida va Weka Experimenter. Este mØtodo realiza la comparacin de los resultados de N algoritmos de clasicacin sobre el mismo conjunto de datos [13]. Por defecto, el nivel signicativo es de 0.05 y en el campo de comparacin se selecciona percent_correct. El conjunto de datos ingresado es el generado a partir de la poltica EstadoCompletoARFF con dos movimientos consecutivos por instancia. En el resultado muestra que con la conguracin SimpleKMeans(t = 50:05) supera a EM(t = 46:48). 5
Para un juego sencillo como TetrisAnalytics, se realiza el anÆlisis del comportamiento de un conjunto de datos que contiene instancias tÆcticas de 6 jugadores aplicando los algoritmos SimpleKMeans y EM va Weka. Se evaloean en dos instancias: primero utilizando los movimientos tÆcticos individualmente, y luego la unin de la traza actual con la siguiente de la misma partida. Debido a que el juego seleccionado tiene pocos movimientos posibles, de ah que los algoritmos tienden a confundir los movimientos tÆcticos entre jugadores. En casos extremos, como los jugadores que siempre ubican las chas a la izquierda y a la derecha, la tasa de error es baja e incluso, cuando se considera la informacin de la cha siguiente, la tasa de error es nula para el caso de SimpleKMeans. No obstante, para jugadores que realizan diferentes movimientos la clasicacin correcta es deciente; aunque mejora cuando se unen las trazas de cha actual y cha siguiente.
Los algoritmos SimpleKMeans y EM calculan las matrices de confusin con las cuales podemos identicar la clasicacin de las instancias de los jugadores a cada cluster. Para 4 de los jugadores, sus instancias se encuentran distribuidas en todos los clusters debido a que estos realizan diferentes movimientos tÆcticos a travØs de la partida. Esto da como resultado un comportamiento similar entre jugadores debido a la baja cantidad de movimientos posibles en el juego. Por ello, se puede concluir que la clasicacin del comportamiento en juegos con rango de movimientos disponibles restringido no es muy acertada. La evaluacin de movimientos tÆcticos individuales por jugador no describe en su totalidad el comportamiento de este. Sin embargo, los jugadores tienden a ubicar la cha actual dependiendo de la siguiente con lo que mejora la clasicacin cuando se tienen en cuesta mas de un movimiento. Para trabajo futuro, se realizarÆn experimentos donde se unan mÆs de dos movimientos tÆcticos de un jugador por partida. Al obtener una mejor clasicacin de jugadores, la asignacin de la dicultad dependiendo de las habilidades mostradas por cada uno es mÆs acertada mejorando la experiencia de juego y el interØs de este. 2. Drachen, A.: Introducing clustering i: Behavioral proling for game analytics. Game Analytics Blog (Mayo 2014), http://blog.gameanalytics.com/blog/ introducing-clustering-behavioral-profiling-game-analytics.html 3. Drachen, A., Canossa, A., Yannakakis, G.: Player modeling using self-organization in tomb raider: Underworld. In Proceedings of IEEE Computational Intelligence in Games (CIG) 2009 (Milan, Italy) (2009) 4. Drachen, A., Sifa, R., Bauckhage, C., Thurau, C.: Guns swords and data: Clustering of player behavior in computer games in the wild (2012), in proceedings of IEEE Computational Intelligence in Games, 2012 (Granada, Spain) 5. Drachen, A., Thurau, C., Sifa, R., Bauckhage, C.: A comparison of methods for player clustering via behavioral telemetry. https://andersdrachen.les.wordpress.com (2013) 6. Drachen, A: Introducing clustering ii: Clustering algorithms. Game Analytics Blog (2014), http://blog.gameanalytics.com/blog/ introducing-clustering-ii-clustering-algorithms.html 7. El-Nasr, M.S., Drachen, A., Canossa, A.: Game analytics: Maximizing the value of player data. Springer Science & Business Media (2013) 8. Han, J., Kamber, M.: Data Mining: Concepts and techniques. Morgan Kaufmann (2006) 9. Hunicke, R.: The case for dynamic diculty adjustment in games. In: Proceedings of the 2005 ACM SIGCHI International Conference on Advances in computer entertainment technology. pp. 429433. ACM (2005) 10. Mahlman, T., Drachen, A., Canossa, A., Togelius, J., Yannakakis, G.N.: Predicting player behavior in tomb raider: Underworld. In Proceedings of the 2010 IEEE Conference on Computational Intelligence in Games (2010) 11. Mellon, L.: Applying metrics driven development to mmo costs and risks. Versant
Corporation, Tech. Rep. (2009) 12. Missura, O., Grtner, T.: Player modeling for intelligent diculty adjustment. In
Proceedings of the 12th international conference on discovery science (2009), berlin 13. Rabbany, R.: Comparison of dierent classication methods.
http://webdocs.cs.ualberta.car/abbanyk/research/603/short-paper-rabbany.pdf 14. Witten, I.: Using weka 3 for clustering. http://www.cs.ccsu.edum/arkov/ccsu_courses/DataMining
Ex3.html 15. Witten, I.: Waikito courses. https://weka.waikato.ac.nz/dataminingwithweka/preview 16. Witten, I., Frank, E.: Data Mining: Practical Machine Learning Tools and Techniques, Second Edition (Morgan Kaufmann Series in Data Management Systems).
Morgan Kaufmann Publishers Inc., San Francisco, CA, USA (2005) 17. Yannakakis, G.N., Hallam, J.: Real-time game adaptation for optimizing player satisfaction (2009), berlin