This paper presents a preliminary study on the application of evolutionary algorithms for the optimisation of the behaviour of autonomous agents for 1 vs 1 fighting games. Different evolutionary schemes have been proposed and quite promising results have been obtained, which leave room for obtaining very competitive agents following this methodology.
Un juego de lucha es un enfrentamiento 1 vs 1 en el que los jugadores (personajes) intentan
reducir la barra de salud del adversario a base de puñetazos, patadas e incluso armas blancas en
algunos juegos. Los jugadores normalmente también pueden hacer movimientos especiales, que
son más complicados de ejecutar, pero que pueden reducir la salud del rival en una cantidad
mayor. La inteligencia artificial (IA) en este tipo de juegos tiene un gran hándicap en comparación
con otros géneros, ya que deben tomar decisiones muy rápidas, dado el gran dinamismo de los
movimientos de los rivales. En este trabajo, hemos implementado un non-player character (NPC
o bot) con el objetivo de vencer a cualquier rival, sea un jugador humano u otro NPC, en el
contexto de una IA. Para ello, un experto humano ha diseñado un bot competitivo que tiene
como motor de IA un conjunto de reglas dependiendo de algunas condiciones, umbrales y pesos.
Luego se han optimizado estos valores mediante diferentes esquemas de Algoritmos Genéticos
(AG) [
Los juegos de lucha han sido un área de investigación muy prolífica, en la que se han
propuesto muchos diferentes enfoques: bots basados en scripts [
De modo que este trabajo presenta un estudio preliminar sobre las mejoras en el
comportamiento y rendimiento obtenidas mediante la aplicación de AGs sobre un motor de IA de un
agente/bot para videojuegos de lucha. Puede considerarse como un primer paso en nuestra
investigación en este dominio, dadas nuestras experiencias previas y exitosas en otros juegos
[
Los agentes obtenidos, uno por cada variante del AG, han sido probados contra un conjunto de rivales, algunos ya pre-implementados y otros creados por otros autores de anteriores ediciones de la competición. Hemos considerado un simulador llamado FightingICE1, que es el utilizado en la competición internacional de IA de juegos de lucha (FGAIC). FightingICE también ofrece un marco donde los investigadores pueden desarrollar y probar sus propios agentes. Además incluye algunos bots prefabricados que pueden utilizarse para luchar contra (y probar) nuestros propios agentes (véase la Figura 1).
Para este estudio hemos considerado el modo estándar de salud/tiempo en el que tenemos que
reducir la barra de salud del oponente a 0 o reducirla más de lo que se reduzca la de nuestro
bot, en un tiempo limitado por combate. Las entradas para los bots pueden ser tres botones
(Golpe, Patada y Especial) o una de las 9 direcciones en un pad de control o joystick. Hemos
considerado el mismo personaje para todos los agentes, llamado Zen. Se ha implementado
una versión modificada del bot de Mizuno [
Este bot genético ha sido implementado en Java e interactúa con el framework FightingICE a través de diferentes archivos externos. El AG optimiza el conjunto de parámetros de los que depende el motor de IA. Así, cada individuo es un vector de 10 valores que “modela” un comportamiento para el agente, dependiendo de los valores que tenga. Cada individuo se evalúa en un conjunto de 6 combates de juego contra dos posibles rivales. Tras estos combates, se calcula un valor de fitness como la media de _ * ( − ) de los enfrentamientos realizados.
Se han aplicado dos enfoques diferentes de AG:
Estacionario: se seleccionan y enfrentan cuatro individuos, y sólo los ganadores serán los padres. Se crean dos descendientes que reemplazan a otros en cada generación, si son mejores que sus padres. Se considera cruce uniforme y mutación aleatoria en un gen. Con este enfoque se busca una alta presión selectiva.
Generacional: en el que toda la población puede ser reemplazada. Se realiza un torneo binario que considera todos los individuos de la población (1 vs 1), de modo que los mejores en sus respectivos combates sobrevivirán. Al igual que antes, se considera cruce uniforme y mutación aleatoria de un gen. La población será la descendencia generada + la mitad de los individuos al azar. Así, buscamos un alto factor de exploración con este enfoque. Hemos añadido también elitismo, por lo que, los mejores individuos siempre sobrevivirán. 3.
La configuración considerada en los experimentos es: 20 generaciones, 16 individuos en la población, probabilidad de cruce = 60 %, probabilidad de mutación 10 %, número de combates para calcular el fitness = 6, salud de los jugadores = 300. Se han utilizado dos rivales diferentes para calcular el fitness: Dora (un agente avanzado de la literatura) y BCP (un bot muy agresivo también del estado del arte). Hemos realizado varias ejecuciones con los diferentes esquemas de AG y utilizando diferentes rivales en el cálculo del fitness. Tras esta fase de optimización, hemos elegido al mejor individuo de cada experimento enfrentando al mejor de cada ejecución en un torneo contra el resto, siendo finalmente seleccionado el ganador de un mayor número de combates.
A continuación, los agentes elegidos (los mejores) han luchado contra otros bots. En la Tabla 1 se puede ver un resumen del porcentaje de victorias de cada bot obtenido tras una serie de 9 combates. El porcentaje de victorias representado es el obtenido por el agente de la fila contra el de la columna.
Aunque no hemos conseguido obtener tasas de victoria notables, la Tabla 2 ilustra que hay una cierta mejora de los resultados con respecto al agente base. Los resultados muestran que, aunque la optimización no ha sido suficiente para ganar un gran número de combates, nos ha
MizunoAIEV-DoraBCP-Elitism MizunoAIEV-DoraBCP-NoElitism
MizunoAIEV-BCP-Elitism MizunoAIEV-BCP-NoElitism
MizunoAIEV-Dora-Elitism MizunoAIEV-Dora-NoElitism Tabla 1 Porcentaje de victorias de cada agente contra bots del estado del arte. Los nombres de las filas pertenecen a nuestros agentes optimizados (EV) indican el rival en el cálculo del fitness y el esquema de AG utilizado. permitido mejorar prácticamente todos los resultados. MizunoAIEV-DoraBCP-Elitism ha sido la configuración con mejores resultados. Es interesante señalar que el hecho de que BCP obtenga diferencias de salud tan negativas está relacionado con su comportamiento, es decir, es un agente que una vez que consigue su objetivo (encerrar al oponente), vence con facilidad, por lo que en sus victorias gana por una gran diferencia. También destacamos el hecho de que normalmente hemos obtenido mejores resultados con las configuraciones elitistas que con las no elitistas. Esto se debe a que en las configuraciones no elitistas hay una gran variabilidad y dada la naturaleza ruidosa del problema, es probable que se obtengan ‘falsas’ soluciones buenas.
MizunoAIOrig
MizunoAIEV-DoraBCP-Elitism MizunoAIEV-DoraBCP-NoElitism
MizunoAIEV-BCP-Elitism MizunoAIEV-BCP-NoElitism
MizunoAIEV-Dora-Elitism MizunoAIEV-Dora-NoElitism
BCP -134.44 -103.77 -167.67 -146.33 -173.33 -142.11 -161.33
Dora -285.67 -269.22 -232.56 -212.33 -282.33 -255.33 -286.44 Tabla 2 Diferencias de salud entre los agentes optimizados y los bots del estado del arte. Diferencias entre el bot de cada fila frente al de la columna.
Este trabajo presenta un estudio preliminar sobre la aplicación de diferentes esquemas de Algoritmos Genéticos (AGs) para optimizar agentes diseñados para el combate en un juego de lucha 1 vs 1. Los resultados, aunque no son extraordinarios, muestran algunas mejoras sobre un agente de partida muy bueno. De modo que continuaremos esta línea de investigación intentando mejorar los resultados de optimización de los AG mediante esquemas más avanzados, como una configuración con operadores específicos y adaptados, por ejemplo una mejor función de fitness. También realizaremos pruebas más completas contra agentes de alto nivel de la Fighting AI Competition.