Resumen Este art´ıculo propone un algoritmo evolutivo para optimizar el comportamiento de bots (NPCs) que no requiere de una funcio´n de fitness expl´ıcita, usando en su lugar combates por pares (a modo de “justa”) en los que so´lo uno de los contendientes sobrevivira´. Este proceso hara´ las veces de mecanismo de seleccio´n del algoritmo, en el que so´lo los ganadores pasara´n a la siguiente generacio´n del mismo. Se ha utilizado un algoritmo de Programacio´n Gene´tica, disen˜ado para generar motores de comportamiento para bots del conocido RTS Planet Wars. Este me´todo tiene dos objetivos principales: en primer lugar, paliar el efecto que la naturaleza “ruidosa” de la funcio´n de fitness an˜ade a la evaluacio´n y, en segundo lugar, generar bots ma´s generales (menos especializados) que los que se obtienen mediante algoritmos evolutivos en los que se usa siempre un contendiente comu´n para evaluar los individuos. Ma´s au´n, la omisio´n de un proceso de evaluacio´n expl´ıcito reduce el nu´mero de combates necesarios para evolucionar, lo que reduce a su vez el tiempo de c o´mputo del algoritmo. Los resultados demuestran que el me´todo converge y que es menos sensible al ruido que otros me´todos ma´s tradicionales. Adema´s de esto, con este algoritmo se obtienen bots muy competitivos en comparacio´n con otros bots de la literatura.
A modo de resumen, el objetivo del jugador es conquistar los planetas neutrales y los que posee el enemigo en un simulador “espacial”. Cada jugador poseera´ planetas (recursos) que producen naves (unidades) en funcio´n de una tasa de crecimiento. El jugador debera´ controlar su flota de naves (so´lo podra´ actu´ar sobre ellas), envia´ndolas a otros planetas para conquistarlos o reforzarlos (en caso de pertenecer al jugador previamente). En el primer caso, dichas naves se estrellara´n literalmente contra los planetas, reduciendo el nu´mero de naves o puntos necesarios para conquistarlos (en una relacio´n de 1 por nave estrellada). Si este nu´mero llega a 0 el jugador pasara´ a dominar ese planeta, que generara´ naves para e´l a partir de entonces. El ganador sera´ aquel que posea todos los planetas al final de la partida o aquel al que le resten unidades (si un jugador se queda sin naves pierde la partida).
Existen ciertas restricciones, como un l´ımite de tiempo de un segundo para tomar decisiones, por lo que se podr´ıan considerar turnos4; o tambie´n la imposibilidad de guardar y considerar acciones de turnos anteriores (memoria de acciones realizadas).
La Figura 1 muestra una captura de pantalla del juego.
37 2 5 27 12
5 14 13 2 27 54 9 34 Figura 1. Captura de la simulacio´n de un estado temprano del juego Planet Wars. Los planetas blancos pertenecen al jugador, los planetas grises oscuros pertenecen al oponente y los planetas grises claros no pertenecen au´n a ningu´n jugador. Los tria´ngulos representas flotas de naves. Los nu´meros (tanto en planetas como en flotas) representan el nu´mero de naves que lo componen. El taman˜o de los planetas se refiere a la tasa de crecimiento (nu´mero de naves que genera por turno) que tiene asociada, de modo que sera´ mayor cuanto ma´s grande sea el planeta.
Un bot de PlanetWars se encargara´ de controlar toda la flota, realizando las acciones pertinentes sobre las naves para doblegar la flota enemiga y conquistar todos los planetas en liza.
Este juego presenta el problema mencionado antes en el ca´lculo del fitness [
De modo que, incluso si obtuvie´semos una evaluacio´n estad´ısticamente
significativa, el calculo del fitnes podr´ıa incluir una tendencia relacionada con el oponente
seleccionado. Este problema esta´ relacionado con el sobre-entrenamiento de la poblacio´n
para enfrentarse a un rival espec´ıfico, es decir, los individuos aprenden a jugar
excesivamente bien contra e´l y obtienen peores resultados contra otros enemigos [
Este art´ıculo propone un AE co-evolutivo (AEC) [
Este modelo es ma´s cercano al proceso real de seleccio´n natural [
La propuesta se ha implementado como un algoritmo de Programacio´n Gene´tica
(PG) [
Dado que el algoritmo se ejecuta en conjuncio´n con Planet Wars, la justa se ha modelado como un combate en el juego. El ganador de la batalla pasa a la siguiente generacio´n como padre de los siguientes bots, el perdedor se elimina de la poblacio´n. Adema´s, la consideracio´n de todos los individuos como oponentes, en lugar de uno so´lo, hace el entrenamiento (la evolucio´n) ma´s generalista, lo que producira´ bots capaces de enfrentarse con e´xito a un rango ma´s amplio de rivales (aprendera´n diversas estrategias).
Se han realizado varios experimentos, a fin de medir la convergencia en la evolucio´n, as´ı como la influencia del ruido en la misma, y se han comparado los resultados con los obtenidos por otros algoritmos y bots de la literatura. Nuestro objetivo es comprobar si el me´todo propuesto es va´lido para evaluar individuos, si resulta menos sensible a la influencia del ruido y si los bots generados son suficientemente competitivos. 2.
La evolucio´n de motores de IA para controlar NPCs/Bots se ha convertido en una
te´cnica muy exitosa en el entorno de los videojuegos. Existen dos enfoques principales:
partir de un conjunto de reglas, cuyos para´metros o variables son optimizados off-line
(antes de la partida real) por medio de AGs [
El problema en ambos casos suele ser la consideracio´n de un bot espec´ıfico para la evaluacio´n de los potenciales individuos o la definicio´n de una funcio´n de fitness que realmente pueda valorar el rendimiento de cada bot en la batalla, atendiendo, normalmente, a diversos factores.
Una posible forma de evitar estos problemas es el uso de AECs, en los que el
comportamiento de un individuo depende del de otros individuos de la poblacio´n. En el
a´mbito de los videojuegos, los AECs se empezaron a aplicar en juegos de tablero como
Backgammon [
Nuestro trabajo tambie´n se ha enfocado como un me´todo co-evolutivo, que es competitivo en la seleccio´n de individuos para ser padres de la siguiente generacio´n y, a su vez, cooperativo puesto que todos los individuos forman parte del mismo proceso evolutivo.
Centra´ndonos en los trabajos dentro del a´mbito de los RTSs, Livingstone [
Finalmente, Nogueira et al. [
La propuesta de este trabajo implementa un enfoque co-evolutivo basado en
supervivencia, que evita el uso de un funcio´n de fitness expl´ıcita. El objetivo es intentar
minimizar el efecto del ruido que introducir´ıa dicha funcio´n [
Esta seccio´n describe el algoritmo propuesto para generar bots llamados
SurvivalBots. En e´l se combina un algoritmo de PG [
El algoritmo basado en Programacio´n Gene´tica (llamado GPBot) evoluciona un conjunto de para´metros que modela un a´rbol de decisio´n. Durante la evolucio´n cada individuo de la poblacio´n (un a´rbol) se evalu´a. Para esto, el a´rbol que modela el motor de comportamiento de un agente, es colocado en un mapa en una partida de Planet Wars. Dependiendo de los resultados obtenidos, el agente (individuo) obtiene un valor fitness que se usa durante el proceso evolutivo.
Durante cada turno de la partida el a´rbol decidira´ la mejor estrategia a seguir, seleccionando por cada planeta un objetivo y un porcentaje de naves a enviar. Estos a´rboles de decisio´n son a´rboles binarios de expresiones compuestas por dos diferentes tipos de nodos:
Decisio´n: una expresio´n lo´gica formada por una variable, el operador <, y un nu´mero entre 0 y 1. Es el equivalente al concepto “primitiva” en el campo de la PG. Accio´n: una hoja del a´rbol (o sea, un “terminal”). Cada decisio´n es el nombre del me´todo a llamar del planeta que ejecuta el a´rbol. Este me´todo indica a que´ planeta enviar un porcentaje de las naves disponibles (de 0 a 1).
Las decisiones, definidas por un experto humano, se basan en los valores de las distintas variables (tambie´n definidas por el experto) que son computadas considerando algunas otras variables del juego.
myShipsEnemyRatio: Relacio´n entre las naves del jugador y las naves del enemigo. myShipsLandedFlyingRatio: Relacio´n entre las naves del jugador que vuelan y esta´n aterrizadas. myPlanetsEnemyRatio: Relacio´n entre el nu´mero de planetas del jugador y del enemigo. myPlanetsTotalRatio:Relacio´n entre el nu´mero de planetas del jugador y del total (incluyendo los del enemigo y los neutrales). actualMyShipsRatio: Relacio´n entre el nu´mero de naves en el planeta espec´ıfico que evalu´a el a´rbol y el total de naves del jugador. actualLandedFlyingRatio: Relacio´n entre el nu´mero de naves aterrizadas y volando desde el planeta espec´ıfico que evalu´a el a´rbol, y el total de naves del jugador. Finalmente, las posibles acciones, segu´n conocimiento experto, son: Attack Nearest (Neutral—Enemy—NotMy) Planet: El objetivo es el planeta ma´s cercano. NotMy se refiere a un planeta que no pertenezca al jugador, es decir, uno de los otros dos: enemigo o neutral.
Attack Weakest (Neutral—Enemy—NotMy) Planet: El objetivo es el planeta con menos naves.
Attack Wealthiest (Neutral—Enemy—NotMy) Planet: El objetivo es el planeta con ma´s tasa de crecimiento.
Attack Beneficial (Neutral—Enemy—NotMy) Planet: El objetivo es el planeta ma´s beneficioso, es decir, el que tiene mayor tasa de crecimiento dividido por el nu´mero de naves que alberga.
Attack Quickest (Neutral—Enemy—NotMy) Planet: El objetivo es el planeta ma´s fa´cil de conquistar: el menor producto entre la distancia del planeta que ejecuta el a´rbol y el nu´mero de naves en el planeta objetivo.
Attack (Neutral—Enemy—NotMy) Base: El objetivo es el planeta con ma´s naves (es decir, la base).
Attack Random Planet. Atacar un planeta aleatorio.
Reinforce Nearest Planet: Reforzar el planeta ma´s cercano al que ejecuta el a´rbol. Reinforce Base: Reforzar al planeta con ma´s naves del jugador.
Reinforce Wealthiest Planet: Reforzar al planeta del jugador con mayor tasa de crecimiento.
Do nothing. No hacer nada.
Un ejemplo de un a´rbol de decisio´n posible se muestra a continuacio´n. Este ejemplo tiene un total de 5 nodos, con dos decisiones y tres acciones, con una profundidad de tres niveles. if(myShipsLandedFlyingRatio < 0.796) if(actualMyShipsRatio < 0.201)
attackWeakestNeutralPlanet(0.481); else
attackNearestEnemyPlanet(0.913); else
attackNearestEnemyPlanet(0.819); 3.2.
El comportamiento del bot se explica en el Algoritmo 1.
El algoritmo presentado en la seccio´n anterior se ha combinado con una evaluacio´n impl´ıcita del fitness que se ocupara´ de la seleccio´n y el reemplazo. Dicha evaluacio´n es, en esencia, un combate entre individuos en un determinado mapa. Hemos denominado a este enfrentamiento justa (para diferenciarlo del cla´sico torneo de los AEs). De forma que la seleccio´n de padres para la siguiente generacio´n se consigue mediante la resolucio´n de estos combates, siendo el ganador (el superviviente) el elegido para continuar en la poblacio´n y siendo el perdedor eliminado de la misma.
De esta forma, el proceso de seleccio´n intenta fomentar la supervivencia de los
mejores individuos, paliando en cierta medida el ruido que an˜aden las funciones de
evaluacio´n expl´ıcitas (o nume´ricas) [
//Al principio de la ejecucio´n el agente recibe el a´rbol a´rbol leer A´rbol() while el juego no termine do // iniciar el turno calcularPlanetasGlobales() // p.e. Base o Base Enemiga calcularRatiosGlobales() // p.e. myPlanetsEnemyRatio for cada p en planetas del jugador do calcularPlanetasLocales(p) // p.e. NearestNeutralPlanet a p calcularRatiosDePlanetas(p) //p.e. actualMyShipsRatio ejecutarA´ rbol(p, a´rbol) // Enviar un porcentaje de naves al destino end for end while con peores condiciones que otro podr´ıa ganar un combate por causas ajenas a su buen rendimiento, como errores del rival o condiciones ma´s favorables en el desarrollo del juego. Aunque Planet Wars parte siempre de escenarios totalmente equivalentes para los contendientes. En cualquier caso, la presencia de ruido permitira´, a su vez, an˜adir diversidad a la poblacio´n, lo cual siempre es beneficioso en un algoritmo de optimizacio´n combinatoria como este.
En este enfoque hablamos de “iteracio´n” como sino´nimo de generacio´n, dado que no se trata de un proceso evolutivo cla´sico, como se explicara´ ma´s adelante.
Hemos implementado la pol´ıtica de reemplazo del enfoque estacionario cla´sico de
los AEs [
De modo que el algoritmo propuesto realiza dos combates (justas) por generacio´n. Los contendientes se seleccionan de forma aleatoria entre los individuos de la poblacio´n, asegurando simplemente que no se eligen los mismos bots para los dos combates.
Los dos ganadores pasan a ser los padres de la operacio´n de cruce, que genera dos
nuevos hijos, que son adema´s mutados e incluidos en la poblacio´n en el lugar de los
individuos que hayan perdido el combate. Hemos considerado cruce de sub-a´rboles y
mutacio´n a nivel de nodo, dado que con ellos obtuvimos buenos resultados en trabajos
previos [
Este enfoque presenta un componente de aleatoriedad mayor que el AE estacionario cla´sico, debido a la falta de una funcio´n de fitness que asigne un valor representativo a cada individuo. La seleccio´n aleatoria entre todos los individuos aumenta la probabilidad de que los malos individuos salgan de la poblacio´n, lo que reducir´ıa tambie´n el ruido presente en e´sta. Este sera´ un factor muy relevante, como se demostrara´ en los experimentos realizados.
El Algoritmo 2 muestra la combinaci o´n del algoritmo de PG propuesto con la evaluaci o´n impl´ıcita del fitness mencionada y los mecanismos de selecci o´n y reemplazo. Algorithm 2 Pseudocode of the proposed SurvivalBot.
poblacion inicializarPoblacion() while criterio de terminaci o´n no cumplido do descendientes,perdedores,seleccionados fg /* Se eligen dos contendientes aleatorios para la justa */ contendientes seleccionarContendientes(poblacion) /* Los contendientes luchan y se obtiene un ganador y un perdedor */ ganador1,perdedor1 justa(contendientes) /* Los bots selecionados no participan en m a´s combates */ seleccionados seleccionados + ganador1 + perdedor1 /* Contendientes de la segunda justa */ contendientes selectContenders(poblacion) /* Los contendientes luchan y se obtiene un ganador y un perdedor */ ganador2,perdedor2 justa(contendientes) seleccionados seleccionados + ganador2 + perdedor2 /* Se guarda referencia a los perdedores */ perdedores perdedores + perdedor1 + perdedor2 /* PROCESO EVOLUTIVO */ hijo1,hijo2 cruce(ganador1,ganador2); hijo1,hijo2 mutacion(hijo1,hijo2) descendientes descendientes + hijo1 + hijo2 /* Reemplazo de perdedores */ poblacion poblacion - perdedores poblacion poblacion + descendientes end while 4.
Se han realizado varios experimentos para estudiar diferentes aspectos de la propuesta, pero debemos se n˜alar que el principal objetivo no es la generaci o´n de los mejores bots (los ma´s competitivos) posibles a toda costa, sino, en primera instancia, probar la validez de este me´todo co-evolutivo basado en selecci o´n por supervivencia o justa. De modo que comprobaremos que el algoritmo converge y que el ruido tiene una influencia menor que en otros casos. Posteriormente analizaremos la calidad de los bots obtenidos para demostrar que son bots suficientemente buenos. E´ stos se podra´n mejorar en un futuro usando el mismo me´todo pero con configuraciones ma´s adecuadas para ello (como un ajuste de para´metros ma´s fino, ejecutarlos durante ma´s generaciones, etc).
El conjunto de para´metros considerado en nuestro algoritmo co-evolutivo de PG
(Co-PG), SurvivalBot, se muestra en la Tabla 1. E´stos son los mismos utilizados
previamente por los autores en el trabajo [
Se han realizado 30 ejecuciones en cada caso, para obtener resultados estad´ısticamente significativos.
En este primer conjunto de experimentos analizaremos la convergencia del me´todo propuesto, dado que se espera que su comportamiento, au´n sin funcio´n expl´ıcita de fitness, sea similar al de otros AEs. El problema radica en que es dif´ıcil mostrar esta convergencia sin contar con un valor nume´rico para el fitness. Por ello, una vez terminada la ejecucio´n, se ha analizado la poblacio´n de cada generacio´n haciendo uso de una funcio´n Score, que hab´ıamos definido y usado en art´ıculos anteriores para valorar el rendimiento de un bot en el juego. E´ sta se basa en el desarrollo de varios combates, y la consideracio´n del nu´mero de victorias obtenidas, turnos requeridos para ganar y turnos resistidos en caso de haber perdido.
De modo que cada individuo i perteneciente a la poblacio´n de cada generacio´n/iteracio´n se ha enfrentado con GPBot, obteniendo un Score, definido como: Donde
Scorei = +
+ = v; (3) (4) tdefeated 2 [0; N
Considerando el nu´mero de combates realizados (N ), el nu´mero de victorias contra GPBot (v), el nu´mero total de turnos usados para ganar a GPBot (twin), el nu´mero total de turnos aguantados, si ha sido vencido (tdefeated) y el nu´mero ma´ximo de turnos que dura un combate (tMAX = 1000). Esta funcio´n tiende a favorecer las victorias frente a los turnos. Cada individuo se ha enfrentado 3 veces en 10 mapas diferentes: los 5 usados durante la evolucio´n, llamados mapas entrenados y otros 5 nuevos (mapas no entrenados), por tanto N = 30.
La Figura 2 muestra los boxplots del Score obtenido por toda la poblacio´n de las 30 ejecuciones en cada iteracio´n. Agrupados segu´n los mapas conocidos (con los que se ha evolucionado) a la izquierda, o los mapas nuevos a la derecha. Como se puede ver la tendencia es creciente, como era deseable. Respecto a los resultados que se muestran ligeramente mejores en los mapas no conocidos (no entrenados previamente), este hecho se debe a la propiedad del algoritmo propuesto de fomentar la generalizacio´n, evitando el poco deseable efecto de sobre especializacio´n. De forma que los bots obtenidos no “aprenden” a jugar en mapas espec´ıficos ni contra rivales espec´ıficos, por lo que su rendimiento contra GPBot en este caso es relativamente bueno en todos los individuos.
Mapas entrenados
Mapas NO entrenados roe 10 cS 5 0 roe 10 cS 5
0 INICIAL 1000 3000 4000
Inicial 1000 3000 4000 2000 Iteraciones Figura 2. Score obtenido en el enfrentamiento contra el mejor GPBot de todos los SurvivaBots obtenidos en cada generacio´n/iteracio´n de las 30 ejecuciones.
Este estudio se complementa en primer lugar con las dos gra´ficas que se muestran en la Figura 3. En ellas se presenta el porcentaje de individuos (normalizado entre 0 y 1) que gana un determinado nu´mero de combates (de 0 a 30) contra GPBot de los que hay en la poblacio´n inicial (izquierda) y en la final (derecha). Como se puede ver, los individuos de las 30 poblaciones iniciales en las ejecuciones tienden a ganar muy pocos o ningu´n combate, mientras que en las poblaciones finales, el porcentaje de bots capaces de vencer la mayor´ıa de las veces e incluso todos los combates se incrementa en gran medida. Lo que demuestra que las poblaciones, en general, han evolucionado positivamente y han conseguido bots cada vez ma´s competitivos durante el proceso evolutivo.
Población Inicial Población Final sou .40 d iiivdn .02 Figura 3. Histograma del nu´mero de victorias contra GPBot para todos los individuos de las poblaciones iniciales y finales de las 30 ejecuciones, en los 30 combates (10 mapas * 3 enfrentamientos)
Por u´ltimo, si estudiamos la edad (nu´mero de generaciones que sobrevive un individuo) de los bots evolucionados, podremos entender mejor la dina´mica del proceso. Para ello, la Figura 4 muestra las edades de los individuos en una ejecucio´n. Como se puede ver, la edad media se mantiene en torno a un valor estable durante toda la ejecucio´n, lo que nos indica que la poblacio´n esta´ continuamente mejorando, de modo que los hijos son capaces de vencer a sus padres en pocas generaciones. Existen valores extremos, debidos, sin duda, al componente aleatorio que hay en la seleccio´n de los padres, por el que algunos individuos combatira´n muy pocas veces (o ninguna) en una ejecucio´n.
A tenor de lo visto en estos experimentos, consideramos que la evolucio´n del algoritmo es la adecuada. Pasaremos a analizar la influencia del ruido en este proceso.
En este estudio se comparara´n los mejores 30 bots obtenidos por GPBot con los mejores 30 SurvivalBots (de las 30 ejecuciones). Para elegir el mejor SurvivalBot de cada ejecucio´n, se ha realizado un torneo todos contra todos entre los bots de la u´ltima generacio´n. El bot que ha ganado ma´s combates ha sido considerado como el mejor. Hemos aplicado este me´todo para evitar el uso de una funcio´n Score sobre bots evolucionados sin fitness, a fin de evitar las desventajas que esta funcio´n conlleva, como hemos explicado a lo largo del art´ıculo.
E´stos se han enfrentado contra el mejor rival de nuestros trabajos, el bot experto o
especializado ExpGeneBot [
A fin de comprobar la influencia que ha tenido el ruido en la generacio´n de los SurvivalBots, hemos calculado un factor de ruido para cada bot, el cual se ha obtenido como la diferencia entre el ma´ximo y el m´ınimo de los Scores obtenidos en los 30 combates que ha llevado a cabo cada bot en cada mapa.
La Figura 5 muestra los boxplots de los 30 GPBots y SurvivalBots. Segu´n la definicio´n del factor de ruido que hemos propuesto, una distancia grande entre valores significara´ una mayor incertidumbre en los resultados. Las gra´ficas muestran que los SurvivalBots se comportan mejor en este sentido, presentando una varianza menor en resultados contra un rival de gran dificultad y capaz de autoadaptar su comportamiento en funcio´n del mapa y la partida. De modo que se puede concluir que los bots obtenidos mediante el me´todo descrito en este art´ıculo son ma´s fiables o “robustos” en te´rminos de comportamiento y rendimiento.
Finalmente, en la siguiente seccio´n analizaremos la calidad o competitividad de los bots obtenidos con el me´todo propuesto, ya que ese es el objetivo final de esta evolucio´n.
En este experimento todos los SurvivalBots obtenidos al final de las ejecuciones se han enfrentado a otros bots del estado del arte. Para ello, en primer lugar se han seleccionado los 30 mejores, como se hizo en el experimento anterior. Dichos bots han sido enfrentados contra un bot ba´sico (BullyBot) y 4 del estado del arte. Los bots y sus configuraciones se pueden ver en la Tabla 2.
Los enfrentamientos se han realizado en los 100 mapas de ejemplo que proporciono´ Google en el campeonato, los cuales no han sido usados durante la evolucio´n.
La Figura 6 muestra los boxplots del porcentaje de victorias obtenido por los SurvivalBots contra los dema´s rivales (no se consideran los empates).
El resultado ma´s interesante es que GPBot es ampliamente superado, dado que el nu´mero de combates en la evolucio´n es el mismo y la base de sus motores de IA, basada en PG es similar. El HoFBot, que tambie´n se obtuvo usando un algoritmo coevolutivo, ha sido vencido ma´s del 50 % de los combates por la mayor´ıa de los mejores SurvivalBots. Sin embargo, bots ampliamente entrenados (4 veces ma´s evaluaciones) y basados en una IA disen˜ada por un experto, como son GeneBot y ExpGeneBot, han resultado dif´ıciles de vencer, como era de esperar.
En cualquier caso, este es un punto de partida para SurvivalBot, que tiene mucho margen de mejora, empezando por un mayor nu´mero de iteraciones/combates en su entrenamiento, que llevar´ıan a obtener bots ma´s competitivos.
Este art´ıculo presenta una implementacio´n de un algoritmo de Programacio´n Gene´tica (PG) co-evolutivo simple para la generacio´n de bots (NPCs) para RTSs. E´ste me´todo propone la omisio´n de la seleccio´n basada en fitness en el proceso evolutivo. En su irsao .06 it c V de .04 % Figura 6. Porcentaje de victorias al enfrentar los mejores 30 SurvivalBots contra otros bots de la literatura. lugar, se simula una evolucio´n de forma ma´s natural, puesto que se basa en la mera supervivencia de los individuos, que se enfrentan en combates contra otros en los que so´lo el ganador pasa a la siguiente generacio´n.
Esta propuesta se ha aplicado a la creacio´n y mejora de reglas de comportamiento para la IA de un bot que juegue a Planet Wars. De forma que la seleccio´n se ha modelado como in combate en el juego, que hemos denominado justa, en el que el ganador sera´ padre de la siguiente descendencia, mientras que el perdedor sera´ reemplazado por dicha descendencia.
Segu´n se ha demostrado en los experimentos, el algoritmo propuesto ofrece tres beneficios principales:
Genera bots ma´s generalistas en su comportamiento, no especializados en un rival en concreto, dado que no utiliza rivales espec´ıficos en sus evaluaciones, sino miembros de la propia poblacio´n.
Se ve menos afectado por el ruido intr´ınseco a las funciones de evaluacio´n en el entorno de los videojuegos, debido a la gran presio´n selectiva que introduce el hecho de que un so´lo combate perdido por un bot har´ıa que e´ste se eliminara de la poblacio´n. De modo que es muy dif´ıcil que bots que no sean realmente buenos sobrevivan.
Requiere menos combates en la evaluacio´n (so´lo uno), en contraposicio´n a los mu´ltiples combates que se suelen realizar en las evaluaciones de otras propuestas. Esto hace que se reduzca el tiempo de co´mputo del algoritmo.
Los bots obtenidos, llamados SurvivalBots, han sido enfrentados contra otros bots del estado del arte, obteniendo muy buenos resultados en general, considerando que el menor entrenamiento de los bots obtenidos en esta propuesta.
Como l´ıneas de trabajo futuro se plantean muchas, ya que este enfoque es reciente en nuestras investigaciones. En primer lugar nos centraremos en obtener bots ma´s competitivos y complejos, a n˜adiendo ma´s variedad de condiciones y acciones al algoritmo de PG, como por ejemplo distancias entre planetas. En la misma l´ınea se hara´n pruebas sin limitar el tama n˜o ma´ximo de los a´rboles.
Este trabajo ha sido financiado en parte por los proyectos: EPHEMECH (TIN201456494-C4-3-P) y KNOWAVES (TEC2015-68752-R), Ministerio de Econom´ıa y Competitividad, Fondos FEDER, PROY-PP2015-06 (Plan Propio 2015 UGR), y el proyecto MOSOS (PRY142/14), financiado por la Fundaci o´n P u´blica Andaluza Centro de Estudios Andaluces en la IX Convocatoria de Proyectos de Investigaci o´n.