Las computadoras han dominado a los humanos en juegos individuales como el ajedrez durante décadas, pero lograr que la inteligencia artificial (IA) coopere con sus compañeros de equipo es un poco más complicado. Ahora, los investigadores del proyecto DeepMind de Google han enseñado a los jugadores de IA a trabajar juntos en equipos con humanos y otras computadoras para competir en el videojuego de 1999 Quake III Arena .
Edd Gent en Science informa que cuando la IA solo tiene un oponente, generalmente lo hace bastante bien, ya que solo anticipa los posibles movimientos de una sola mente. Pero el trabajo en equipo es un asunto completamente diferente porque incluye acciones en las que las computadoras no son tradicionalmente buenas, como predecir cómo se comportará un grupo de compañeros de equipo. Para que la IA sea realmente útil, tiene que aprender a cooperar con otras inteligencias.
El equipo de DeepMind de Google explica en una publicación de blog:
“Miles de millones de personas habitan el planeta, cada una con sus propios objetivos y acciones individuales, pero aún así capaces de unirse a través de equipos, organizaciones y sociedades en impresionantes muestras de inteligencia colectiva. Este es un entorno que llamamos aprendizaje de múltiples agentes: muchos agentes individuales deben actuar de manera independiente, pero aprender a interactuar y cooperar con otros agentes. Este es un problema inmensamente difícil, porque con los agentes de adaptación conjunta el mundo está en constante cambio ".
Los videojuegos multijugador en primera persona, en los que equipos de jugadores corren por mundos virtuales, generalmente disparando pistolas o lanzagranadas entre sí, es el lugar perfecto para que la IA aprenda las complejidades del trabajo en equipo. Cada jugador debe actuar individualmente y tomar decisiones que beneficien al equipo en su conjunto.
Para el estudio, el equipo entrenó a la IA para jugar a capturar la bandera en la plataforma Quake III Arena . Las reglas son bastante simples: dos equipos se enfrentan en un campo de batalla tipo laberinto. El objetivo es capturar la mayor cantidad de banderas virtuales de los otros equipos mientras se protege la suya, y el equipo que capture la mayor cantidad de banderas en cinco minutos gana. En la práctica, sin embargo, las cosas pueden complicarse mucho rápidamente.
El equipo de DeepMind creó 30 algoritmos de redes neuronales y los hizo luchar entre sí en una serie de mapas de juego generados aleatoriamente. Los bots anotaron puntos capturando banderas y golpeando a otros jugadores, enviándolos de regreso a un área de reaparición donde se reinicia su personaje. Al principio, las acciones de los bots parecían aleatorias. Sin embargo, cuanto más jugaban, mejor se volvían. Todas las redes neuronales que perdieron constantemente fueron eliminadas y fueron reemplazadas por versiones modificadas de IA ganadora. Al final de 450, 000 juegos, el equipo coronó una red neuronal, llamada For the Win (FTW), como el campeón.
El grupo DeepMind jugó el algoritmo FTW contra lo que se llama un robot espejo, al que le faltan habilidades de aprendizaje de IA, y luego también contra equipos humanos. FTW aplastó a todos los retadores.
Luego, el grupo celebró un torneo en el que 40 jugadores humanos se enfrentaron aleatoriamente como compañeros de equipo y oponentes del bot. Según la publicación del blog, los jugadores humanos descubrieron que los bots eran más colaborativos que sus compañeros de equipo de la vida real. Los jugadores humanos junto con los agentes de FTW pudieron vencer a los ciberguerreros en aproximadamente el 5 por ciento de los partidos.
Como aprendieron, los bots descubrieron algunas estrategias que los jugadores humanos adoptaron durante mucho tiempo, como pasar el rato cerca del punto de reaparición de una bandera para agarrarla cuando reaparece. Los equipos de FTW también encontraron un error que podían explotar: si disparaban a su propio compañero en la espalda, les daba un impulso de velocidad, algo que solían aprovechar.
"Lo que fue sorprendente durante el desarrollo de este proyecto fue ver la aparición de algunos de estos comportamientos de alto nivel", le dice a Gent el investigador y autor principal de DeepMind, Max Jaderberg. "Estas son cosas con las que nos podemos identificar como jugadores humanos".
Una de las principales razones por las que los bots eran mejores que los jugadores humanos es que eran tiradores rápidos y precisos, lo que los hacía más rápidos en el sorteo que sus oponentes humanos. Pero ese no fue el único factor en su éxito. Según el blog, cuando los investigadores incorporaron un cuarto de segundo de retraso en el tiempo de reacción en los robo-shooters, los mejores humanos aún solo podían vencerlos aproximadamente el 21 por ciento del tiempo.
Desde este estudio inicial, FTW y sus descendientes se han desatado en el campo de batalla completo de Quake III Arena, y han demostrado que pueden dominar un mundo aún más complejo con más opciones y matices. También han creado un bot que sobresale en el juego espacial de estrategia ultra complejo Starcraft II.
Pero la investigación no se trata solo de hacer mejores algoritmos de videojuegos. Aprender sobre el trabajo en equipo podría eventualmente ayudar a la IA a trabajar en flotas de automóviles autónomos o quizás algún día convertirse en asistentes robóticos que ayuden a anticipar las necesidades de los cirujanos, informa Science Gent.
Sin embargo, no todos piensan que los bots de las estrellas arcade representan un verdadero trabajo en equipo. El investigador de IA Mark Riedl de Georgia Tech le dice a The New York Times que los bots son tan buenos en el juego porque cada uno entiende las estrategias en profundidad. Pero eso no es necesariamente cooperación, ya que los equipos de IA carecen de un elemento crucial del trabajo en equipo humano: la comunicación y la cooperación intencional.
Y, por supuesto, también carecen del otro sello distintivo de la experiencia cooperativa de videojuegos: hablar mal del otro equipo.
