Qué impulsa al bot OpenAI que venció a Dendi

La semana pasada, la historia fue creado en los reinos de Dota 2 y AI. En The International, Dendi, uno de los mejores jugadores del juego, fue derrotado sin piedad en un 1 contra 1, por un bot, dos veces seguidas. El bot en cuestión fue creado por OpenAI, una startup de Elon Musk.

Ahora puede que tenga algunas preguntas. ¿Qué es Dota? ¿Qué es OpenAI? ¿Y por qué es esto tan importante? Para empezar, Dota es un juego MOBA gratuito en el que controlas Héroes y tu objetivo es destruir a los oponentes Antiguo. Muchos fanáticos de Dota pueden ofenderse con la última oración, ya que hay muchas cosas en Dota que he resumido.

El juego es muy complejo con una curva de aprendizaje muy pronunciada. Me había embarcado en una misión para aprender Dota hace algún tiempo y me tomó una semana pasar por un básico Cómo video, donde explican la estrategia del juego, qué armas, hechizos, héroes hacen y cómo minar creeps. Y esto hace que el todo AI vs Dendi batalla importante porque ilustra cuán avanzados se han vuelto la inteligencia artificial y el aprendizaje automático. Así que veamos qué está impulsando ese bot y si debemos asustarnos por el levantamiento de la IA.

El surgimiento del planeta de la IA

La IA que se convierte en Skynet es un problema discutible. Elon Musk cree que si no se mantiene bajo control, un Skynet Es probable que suceda este escenario. Por otra parte, Mark Zuckerbergdice que la IA es inofensiva y no provocará el escenario del Juicio Final. Elon Musk inició OpenAI con este objetivo.

Para evitar el uso indebido de la IA y la investigación de la IA que no se volverá en nuestra contra. Y yo estoy de su lado.

Pero eso no es lo que estamos aquí para discutir. El tema principal es saber qué está impulsando el bot creado por OpenAI. Para entenderlo, leí algunos artículos de investigación y blogs sobre el tema y también me comuniqué con mi amigo.Anmol Sharma que es un investigador de IA y ML.

Aprendizaje reforzado

Este es el nombre de la tecnología detrás del bot Dota de OpenAI. Pero antes de profundizar en él, debemos comprender cómo la IA general, o específicamente la IA en Juegos de vídeo trabaja. AI es un término muy común y contiene muchos temas como aprendizaje automático, aprendizaje profundo y redes neuronales, por nombrar algunos. Para definir crudamente la IA, podemos decir que es la capacidad de una computadora para aprender de la información y tomar decisiones basadas en su aprendizaje. Cuanto más aprende, más aumenta la corrección de su decisión.

¿En qué se diferencia de los bots normales?

Los bots en los videojuegos en general pueden parecer inteligentes, pero no es una verdadera forma de IA. Casi todos estos bots en los juegos están programados según el conjunto Si.. Esta.. Luego.. Ese declaraciones. Simplemente siguen las declaraciones y toman acciones basadas en las condiciones escritas en la declaración.

Arriba he mostrado un ejemplo muy simple. Las declaraciones en juegos reales son mucho más complejas con condiciones dentro de condiciones. Cuanto más definidas y detalladas estén estas declaraciones, más inteligente parecerá el bot.

Recompensas y castigos

En la jerga de la IA, lo que llamamos bot se conoce como agente. El objetivo es hacer que el agente aprenda lo que queremos que aprenda. El agente aprende a través del mismo método que aprende tu perro, a través de recompensas y castigos. Siempre que el agente comete un error es penalizado y siempre que adivina correctamente o da la respuesta correcta, es recompensado. A través de este sistema, el agente aprende a asociar las acciones que no debe realizar para evitar la penalización y realizar la acción (o acciones similares) que otorgan recompensas.

Si lo piensa detenidamente, es como tomar decisiones basadas en ciertas condiciones, al igual que lo hacen los algoritmos. Como he mostrado anteriormente, un bot de juego, que se encuentra con un barril explosivo, tomará acciones según el algoritmo. Los algoritmos en IA, obviamente, son mucho más complejos que esto, lo que hace que todo el sistema inteligente.

Llegando a nuestro bot OpenAI, según el desarrolladores, aprendió todo el juego en un tiempo de 2 semanas. Durante todo el tiempo de 2 semanas, estuvo en línea 24 × 7 y jugando contra una copia de sí mismo. Ese es un hito notable considerando la complejidad del juego y el hecho de que podría vencer Dendi.

¿Por qué los autos sin conductor todavía no están aquí?

Esta fue una de las primeras preguntas que me vino a la mente cuando me enteré de todo este evento. Si un bot puede aprender un juego así y entrenarse a sí mismo hasta el punto de vencer a los mejores jugadores, ¿por qué seguimos manejando el volante? Y esta fue la misma pregunta que le hice a mi amigo, Sr. Anmol Sharma, quien también ha investigado sobre autos sin manejo. Esto es lo que tenía que decir.

En un juego desarrollado por un humano, la cantidad de variables es menor. Además, si el agente (bot) comete un error, la peor penalización es una pérdida total. En el mundo real, un error es la muerte.

Aunque Dota es un juego complejo, las posibles combinaciones de movimientos, hechizos y tácticas, aunque absurdamente grandes, siguen siendo limitadas. Y los errores están permitidos sin ninguna penalización real. Pero en el caso de un Agente de vehículos sin conductor, los errores pueden provocar accidentes peligrosos e incluso la muerte.

En el mundo real, la cantidad de variables que el agente tiene que monitorear es infinita y las situaciones son difíciles debido a estas variables, como otro coche que cambia repentinamente de carril, un peatón que salta delante del coche, también son infinitas. Además, como Jeremy Clarkson Dicho de otro modo, tendrán que tomar decisiones morales y éticas cuando estén al borde de un accidente inmediato (aunque su teoría no es válida).

El futuro

Ya sabemos de robots controlados por humanos que realizan cirugías intrínsecas. El siguiente salto son los robots controlados por IA que lo realizan. Y esto es solo en el campo de la medicina. La IA seguramente será la nueva tecnología dominante en la próxima década en muchos campos. Pero, la IA también puede ser mal utilizada para propósitos nefastos como DDoS ataques Secuestro de datos Bots y piratería de otras PC o sistemas de corporaciones.

En lo que respecta a Dota y otros juegos, podemos esperar ver bots tan inteligentes también para otros juegos, contra los cuales los jugadores pueden entrenar para desempeñarse aún mejor. ¿Y mencioné que OpenAI hará un 5v5 en el International del próximo año? Así que me voy a pulir mis habilidades de Dota para al menos derrotar a los bots más tontos incorporados. Estoque divina ¡aquí vengo!