O que dá poder ao OpenAI Bot que derrotou Dendi

Na semana passada, a história era criada nos reinos do Dota 2 e AI. No Internacional, Dendi, um dos melhores jogadores do jogo, foi derrotado impiedosamente no 1v1, por um bot, duas vezes consecutivas. O bot em questão foi feito por OpenAI, uma startup da Elon Musk.

Agora você pode ter algumas perguntas. O que é Dota? O que é OpenAI? E por que isso é importante? Começar com, Dota é um jogo MOBA gratuito no qual você controla Heróis e seu objetivo é destruir os oponentes Ancestral. Muitos fãs de Dota podem se ofender com a última frase, pois há tanto para Dota então eu resumi.

O jogo é muito complexo com uma curva de aprendizado muito íngreme. Eu tinha embarcado em uma missão para aprender Dota há algum tempo e levei uma semana apenas para passar por um básico Como vídeo, onde explicam a estratégia do jogo, que armas, feitiços, heróis fazem e como extrair arrepios. E isso faz com que o todo AI vs Dendi batalha importante porque ilustra como a IA e o ML se tornaram avançados. Então, vamos ver o que está impulsionando esse bot e precisamos ficar com medo do levante da IA.

Ascensão do planeta da IA

AI tornar-se a Skynet é um problema discutível. Elon Musk acredita que se não for controlado, um Skynet semelhante cenário é provável que aconteça. Por outro lado, Mark Zuckerbergdiz que a IA é inofensiva e não causará o cenário do Juízo Final. Elon Musk começou a OpenAI com esse objetivo.

Para evitar o uso indevido de IA e pesquisas em IA que não se voltem contra nós. E eu estou do lado dele.

Mas não é isso que estamos aqui para discutir. O tópico principal é saber o que está impulsionando o bot feito pela OpenAI. Para entender, li alguns artigos de pesquisa e blogs sobre o assunto e também entrei em contato com meu amigoAnmol Sharma que é um pesquisador de AI e ML.

Aprendizagem por Reforço

Este é o nome da tecnologia por trás do bot Dota da OpenAI. Mas antes de nos aprofundarmos nisso, precisamos entender como a IA geral, ou especificamente a IA em Jogos de vídeo trabalhar. AI é um termo muito comum e contém muitos tópicos, como Aprendizado de Máquina, Aprendizado Profundo e Redes Neurais, para citar alguns. Para definir rudemente a IA, podemos dizer que é a capacidade de um computador de aprender com as informações e tomar decisões com base em seu aprendizado. Quanto mais ele aprende, mais aumenta sua correção de decisão.

Como ele é diferente do bot normal?

Os bots em videogames em geral podem parecer inteligentes, mas não é uma forma verdadeira de IA. Quase todos esses bots em jogos são programados com base em conjuntos Se.. Esse.. Então.. Este afirmações. Eles apenas seguem as declarações e agem com base nas condições escritas na declaração.

Acima, mostrei um exemplo muito simples. As declarações em jogos reais são muito mais complexas com condições dentro das condições. Quanto mais bem definidas e detalhadas forem essas declarações, mais o bot parecerá inteligente.

Recompensas e punições

No jargão da IA, o que chamamos de bot é conhecido como Agente. O objetivo é fazer com que o agente aprenda tudo o que queremos que ele aprenda. O agente aprende pelo mesmo método que seu cão aprende, por meio de recompensas e punições. Sempre que o agente comete um erro é penalizado e sempre que dá o palpite correto ou dá a resposta correta, é recompensado. Por meio desse sistema, o agente aprende a associar as ações que não deve fazer para evitar a penalidade e a realizar a ação (ou ações semelhantes) que dão recompensas.

Se você pensar bem sobre isso, é como tomar decisões com base em certas condições, assim como os algoritmos fazem. Como mostrei acima, um bot de jogo, ao se deparar com um barril explosivo, executará ações de acordo com o algoritmo. Algoritmos em IA, obviamente, são muito complexos do que isso, o que torna todo o sistema inteligente.

Chegando ao nosso bot OpenAI, de acordo com o desenvolvedores, aprendeu todo o jogo em 2 semanas. Durante o período de 2 semanas, ele esteve online 24 × 7 e jogando contra uma cópia de si mesmo. Esse é um marco notável, considerando a complexidade do jogo e o fato de que ele pode vencer Dendi.

Por que os carros sem motoristas ainda não estão aqui?

Esta foi uma das primeiras perguntas que surgiram em minha mente quando soube de todo este evento. Se um bot pode aprender tal jogo e treinar a ponto de derrotar os melhores jogadores, por que ainda estamos controlando a roda? E esta foi a mesma pergunta que fiz ao meu amigo, Sr. Anmol Sharma, que também pesquisou sobre carros sem direção. É isto que ele tinha a dizer.

Em um jogo desenvolvido por um ser humano, o número de variáveis ​​é menor. Além disso, se o agente (bot) cometer um erro, a pior penalidade é a perda da rodada. No mundo real, um erro é a morte.

Embora Dota seja um jogo complexo, as combinações possíveis de movimentos, feitiços e táticas, embora ainda absurdamente grandes, ainda são limitadas. E erros são permitidos sem nenhuma penalidade real. Mas no caso de um agente de carro sem motorista, erros podem levar a acidentes perigosos e até a morte.

No mundo real, o número de variáveis ​​que o agente deve monitorar é infinito e as situações que surgem devido a essas variáveis, como outro carro mudando de faixa repentinamente, pedestres pulando na frente do carro, também são infinitas. Além disso, como Jeremy Clarkson em outras palavras, eles terão que tomar decisões morais e éticas quando estiverem à beira de um acidente imediato (embora sua teoria não seja válida).

O futuro

Já sabemos de robôs controlados por humanos realizando cirurgias intrínsecas. O próximo salto é a execução de robôs controlados por IA. E isso é apenas na área médica. A IA certamente será a nova tecnologia dominante na próxima década em muitos campos. Mas, a IA também pode ser mal utilizada para fins nefastos, como DDoS ataques, Ransomware Bots e hacking de outros PCs ou sistemas de empresas.

Em relação ao Dota e outros jogos, podemos esperar ver bots tão inteligentes sendo feitos para outros jogos também, contra os quais os jogadores podem treinar para um desempenho ainda melhor. E eu mencionei que a OpenAI fará um 5v5 no Internacional do próximo ano? Então, estou começando a escovar minhas habilidades de Dota para, pelo menos, derrotar os bots mais burros embutidos. Rapier Divino aqui vou eu!