Cosa alimenta il bot OpenAI che batte Dendi

La scorsa settimana, la storia era creato nei regni di Dota 2 e AI. All'Internazionale, Dendi, uno dei migliori giocatori del gioco, è stato battuto senza pietà in un 1v1, da un bot, due volte di seguito. Il bot in questione è stato realizzato da OpenAI, una startup di Elon Musk.

Ora potresti avere alcune domande. Cos'è Dota? Cos'è OpenAI? E perché anche questo è importante? Iniziare con, Dota è un gioco MOBA free-to-play in cui controlli Eroi e il tuo obiettivo è distruggere gli avversari Antica. Molti fan di Dota potrebbero offendersi per l'ultima frase perché c'è così tanto in Dota che ho riassunto.

Il gioco è molto complesso con una curva di apprendimento molto ripida. Qualche tempo fa mi ero imbarcato in una missione per imparare Dota e mi ci è voluta una settimana solo per passare attraverso una base Come video, dove spiegano la strategia del gioco, cosa fanno armi, incantesimi, eroi e come minare i brividi. E questo fa il tutto AI contro Dendi battaglia importante perché illustra quanto siano diventati avanzati l'intelligenza artificiale e il machine learning. Quindi vediamo cosa sta alimentando quel bot e dobbiamo spaventarci per la rivolta dell'IA.

L'ascesa del pianeta dell'IA

L'intelligenza artificiale che diventa Skynet è un problema discutibile. Elon Musk crede che se non tenuto sotto controllo, a Skynet come è probabile che accada. D'altra parte, Mark Zuckerbergdice che l'intelligenza artificiale è innocua e non causerà lo scenario del giorno del giudizio. Elon Musk ha avviato OpenAI con questo obiettivo.

Per prevenire l'uso improprio dell'IA e la ricerca sull'IA che non si ritorcerà contro di noi. E io sono dalla sua parte.

Ma non è di questo che siamo qui per discutere. L'argomento principale è sapere cosa sta alimentando il bot realizzato da OpenAI. Per capirlo, ho letto alcuni articoli di ricerca e blog sull'argomento e ho anche contattato il mio amicoAnmol Sharma chi è un ricercatore di AI e ML.

Insegnamento rafforzativo

Questo è il nome della tecnologia dietro il bot Dota di OpenAI. Ma prima di approfondire, dobbiamo capire come l'IA generale, o specificamente l'IA, in Videogiochi opera. AI è un termine molto comune e contiene molti argomenti come Machine Learning, Deep Learning e Reti neurali per citarne alcuni. Per definire grossolanamente l'intelligenza artificiale, possiamo dire che è la capacità di un computer di apprendere dalle informazioni e prendere decisioni in base al suo apprendimento. Più impara, più aumenta la correttezza della decisione.

In che modo è diverso dai normali bot?

I robot in generale nei videogiochi possono sembrare intelligenti ma non è una vera forma di intelligenza artificiale. Quasi tutti questi robot nei giochi sono programmati in base al set Se.. Questo.. Quindi.. Quella dichiarazioni. Seguono semplicemente le dichiarazioni e intraprendono azioni in base alle condizioni scritte nella dichiarazione.

Sopra ho mostrato un esempio molto semplice. Le affermazioni nei giochi reali sono molto più complesse con condizioni all'interno delle condizioni. Più queste affermazioni sono ben definite e dettagliate, più il bot sembrerà intelligente.

Ricompense e punizioni

Nel gergo dell'intelligenza artificiale, ciò che chiamiamo bot è noto come agente. L'obiettivo è fare in modo che l'agente impari tutto ciò che vogliamo che impari. L'agente impara attraverso lo stesso metodo con cui impara il tuo cane, attraverso ricompense e punizioni. Ogni volta che l'agente commette un errore viene penalizzato e ogni volta che fa l'ipotesi corretta o dà una risposta corretta, viene ricompensato. Attraverso questo sistema, l'agente impara ad associare le azioni che non dovrebbe fare per evitare la penalità ed eseguire l'azione (o azioni simili) che danno ricompense.

Se ci pensi bene, è come prendere una decisione basata su determinate condizioni, proprio come fanno gli algoritmi. Come ho mostrato sopra, un bot di gioco, che si imbatte in un barile esplosivo, agirà secondo l'algoritmo. Gli algoritmi nell'IA, ovviamente, sono molto complessi di così, il che rende l'intero sistema intelligente.

Venendo al nostro bot OpenAI, secondo il sviluppatori, ha imparato l'intero gioco in 2 settimane. Per tutto il tempo di 2 settimane, è stato online 24×7 e ha giocato contro una copia di se stesso. È un traguardo notevole considerando la complessità del gioco e il fatto che potrebbe battere Dendi.

Perché le auto senza conducente non sono ancora qui?

Questa è stata una delle prime domande che mi sono venute in mente quando ho sentito parlare dell'intero evento. Se un bot può imparare un gioco del genere e allenarsi fino a battere i migliori giocatori, perché stiamo ancora guidando la ruota. E questa era la stessa domanda che ho fatto al mio amico, Il signor Anmol Sharma, che ha anche fatto ricerche sulle auto senza conducente. Questo è quello che aveva da dire.

In un gioco sviluppato da un essere umano, il numero di variabili è inferiore. Inoltre, se l'agente (bot) commette un errore, la peggiore penalità è una perdita di round. Nel mondo reale, un errore è la morte.

Anche se Dota è un gioco complesso, le possibili combinazioni di mosse, incantesimi e tattiche, sebbene ancora assurdamente grandi, sono ancora limitate. E gli errori sono ammessi senza alcuna reale penalità. Ma nel caso di un agente di auto senza conducente, gli errori possono portare a incidenti pericolosi e persino alla morte.

Nel mondo reale, il numero di variabili che l'agente deve monitorare è infinito e le situazioni si verificano a causa di anche queste variabili, come un'altra auto che cambia improvvisamente corsia, un pedone che salta davanti all'auto, sono infinite. Inoltre, come Jeremy Clarkson per dirla, dovranno prendere decisioni morali ed etiche quando sono sull'orlo di un incidente immediato (sebbene la sua teoria non sia valida).

Il futuro

Sappiamo già di robot controllati dall'uomo che eseguono interventi chirurgici intrinseci. Il prossimo passo sono i robot controllati dall'intelligenza artificiale che lo eseguono. E questo è solo in campo medico. L'IA sarà sicuramente la nuova tecnologia dominante nel prossimo decennio in molti campi. Ma l'intelligenza artificiale può anche essere utilizzata in modo improprio per scopi nefasti come DDoS attacchi, ransomware Bot e hacking di altri PC o sistemi di aziende.

Per quanto riguarda Dota e altri giochi, possiamo aspettarci di vedere bot così intelligenti realizzati anche per altri giochi, contro i quali i giocatori possono allenarsi per ottenere prestazioni ancora migliori. E ho detto che OpenAI farà un 5v5 all'International del prossimo anno? Quindi vado a rispolverare le mie abilità di Dota per sconfiggere almeno i robot più stupidi incorporati. Stocco Divino eccomi!