Čo poháňa OpenAI Bot, ktorý porazil Dendiho

Minulý týždeň bola história vytvorené vo sférach Dota 2 a AI. V The International, Dendi, jeden z najlepších hráčov hry, bol dvakrát po sebe nemilosrdne porazený v 1v1 robotom. Dotyčný robot vyrobil OpenAI, startup Elona Muska.

Teraz môžete mať nejaké otázky. čo je Dota? Čo je OpenAI? A prečo je to vôbec dôležité? Začať, Dota je free-to-play MOBA hra, v ktorej ovládate hrdinovia a vaším cieľom je zničiť protivníkov Staroveký. Mnoho fanúšikov Doty sa môže uraziť pri poslednej vete, pretože v Dote je toho toľko, ako som to zhrnul.

Hra je veľmi komplexný s veľmi strmou krivkou učenia sa. Pred nejakým časom som sa pustil do misie učiť sa Dota a trvalo mi týždeň, kým som prešiel základným Ako video, kde vysvetľujú stratégiu hry, aké zbrane, kúzla, hrdinovia robia a ako ťažia creepov. A toto tvorí celok AI vs Dendi boj je dôležitý, pretože ilustruje, akou pokročilou sa AI a ML stali. Pozrime sa teda, čo poháňa tohto robota a či sa musíme báť povstania AI.

Vzostup planéty AI

AI stať sa Skynetom je diskutabilný problém. Elon Musk

verí že ak sa neudrží na uzde, a Skynet podobný scenár pravdepodobne nastane. Na druhej strane, Mark Zuckerberghovorí že AI je neškodná a nespôsobí Doomsday Scenario. Elon Musk začal OpenAI s týmto cieľom.

Aby sme zabránili zneužívaniu AI a výskumu AI, ktorý sa neobráti proti nám. A ja som na jeho strane.

Ale nie o tom sme tu, aby sme diskutovali. Hlavnou témou je vedieť, čo poháňa robota vytvoreného OpenAI. Aby som tomu porozumel, prečítal som si niekoľko výskumných prác a blogov na túto tému a tiež som kontaktoval svojho priateľaAnmol Sharma ktorý je výskumníkom AI & ML.

Posilňovacie učenie

Toto je názov technológie stojacej za robotom Dota od OpenAI. Ale skôr, ako sa do toho ponoríme, musíme pochopiť, ako funguje AI, alebo konkrétne AI Video hry práca. AI je veľmi všeobecný pojem a obsahuje mnoho tém, ako napríklad strojové učenie, hlboké učenie a neurónové siete, aby sme vymenovali aspoň niektoré. Aby sme hrubo definovali AI, môžeme povedať, že je to schopnosť počítača učiť sa z informácií a rozhodovať sa na základe toho, ako sa učia. Čím viac sa učí, tým viac rastie jeho správnosť rozhodnutia.

Ako sa líši od bežných botov?

Roboty vo videohrách môžu vyzerať ako inteligentné, ale nejde o skutočnú formu AI. Takmer všetky tieto roboty v hrách sú naprogramované na základe súboru Ak.. Toto.. potom.. To Vyhlásenia. Len sa riadia vyhláseniami a konajú na základe podmienok napísaných vo vyhlásení.

Vyššie som ukázal veľmi jednoduchý príklad. Výroky v skutočných hrách sú oveľa zložitejšie s podmienkami v rámci podmienok. Čím sú tieto vyhlásenia lepšie definované a podrobnejšie, tým inteligentnejší bude robot pôsobiť.

Odmeny a tresty

V žargóne AI je to, čo nazývame bot, známe ako agent. Cieľom je, aby sa agent naučil všetko, čo chceme, aby sa naučil. Agent sa učí rovnakou metódou, ako sa učí váš pes, prostredníctvom odmien a trestov. Vždy, keď sa agent pomýli, je penalizovaný a vždy, keď správne uhádne alebo dá správnu odpoveď, je odmenený. Prostredníctvom tohto systému sa agent naučí spájať akcie, ktoré by nemal robiť, aby sa vyhol penalizácii a vykonať akciu (alebo podobné akcie), ktoré dávajú odmeny.

Ak sa nad tým dôkladne zamyslíte, je to ako robiť rozhodnutia na základe určitých podmienok, podobne ako to robia algoritmy. Ako som ukázal vyššie, herný robot, ktorý narazí na výbušný sud, vykoná akcie podľa algoritmu. Algoritmy v AI sú samozrejme oveľa zložitejšie, čo robí celý systém inteligentný.

Podľa nášho bota OpenAI vývojárov, naučilo sa celú hru za 2 týždne. Počas celej doby 2 týždňov to bolo online 24×7 a hralo sa proti sebe samej. To je pozoruhodný míľnik vzhľadom na zložitosť hry a skutočnosť, že by mohla prekonať Dendi.

Prečo tu stále nie sú autá bez vodiča?

Toto bola jedna z prvých otázok, ktoré mi napadli, keď som sa o celej tejto udalosti dozvedel. Ak sa bot dokáže naučiť takúto hru a vytrénovať sa tak, že porazí špičkových hráčov, prečo stále riadime volant? A toto bola tá istá otázka, ktorú som strelil na svojho priateľa, Pán Anmol Sharma, ktorý tiež skúmal autá bez pohonu. Toto musel povedať.

V hre, ktorú vyvinul človek, je počet premenných menší. Navyše, ak sa agent (bot) pomýli, najhorším trestom je okrúhla prehra. V skutočnom svete je jednou chybou smrť.

Aj keď je Dota komplexná hra, možné kombinácie pohybov, kúziel a taktiky, aj keď sú stále absurdne veľké, sú stále obmedzené. A chyby sú dovolené bez skutočnej penalizácie. Ale v prípade agenta bez vodiča môžu chyby viesť k nebezpečným nehodám a dokonca k smrti.

V reálnom svete je množstvo premenných, ktoré musí agent sledovať, nekonečné a vznikajú rôzne situácie tieto premenné, ako keď iné auto náhle zmení jazdný pruh, chodec skáče pred auto, sú tiež nekonečné. Navyše, ako Jeremy Clarkson povedané, budú musieť robiť morálne a etické rozhodnutia, keď budú na pokraji bezprostrednej nehody (hoci jeho teória nie je platná).

Budúcnosť

Už vieme o ľudskom riadenom robotovi, ktorý vykonáva vnútorné operácie. Ďalším skokom sú roboty riadené AI, ktoré ho vykonávajú. A to je len v oblasti medicíny. AI bude určite dominantnou novou technológiou v nasledujúcom desaťročí v mnohých oblastiach. Ale AI môže byť zneužitá aj na nekalé účely ako napr DDoS útoky, Ransomvér Roboty a hackovanie iných počítačov alebo systémov spoločností.

Čo sa týka hry Dota a iných hier, môžeme očakávať, že sa takéto inteligentné roboty vyrábajú aj pre iné hry, proti ktorým môžu hráči trénovať, aby dosahovali ešte lepší výkon. A už som spomenul, že OpenAI bude hrať 5v5 na budúcoročnom International? Takže idem oprášiť svoje schopnosti Dota, aby som aspoň porazil vstavaných hlúpejších robotov. Božský rapier sem prichádzam!