Kas nodrošina OpenAI robotu, kas pārspēj Dendi

Pagājušajā nedēļā vēsture bija izveidots Dota 2 un AI jomās. Starptautiskajā, Dendi, viens no spēles labākajiem spēlētājiem, tika nežēlīgi pārspēts 1 pret 1, ar bot, divas reizes pēc kārtas. Attiecīgo robotprogrammatūru izgatavoja OpenAI, Ilona Maska starta uzņēmums.

Tagad jums var būt daži jautājumi. Kas ir Dota? Kas ir OpenAI? Un kāpēc tas ir pat svarīgi? Sākt ar, Dota ir bezmaksas MOBA spēle, kuru jūs kontrolējat Varoņi un jūsu mērķis ir iznīcināt pretiniekus Senatnīgs. Daudzi Dota fani var apvainoties līdz pēdējam teikumam, jo ​​Dota ir tik daudz, tad es rezumēju.

Spēle ir ļoti komplekss ar ļoti strauju mācīšanās līkni. Pirms kāda laika es biju sācis misiju apgūt Dota, un man vajadzēja nedēļu, lai tikai izietu pamata zināšanas Kā video, kurā tiek izskaidrota spēles stratēģija, kādi ieroči, burvestības, varoņi dara un kā mīnēt creeps. Un tas veido veselumu AI pret Dendi cīņa ir svarīga, jo tā parāda, cik progresīvas ir kļuvušas AI un ML. Tātad, redzēsim, kas nodrošina šī robota darbību, un vai mums ir jābaidās no AI sacelšanās.

AI planētas pieaugums

AI kļūšana par Skynet ir apstrīdama problēma. Īlons Masks uzskata ka, ja netiek kontrolēts, a Skynet līdzīgs scenārijs, visticamāk, notiks. No otras puses, Marks Cukerbergssaka ka AI ir nekaitīgs un neizraisīs Pastardienas scenāriju. Ar šo mērķi Īlons Masks uzsāka OpenAI.

Lai novērstu AI ļaunprātīgu izmantošanu un AI izpēti, kas nevēršas pret mums. Un es esmu viņa pusē.

Bet tas nav tas, ko mēs esam šeit, lai apspriestu. Galvenā tēma ir zināt, kas darbina OpenAI izveidoto robotu. Lai iegūtu izpratni par to, es izlasīju dažus pētījumus un emuārus par šo tēmu, kā arī sazinājos ar savu drauguAnmols Šarma kurš ir AI un ML pētnieks.

Pastiprināšanas mācības

Šis ir OpenAI Dota robota tehnoloģijas nosaukums. Bet, pirms mēs tajā iedziļināmies, mums ir jāsaprot, cik vispārīgs ir AI vai konkrēti AI Video spēles strādāt. AI ir ļoti plaši izplatīts termins, un tajā ir ietvertas daudzas tēmas, piemēram, mašīnmācīšanās, dziļā mācīšanās un neironu tīkli. Lai rupji definētu AI, mēs varam teikt, ka tā ir datora spēja mācīties no informācijas un pieņemt lēmumus, pamatojoties uz tās mācīšanos. Jo vairāk tas mācās, jo vairāk palielinās lēmuma pareizība.

Kā tas atšķiras no parastajiem robotiem?

Parasti videospēļu robotprogrammatūra var izskatīties kā inteliģenta, taču tā nav īsts AI veids. Gandrīz visi šie roboti spēlēs ir ieprogrammēti, pamatojoties uz komplektu Ja.. Šis.. Tad.. Tas paziņojumi. Viņi vienkārši seko paziņojumiem un veic darbības, pamatojoties uz paziņojumā rakstītajiem nosacījumiem.

Iepriekš es parādīju ļoti vienkāršu piemēru. Paziņojumi reālajās spēlēs ir daudz sarežģītāki, ja nosacījumi ir atbilstoši nosacījumiem. Jo precīzāki un detalizētāki ir šie apgalvojumi, jo bots šķitīs inteliģentāks.

Atlīdzības un sodi

AI lingo tas, ko mēs saucam par robotu, ir pazīstams kā aģents. Mērķis ir panākt, lai aģents mācītos visu, ko mēs vēlamies. Aģents mācās, izmantojot to pašu metodi, ko mācās jūsu suns, izmantojot apbalvojumus un sodus. Ikreiz, kad aģents pieļauj kļūdu, tas tiek sodīts, un ikreiz, kad tas izdara pareizo minējumu vai sniedz pareizo atbildi, tas tiek apbalvots. Izmantojot šo sistēmu, aģents iemācās saistīt darbības, kuras tam nevajadzētu darīt, lai izvairītos no soda, un veikt darbību (vai līdzīgas darbības), kas dod atlīdzību.

Ja jūs to rūpīgi domājat, tas ir tāpat kā lēmumu pieņemšana, pamatojoties uz noteiktiem nosacījumiem, līdzīgi kā to dara algoritmi. Kā jau norādīju iepriekš, spēļu robots, kas nonāk uz sprādzienbīstamas stobra, veiks darbības saskaņā ar algoritmu. Acīmredzot mākslīgā intelekta algoritmi ir ļoti sarežģīti nekā šis, kas veido visu sistēmu inteliģents.

Atnākot uz mūsu OpenAI robotu, saskaņā ar izstrādātājiem, tā iemācījās visu spēli 2 nedēļu laikā. Visu 2 nedēļu laiku tas bija tiešsaistē 24 × 7 un spēlēja pret savu kopiju. Tas ir ievērojams pavērsiens, ņemot vērā spēles sarežģītību un faktu, ka tā varētu pārspēt Dendi.

Kāpēc joprojām šeit nav automašīnu bez vadītājiem?

Šis bija viens no pirmajiem jautājumiem, kas man ienāca prātā, kad uzzināju par visu šo notikumu. Ja robots var iemācīties šādu spēli un apmācīt sevi tā, lai pārspētu labākos spēlētājus, kāpēc mēs joprojām vadām stūri. Un tas bija tas pats jautājums, ko es uzdevu savam draugam, Anmols Šarmas kungs, kurš ir pētījis arī bezpiedziņas automašīnām. Tas viņam bija jāsaka.

Spēlē, ko izstrādājis cilvēks, mainīgo skaits ir mazāks. Turklāt, ja aģents (bots) kļūdās, sliktākais sods ir apļa zaudējums. Reālajā pasaulē viena kļūda ir nāve.

Lai gan Dota ir sarežģīta spēle, iespējamās gājienu, burvestību un taktiku kombinācijas, lai arī tās joprojām ir absurdi lielas, joprojām ir ierobežotas. Un kļūdas ir pieļaujamas bez reāla soda. Taču, ja Aģents ir bez vadītāja, kļūdas var izraisīt bīstamas avārijas un pat nāvi.

Reālajā pasaulē mainīgo lielumu skaits, kas aģentam ir jāuzrauga, ir bezgalīgs, un situācijas rodas tāpēc šie mainīgie lielumi, piemēram, cita automašīna, kas pēkšņi maina joslu, gājējs lec mašīnas priekšā, arī ir bezgalīgi. Turklāt kā Džeremijs Klārksons sakot, viņiem būs jāpieņem morāli un ētiski lēmumi, kad tie atrodas uz tūlītējas avārijas robežas (lai gan viņa teorija nav derīga).

Nākotne

Mēs jau zinām par cilvēka kontrolētu robotu, kas veic iekšējas operācijas. Nākamais lēciens ir AI kontrolēti roboti, kas to veic. Un tas ir tikai medicīnas jomā. AI noteikti būs dominējošā jaunā tehnoloģija nākamajā desmitgadē daudzās jomās. Taču AI var arī ļaunprātīgi izmantot negodīgiem mērķiem, piemēram, DDoS uzbrukumi, Ransomware Boti un citu datoru vai korporāciju sistēmu uzlaušana.

Runājot par Dota un citām spēlēm, mēs varam sagaidīt, ka arī citām spēlēm tiks radīti tādi inteliģenti boti, pret kuriem spēlētāji var trenēties, lai veiktu vēl labāk. Un vai es pieminēju, ka OpenAI nākamā gada starptautiskajā čempionātā veiks 5 pret 5? Tāpēc es gatavojos uzlabot savas Dota prasmes, lai vismaz pieveiktu iebūvētos stulbākos robotus. Dievišķais reperis ES nāku!