Vad driver OpenAI Bot som slår Dendi

Förra veckan var historia skapas i Dota 2 och AI. På The International, Dendi, en av de bästa spelarna i spelet, blev skoningslöst slagen i en 1v1, av en bot, två gånger i rad. Boten i fråga är gjord av OpenAI, en startup av Elon Musk.

Nu kanske du har några frågor. Vad är Dota? Vad är OpenAI? Och varför är detta ens viktigt? Till att börja med, Dota är ett gratis MOBA-spel där du styr hjältar och ditt mål är att förstöra motståndarna Gammal. Många Dota-fans kan ta illa vid sig av den sista meningen eftersom det finns så mycket bakom Dota då jag har sammanfattat.

Spelet är väldigt komplex med en mycket brant inlärningskurva. Jag hade påbörjat ett uppdrag för att lära mig Dota för en tid sedan och det tog mig en vecka att bara gå igenom en grundläggande Hur video, där de förklarar strategin för spelet, vad vapen, trollformler, hjältar gör och hur man minar kryp. Och detta gör helheten AI vs Dendi kamp viktigt eftersom det illustrerar hur avancerad AI och ML har blivit. Så låt oss se vad som driver den boten och behöver vi bli rädda för AI-uppror.

Rise Of The Planet Of The AI

Att AI blir Skynet är ett diskutabelt problem. Elon Musk tror att om den inte hålls i schack, a Skynet liknande scenario kommer sannolikt att hända. Å andra sidan, Mark Zuckerbergsäger att AI är ofarligt och inte kommer att orsaka Doomsday Scenario. Elon Musk startade OpenAI med detta mål.

För att förhindra missbruk av AI och forskning om AI som inte kommer att vända sig mot oss. Och jag är på hans sida.

Men det är inte det vi är här för att diskutera. Huvudämnet är att veta vad som driver boten som skapats av OpenAI. För att få en förståelse för det läste jag några forskningsartiklar och bloggar om ämnet och kontaktade även min vänAnmol Sharma som är AI & ML-forskare.

Förstärkningsinlärning

Detta är namnet på tekniken bakom OpenAI: s Dota-bot. Men innan vi fördjupar oss i det måste vi förstå hur allmän AI, eller specifikt AI, är Videospel arbete. AI är en väldigt styrelseterm och innehåller många ämnen som Machine Learning, Deep Learning och Neural Networks för att nämna några. För att grovt definiera AI kan vi säga att det är en dators förmåga att lära sig av information och fatta beslut baserat på sin inlärning. Ju mer den lär sig, desto mer blir dess riktighet i besluten.

Hur skiljer det sig från vanliga bots?

Bots i allmänna videospel kan se ut som att de är intelligenta men det är inte en sann form av AI. Nästan alla dessa bots i spel är programmerade baserat på set Om.. Detta.. Sedan.. Den där uttalanden. De följer bara uttalandena och vidtar åtgärder baserat på villkoren som står i uttalandet.

Ovan har jag visat ett mycket enkelt exempel. Påståenden i riktiga spel är mycket mer komplexa med förhållanden inom villkor. Ju mer väldefinierade och detaljerade dessa uttalanden är, desto mer kommer boten att tyckas vara intelligent.

Belöningar och straff

I AI-språk är det vi kallar bot känt som en agent. Målet är att få agenten att lära sig vad vi vill att den ska lära sig. Agenten lär sig genom samma metod som din hund lär sig, genom belöningar och straff. Närhelst agenten gör ett misstag bestraffas den och närhelst den gör rätt gissning eller ger rätt svar belönas den. Genom detta system lär sig agenten att associera de handlingar som den inte bör göra för att undvika straff och utföra åtgärden (eller liknande handlingar) som ger belöningar.

Om du tänker noga på det är det precis som att fatta beslut baserat på vissa villkor, ungefär som algoritmer gör det. Som jag har visat ovan kommer en spelbot, som kommer på en explosiv pipa, att vidta åtgärder enligt algoritmen. Algoritmer i AI är uppenbarligen mycket komplexa än så här, vilket gör hela systemet intelligent.

Kommer till vår OpenAI-bot, enligt utvecklare, den lärde sig hela spelet på två veckor. Under hela tiden på 2 veckor var det online 24×7 och spelade mot en kopia av sig själv. Det är en anmärkningsvärd milstolpe med tanke på spelets komplexitet och det faktum att det kunde slå Dendi.

Varför finns förarlösa bilar fortfarande inte här?

Detta var en av de första frågorna som dök upp i mitt sinne när jag hörde om hela den här händelsen. Om en bot kan lära sig ett sådant spel och träna sig själv till en punkt att slå toppspelare, varför bemannar vi fortfarande ratten. Och det här var samma fråga som jag ställde till min vän, Herr Anmol Sharma, som också har forskat om körlösa bilar. Detta var vad han hade att säga.

I ett spel, som är utvecklat av en människa, är antalet variabler färre. Plus, om agenten (boten) gör ett misstag, är den värsta straffen en rundförlust. I den verkliga världen är ett misstag döden.

Även om Dota är ett komplext spel, är de möjliga kombinationerna av rörelser, besvärjelser och taktiker, även om de fortfarande är absurt stora, fortfarande begränsade. Och misstag är tillåtna utan några egentliga straff. Men i händelse av en förarlös bilagent kan misstag leda till farliga olyckor och till och med dödsfall.

I den verkliga världen är antalet variabler som agenten måste övervaka oändliga och situationer uppstår p.g.a. dessa variabler, som en annan bil som plötsligt byter fil, fotgängare som hoppar framför bilen, är också oändliga. Plus, som Jeremy Clarkson uttryckt det, kommer de att behöva fatta moraliska och etiska beslut när de är på gränsen till en omedelbar olycka (även om hans teori inte är giltig).

Framtiden

Vi känner redan till mänskliga kontrollerade robotar som utför inre operationer. Nästa steg är AI-kontrollerade robotar som utför det. Och det här är bara inom det medicinska området. AI kommer säkerligen att vara den dominerande nya tekniken under det kommande decenniet på många områden. Men AI kan också missbrukas för otrevliga ändamål som t.ex DDoS attacker, Ransomware Bots och hacka andra datorer eller företagssystem.

När det gäller Dota och andra spel kan vi förvänta oss att se sådana intelligenta bots skapas för andra spel också, mot vilka spelare kan träna för att prestera ännu bättre. Och nämnde jag att OpenAI kommer att göra en 5v5 på nästa års International? Så jag ska fräscha upp mina Dota-kunskaper för att åtminstone besegra de inbyggda dummare robotarna. Gudomlig värja här kommer jag!