Що забезпечує бота OpenAI, який переміг Dendi
Різне / / December 02, 2021
Минулого тижня історія була створений у сферах Dota 2 та AI. в The International, денді, один з найкращих гравців гри, був нещадно перебитий у бою 1 на 1 ботом два рази поспіль. Розглянутий бот був створений OpenAI, стартап Ілона Маска.
![Відкритий Aibot проти Dendi Dota2 Small](/f/db22159d064a71b80ed0d00169b7d4d7.png)
Тепер у вас можуть виникнути запитання. Що таке Dota? Що таке OpenAI? І чому це взагалі важливо? Щоб почати з, Dota це безкоштовна гра MOBA, в якій ви керуєте Героїв і ваша мета - знищити супротивників Стародавній. Багато шанувальників Dota можуть образитися на останнє речення, оскільки в Dota так багато, ніж я підсумував.
Гра дуже складний з дуже стрімкою кривою навчання. Я приступив до місії вивчати Dota деякий час тому, і мені знадобився тиждень, щоб просто пройти базове Як відео, де пояснюють стратегію гри, яку зброю, заклинання, герої роблять і як добувати крипов. І це складає ціле ШІ проти Денді боротьба важлива, оскільки вона ілюструє, наскільки розвиненими стали AI та ML. Тож давайте подивимося, що живить цього бота, і чи потрібно нам боятися повстання AI.
Підйом Планети ШІ
Перетворення AI в Skynet є дискусійною проблемою. Ілон Маск вірить що якщо не тримати під контролем, а Skynet подібний сценарій, ймовірно, відбудеться. З іншої сторони, Марк Цукербергкаже що ШІ нешкідливий і не спричинить сценарій Судного дня. Ілон Маск запустив OpenAI з цією метою.
Щоб запобігти зловживанню ШІ та дослідженням ШІ, які не обернуться проти нас. І я на його боці.
Але ми тут не для того, щоб обговорювати. Основна тема — знати, що забезпечує роботу бота, створеного OpenAI. Щоб зрозуміти це, я прочитав деякі наукові роботи та блоги на цю тему, а також зв’язався зі своїм другомАнмол Шарма який є дослідником AI та ML.
Навчання з підкріпленням
Це назва технології, яка стоїть за ботом Dota OpenAI. Але перш ніж заглиблюватися в це, нам потрібно зрозуміти, як загальний AI або конкретно AI Відео ігри працювати. ШІ — це дуже поширений термін, який містить багато тем, таких як машинне навчання, глибоке навчання та нейронні мережі. Щоб грубо визначити ШІ, ми можемо сказати, що це здатність комп’ютера вчитися на інформації та приймати рішення на основі цього навчання. Чим більше він дізнається, тим більше зростає його правильність рішення.
Чим він відрізняється від звичайного бота?
Боти в загальних відеоіграх можуть виглядати так, ніби вони розумні, але це не справжня форма ШІ. Майже всі ці боти в іграх програмуються на основі набору Якщо.. Це.. Тоді.. Це заяви. Вони просто слідують заявам і вживають дій на основі умов, написаних у заяві.
![Приклад програмування Ai Bot](/f/937cfce251e94e79e61098a505c31344.png)
Вище я показав дуже простий приклад. Твердження в реальних іграх набагато складніше з умовами в умовах. Чим чіткіше і детальніше будуть ці твердження, тим більш розумним буде здаватися бот.
Нагороди та покарання
На жаргоні ШІ те, що ми називаємо ботом, відоме як агент. Мета полягає в тому, щоб змусити агента дізнатися те, що ми хочемо, щоб він навчився. Агент навчається за допомогою того ж методу, що і ваша собака, за допомогою нагород і покарань. Щоразу, коли агент робить помилку, його карають, а коли він робить правильне припущення або дає правильну відповідь, він винагороджується. Завдяки цій системі агент вчиться пов’язувати дії, які він не повинен робити, щоб уникнути покарання, і виконувати дії (або подібні дії), які дають винагороду.
![Почніть](/f/6b38e4de0ad451d1c8f48252a814a658.png)
Якщо уважно подумати, це все одно, що приймати рішення на основі певних умов, так само, як це роблять алгоритми. Як я показав вище, ігровий бот, натрапляючи на вибухонебезпечну бочку, виконуватиме дії згідно з алгоритмом. Алгоритми в ШІ, очевидно, набагато складніші, ніж цей, що створює всю систему розумний.
Підійде до нашого бота OpenAI, згідно з розробники, він вивчив всю гру за 2 тижні. Протягом усього часу 2 тижнів він був онлайн 24×7 і грав проти своєї копії. Це чудова віха, враховуючи складність гри та той факт, що її можна було перевершити денді.
Чому автомобілів без водія досі немає?
Це було одне з перших запитань, яке спало мені на думку, коли я почув про всю цю подію. Якщо бот може навчитися такій грі і тренуватися до того, щоб перемагати найкращих гравців, чому ми все ще керуємо кермом. І це було те саме питання, яке я поставив у свого друга, пан Анмол Шарма, який також досліджував безпривідні автомобілі. Ось що він мав сказати.
У грі, розробленій людиною, кількість змінних менше. Крім того, якщо агент (бот) робить помилку, найгіршим покаранням є програш в раунді. У реальному світі одна помилка - смерть.
Незважаючи на те, що Dota є складною грою, можливі комбінації ходів, заклинань і тактик, хоча й досі абсурдно великі, все ще обмежені. А помилки допускаються без реальних покарань. Але у випадку з агентом автомобіля без водія помилки можуть призвести до небезпечних аварій і навіть смерті.
![Waymo Car 2017 Small](/f/61e961a8e4edffbcacd3f423998a263d.png)
У реальному світі кількість змінних, які агент повинен відстежувати, нескінченна, і через них виникають ситуації ці змінні, подібно до того, як інший автомобіль раптово змінює смугу, пішохід стрибає перед автомобілем, також нескінченні. Плюс, як Джеремі Кларксон кажучи, їм доведеться приймати морально-етичні рішення, коли вони знаходяться на межі негайної аварії (хоча його теорія не вірна).
Майбутнє
Ми вже знаємо про робота, керованого людиною, який виконує внутрішні операції. Наступний стрибок – роботи, керовані штучним інтелектом. І це тільки в медицині. ШІ безсумнівно стане домінуючою новою технологією в наступне десятиліття в багатьох сферах. Але штучний інтелект також може бути використаний зловмисним чином у підступних цілях, наприклад DDoS напади, Програми-вимагачі Боти та злом інших ПК чи систем корпорацій.
![Тей пані](/f/6cdf26a811b48a4134c15b0a217dfbf9.png)
Що стосується Dota та інших ігор, ми можемо очікувати, що такі розумні боти створюються також для інших ігор, проти яких гравці можуть тренуватися, щоб працювати ще краще. І чи згадував я, що OpenAI буде проводити 5 на 5 на Міжнародній конференції наступного року? Тож я збираюся вдосконалювати свої навички Dota, щоб принаймні перемогти вбудованих тупіших ботів. Божественна рапіра я прийшов!