Dendi를 능가하는 OpenAI 봇의 원동력

지난주 역사는 만들어진 Dota 2와 AI의 영역에서. 인터내셔널에서는 덴디, 게임 최고의 플레이어 중 한 명인 가 1v1에서 봇에게 두 번 연속 무자비하게 구타를 당했습니다. 문제의 봇은 오픈AI, Elon Musk의 스타트업.

이제 몇 가지 질문이 있을 수 있습니다. 도타란? 오픈AI란? 그리고 이것이 왜 중요한가? 시작하기, 도타 제어하는 무료 MOBA 게임입니다. 영웅 그리고 당신의 목표는 상대를 파괴하는 것입니다 고대의. 많은 Dota 팬은 내가 요약한 Dota에 너무 많은 것이 있기 때문에 마지막 문장에 불쾌감을 줄 수 있습니다.

게임은 아주 복잡한 매우 가파른 학습 곡선이 있습니다. 나는 얼마 전에 Dota를 배우기 위한 임무를 시작했고 기본 단계를 수행하는 데 일주일이 걸렸습니다. 어떻게 비디오에서 게임 전략, 무기, 주문, 영웅이 하는 일, 크립을 채굴하는 방법을 설명합니다. 그리고 이것은 전체를 AI 대 덴디 AI와 ML이 얼마나 발전했는지 보여주기 때문에 전투가 중요합니다. 그럼 무엇이 그 봇에 동력을 제공하는지 살펴보고 AI 반란을 두려워할 필요가 있는지 살펴보겠습니다.

AI 행성의 부상

AI가 스카이넷이 되는 것은 논쟁의 여지가 있는 문제입니다. 일론 머스크 믿는다 확인하지 않으면 스카이넷 같은 시나리오가 발생할 가능성이 있습니다. 반면에, 마크 주커 버그말한다 AI는 무해하며 Doomsday Scenario를 일으키지 않습니다. Elon Musk는 이 목표로 OpenAI를 시작했습니다.

AI의 오남용을 방지하고 우리에게 불리하지 않는 AI에 대한 연구. 그리고 나는 그의 편이다.

그러나 그것은 우리가 여기서 논의하려는 것이 아닙니다. 주요 주제는 OpenAI에서 만든 봇을 구동하는 요소를 아는 것입니다. 그것을 이해하기 위해 나는 주제에 대한 몇 가지 연구 논문과 블로그를 읽고 친구에게 연락했습니다.안몰 샤르마 AI & ML 연구원입니다.

강화 학습

이것은 OpenAI의 Dota 봇 뒤에 있는 기술의 이름입니다. 그러나 우리가 그것을 탐구하기 전에 우리는 일반적인 AI, 또는 구체적으로 AI가 어떻게

비디오 게임 일하다. AI는 매우 일반적인 용어이며 머신 러닝, 딥 러닝 및 신경망과 같은 많은 주제를 포함합니다. AI를 대략적으로 정의하면 정보로부터 학습하고 학습을 기반으로 결정을 내리는 컴퓨터의 능력이라고 말할 수 있습니다. 학습할수록 결정의 정확성이 높아집니다.

일반 봇과 어떻게 다른가요?

일반 비디오 게임의 봇은 지능이 있는 것처럼 보일 수 있지만 AI의 진정한 형태는 아닙니다. 게임에서 이러한 봇은 거의 모두 세트를 기반으로 프로그래밍됩니다. 만약에.. 이것.. 그 다음에.. 저것 진술. 그들은 단지 진술을 따르고 진술에 적힌 조건에 따라 조치를 취합니다.

위에서 나는 아주 간단한 예를 보여주었다. 실제 게임의 문장은 조건 내의 조건으로 훨씬 더 복잡합니다. 이러한 진술이 더 잘 정의되고 상세할수록 봇은 더 지능적으로 보일 것입니다.

보상과 처벌

AI 용어에서 우리가 봇이라고 부르는 것을 에이전트라고 합니다. 목표는 에이전트가 우리가 배우고자 하는 것을 배우게 하는 것입니다. 에이전트는 보상과 처벌을 통해 개가 학습하는 것과 동일한 방법을 통해 학습합니다. 에이전트가 실수를 할 때마다 페널티를 받고 올바른 추측을 하거나 정답을 제공할 때마다 보상을 받습니다. 이 시스템을 통해 에이전트는 패널티를 피하기 위해 하지 말아야 할 행동을 연관시키고 보상을 제공하는 행동(또는 유사한 행동)을 수행하는 방법을 배웁니다.

자세히 생각해보면 알고리즘이 하는 것처럼 특정 조건에 따라 결정을 내리는 것과 같습니다. 위에서 보여 드린 것처럼 폭발성 배럴에 도달하는 게임 봇은 알고리즘에 따라 조치를 취합니다. AI의 알고리즘은 분명히 이것보다 훨씬 복잡하기 때문에 전체 시스템이 지능적인.

에 따르면 OpenAI 봇으로 이동합니다. 개발자, 2주 만에 전체 게임을 배웠습니다. 2주 동안 24시간 연중무휴로 온라인 상태였고 자신의 복제품과 경쟁했습니다. 이는 게임의 복잡성과 이길 수 있다는 사실을 고려할 때 놀라운 이정표입니다. 덴디.

운전자 없는 자동차는 왜 아직 여기에 없을까?

이것은 이 전체 이벤트에 대해 들었을 때 내 마음에 떠오른 첫 번째 질문 중 하나였습니다. 봇이 그런 게임을 배우고 최고 플레이어를 이길 정도로 스스로 훈련할 수 있다면 왜 우리는 여전히 운전대를 잡고 있습니까? 그리고 이것은 내가 내 친구에게 던진 것과 같은 질문이었습니다. 안몰 샤르마 씨, 그는 또한 무인 자동차에 대해 연구했습니다. 이것이 그가 말해야 했던 것입니다.

인간이 개발한 게임에서는 변수가 적습니다. 또한 에이전트(봇)가 실수를 하면 최악의 페널티는 라운드 손실입니다. 현실 세계에서 한 번의 실수는 죽음입니다.

Dota는 복잡한 게임이지만 이동, 주문 및 전술의 가능한 조합은 여전히 ​​터무니없이 크지만 여전히 제한적입니다. 그리고 실제 벌칙 없이 실수가 허용됩니다. 하지만 무인자동차 에이전트의 경우 실수로 인해 위험한 사고가 발생하고 심지어 사망에 이를 수도 있습니다.

현실 세계에서 에이전트가 모니터링해야 하는 변수의 수는 무궁무진하며, 다른 자동차가 갑자기 차선을 변경하는 것과 같이 이러한 변수도 끝이 없습니다. 게다가, 제레미 클락슨 즉, 즉각적인 사고가 발생하기 직전에 도덕적, 윤리적 결정을 내려야 할 것입니다(그의 이론은 유효하지 않음).

미래

우리는 이미 내부 수술을 수행하는 인간 제어 로봇에 대해 알고 있습니다. 다음 도약은 그것을 수행하는 AI 제어 로봇입니다. 그리고 이것은 의료 분야에서만 가능합니다. AI는 다음 10년 동안 많은 분야에서 지배적인 신기술이 될 것입니다. 그러나 AI는 다음과 같은 사악한 목적으로 오용될 수도 있습니다. 디도스 공격, 랜섬웨어 봇 및 기업의 다른 PC 또는 시스템 해킹.

Dota 및 기타 게임과 관련하여 우리는 플레이어가 더 나은 수행을 위해 훈련할 수 있는 다른 게임에서도 이러한 지능형 봇이 만들어지는 것을 기대할 수 있습니다. 그리고 OpenAI가 내년 국제 대회에서 5v5를 할 것이라고 언급했습니까? 그래서 적어도 내장된 덤버 봇을 물리치기 위해 Dota 기술을 연마하려고 합니다. 신의 양날 검 여기 내가 간다!