デンディを打ち負かすOpenAIボットの原動力

先週、歴史は 作成した Dota2とAIの領域で。 インターナショナルでは、 デンディゲームの最高のプレーヤーの1人である、は1v1で、ボットに2回続けて容赦なく殴打されました。 問題のボットはによって作成されました OpenAI、ElonMuskのスタートアップ。

今、あなたはいくつかの質問があるかもしれません。 土田とは？ OpenAIとは何ですか？ そして、なぜこれがさらに重要なのですか？ で開始する、 土田 あなたがコントロールする無料のMOBAゲームです ヒーローズ そしてあなたの目的は敵を破壊することです 古代の. 多くのDotaファンは、Dotaに多くのことがあるので、最後の文に腹を立てるかもしれません。

ゲームはとても 繁雑 それに非常に急な学習曲線があります。 私は少し前に土田を学ぶという使命に着手しました、そして私は基本を通過するだけで一週間かかりました 方法 ビデオでは、ゲームの戦略、武器、呪文、ヒーローの行動、クリープの採掘方法について説明しています。 そしてこれは全体を作ります AI対デンディ AIとMLがどれだけ高度になったかを示しているため、戦闘は重要です。 それでは、そのボットに何が力を与えているのかを見てみましょう。AIの蜂起を恐れる必要がありますか。

AIの惑星の台頭

AIがスカイネットになることは議論の余地のある問題です。 イーロン・マスク 信じている 抑制されていない場合、 スカイネット 同様のシナリオが発生する可能性があります。 一方で、 マーク・ザッカーバーグ言う そのAIは無害であり、終末のシナリオを引き起こしません。 Elon Muskは、この目標を掲げてOpenAIを開始しました。

AIの誤用を防ぎ、私たちに逆らうことのないAIの研究を行うため。 そして私は彼の味方です。

しかし、それは私たちがここで議論することではありません。 主なトピックは、OpenAIによって作成されたボットを強化しているものを知ることです。 それを理解するために、私はこのテーマに関するいくつかの研究論文やブログを読み、また私の友人に連絡しましたアンモルシャルマ AIとMLの研究者は誰ですか。

強化学習

これは、OpenAIのDotaボットの背後にある技術者の名前です。 しかし、それを掘り下げる前に、一般的なAI、具体的にはAIがどのように ビデオゲーム 仕事。 AIは非常にボード用語であり、機械学習、ディープラーニング、ニューラルネットワークなどの多くのトピックが含まれています。 AIを大まかに定義すると、情報から学習し、その学習に基づいて意思決定を行うのはコンピューターの能力であると言えます。 学習すればするほど、決定の正確さが増します。

通常のボットとどう違うのですか？

一般的なビデオゲームのボットはインテリジェントに見えるかもしれませんが、AIの真の形態ではありません。 ゲーム内のこれらのボットのほとんどすべては、セットに基づいてプログラムされています もしも.. この.. それで.. それか ステートメント。 彼らはただ声明に従い、声明に書かれた条件に基づいて行動を起こします。

上に非常に簡単な例を示しました。 実際のゲームでのステートメントは、条件内の条件でははるかに複雑です。 これらのステートメントがより明確で詳細であるほど、ボットはよりインテリジェントに見えるようになります。

報酬と罰

AI用語では、ボットと呼ばれるものはエージェントと呼ばれます。 目標は、エージェントに学習させたいことを何でも学習させることです。 エージェントはあなたの犬が学ぶのと同じ方法で、報酬と罰を通して学びます。 エージェントが間違いを犯したときはいつでも罰せられ、正しい推測をしたり正しい答えを出したときはいつでも報われます。 このシステムを通じて、エージェントは、ペナルティを回避するために実行してはならないアクションを関連付け、報酬を与えるアクション（または同様のアクション）を実行することを学習します。

よく考えてみると、アルゴリズムが行うのと同じように、特定の条件に基づいて決定を下すのと同じです。 上に示したように、爆発的なバレルに遭遇したゲームボットは、アルゴリズムに従ってアクションを実行します。 AIのアルゴリズムは、明らかにこれよりも非常に複雑であるため、システム全体が作成されます。 知的.

によると、OpenAIボットに来る 開発者、2週間でゲーム全体を習得しました。 2週間の間、24時間365日オンラインで、自分のコピーと対戦していました。 ゲームの複雑さとそれを打ち負かすことができるという事実を考えると、これは注目に値するマイルストーンです。 デンディ.

自動運転車がまだここにないのはなぜですか？

これは、このイベント全体について聞いたときに頭に浮かんだ最初の質問の1つでした。 ボットがそのようなゲームを学び、トッププレーヤーを打ち負かすまで自分自身を訓練できるのなら、なぜ私たちはまだハンドルを握っているのですか。 そして、これは私が私の友人に向けたのと同じ質問でした、 アンモル・シャルマ氏、ドライブレスカーの研究も行っています。 これは彼が言わなければならなかったことです。

人間が開発したゲームでは、変数の数は少なくなります。 さらに、エージェント（ボット）がミスを犯した場合、最悪のペナルティはラウンドロスです。 現実の世界では、1つの間違いは死です。

Dotaは複雑なゲームですが、動き、呪文、戦術の可能な組み合わせは、それでもとてつもなく大きいものの、まだ限られています。 そして、間違いは実際のペナルティなしで許可されます。 しかし、自動運転車のエージェントの場合、ミスは危険な事故や死につながる可能性があります。

現実の世界では、エージェントが監視しなければならない変数の数は無限であり、状況は次のように悪化します。 これらの変数は、別の車が突然車線を変更したり、歩行者が車の前をジャンプしたりするなど、無限です。 さらに、 ジェレミー・クラークソン 要するに、彼らは差し迫った事故の危機に瀕しているときに道徳的および倫理的な決定を下さなければならないでしょう（彼の理論は有効ではありませんが）。

未来

人間が制御するロボットが内因性の手術を行うことはすでに知っています。 次の飛躍は、それを実行するAI制御のロボットです。 そして、これはまさに医療分野です。 AIは、多くの分野で今後10年間で主要な新技術になるでしょう。 しかし、AIは次のような悪意のある目的にも悪用される可能性があります DDoS 攻撃、 ランサムウェア ボットや他のPCや企業のシステムのハッキング。

Dotaやその他のゲームに関しては、このようなインテリジェントなボットが他のゲーム用にも作成されていることが予想されます。これらのボットに対して、プレーヤーはさらに優れたパフォーマンスを発揮するようにトレーニングできます。 そして、OpenAIが来年のインターナショナルで5v5を行うと言いましたか？ だから私は、少なくとも内蔵のダンバーボットを倒すために、Dotaのスキルを磨くことに取り掛かっています。 神のレイピア 俺様の登場だ！