สิ่งที่ขับเคลื่อน OpenAI Bot ที่เอาชนะ Dendi
เบ็ดเตล็ด / / December 02, 2021
สัปดาห์ที่แล้ว ประวัติศาสตร์คือ สร้าง ในอาณาจักรของ Dota 2 และ AI ที่ดิ อินเตอร์เนชั่นแนล เดนดิหนึ่งในผู้เล่นที่ดีที่สุดของเกม ถูกบอทพ่ายแพ้อย่างไร้ความปราณีใน 1 ต่อ 1 โดยบอทสองครั้งติดต่อกัน บอทที่เป็นปัญหาถูกสร้างขึ้นโดย OpenAIสตาร์ทอัพของอีลอน มัสก์
![เปิด Aibot Vs Dendi Dota2 Small](/f/db22159d064a71b80ed0d00169b7d4d7.png)
ตอนนี้คุณอาจมีคำถาม Dota คืออะไร? OpenAI คืออะไร? และทำไมสิ่งนี้ถึงสำคัญนัก? จะเริ่มต้นด้วย, Dota เป็นเกม MOBA เล่นฟรีที่คุณควบคุม ฮีโร่ และเป้าหมายของคุณคือทำลายฝ่ายตรงข้าม โบราณ. แฟน Dota หลายคนอาจรู้สึกขุ่นเคืองกับประโยคสุดท้ายเนื่องจากมี Dota มากมายที่ฉันสรุปได้
เกมมันมาก ซับซ้อน ด้วยเส้นโค้งการเรียนรู้ที่สูงชันมาก ฉันได้ลงมือปฏิบัติภารกิจเพื่อเรียนรู้ Dota เมื่อนานมาแล้ว และต้องใช้เวลาหนึ่งสัปดาห์ในการเรียนรู้พื้นฐาน วิธีทำ วิดีโอที่อธิบายกลยุทธ์ของเกม อาวุธ คาถา ฮีโร่ทำและวิธีการขุดครีพ และนี่ทำให้ทั้ง AI กับ Dendi การต่อสู้มีความสำคัญ เพราะมันแสดงให้เห็นว่า AI และ ML ก้าวหน้าแค่ไหน มาดูกันว่าอะไรคือพลังของบอท และเราจำเป็นต้องกลัวการจลาจลของ AI หรือไม่
Rise Of The Planet Of The AI
AI กลายเป็น Skynet เป็นปัญหาที่ถกเถียงกัน อีลอน มัสก์ เชื่อ
ว่าถ้าไม่อยู่ในเช็ค a Skynet เหมือนสถานการณ์น่าจะเกิดขึ้น ในทางกลับกัน, มาร์ก ซักเคอร์เบิร์กพูดว่า ว่า AI ไม่มีอันตรายและจะไม่ทำให้เกิด Doomsday Scenario Elon Musk เริ่ม OpenAI ด้วยเป้าหมายนี้เพื่อป้องกันการนำ AI ไปใช้ในทางที่ผิดและการวิจัยเกี่ยวกับ AI ซึ่งจะไม่หันหลังให้กับเรา และฉันอยู่ข้างเขา
แต่นั่นไม่ใช่สิ่งที่เราอยู่ที่นี่เพื่อพูดคุย หัวข้อหลักคือการรู้ว่าสิ่งที่ขับเคลื่อนบอทที่ทำโดย OpenAI คืออะไร เพื่อให้เข้าใจในเรื่องนี้ ฉันได้อ่านงานวิจัยและบล็อกเกี่ยวกับเรื่องนี้และได้ติดต่อเพื่อนของฉันด้วยอันโมล ชาร์มา ซึ่งเป็นนักวิจัย AI & ML
การเรียนรู้การเสริมแรง
นี่คือชื่อของเทคโนโลยีที่อยู่เบื้องหลังบอท Dota ของ OpenAI แต่ก่อนที่เราจะเจาะลึกลงไป เราต้องเข้าใจว่า AI ทั่วไปหรือ AI โดยเฉพาะใน วีดีโอเกมส์ งาน. AI เป็นศัพท์เฉพาะของบอร์ดและมีหัวข้อมากมาย เช่น การเรียนรู้ของเครื่อง การเรียนรู้เชิงลึก และโครงข่ายประสาทเทียม เป็นต้น ในการนิยาม AI อย่างคร่าวๆ เราสามารถพูดได้ว่ามันคือความสามารถของคอมพิวเตอร์ในการเรียนรู้จากข้อมูลและตัดสินใจตามการเรียนรู้ ยิ่งเรียนรู้มาก ความถูกต้องของการตัดสินใจก็เพิ่มขึ้น
ต่างจากบอททั่วไปอย่างไร?
บอทในวิดีโอเกมทั่วไปอาจดูเหมือนฉลาด แต่ก็ไม่ใช่รูปแบบที่แท้จริงของ AI บอทเหล่านี้เกือบทั้งหมดในเกมถูกตั้งโปรแกรมตาม set ถ้า.. นี้.. แล้ว.. ที่ งบ. พวกเขาเพียงแค่ทำตามคำสั่งและดำเนินการตามเงื่อนไขที่เขียนไว้ในคำสั่ง
![ตัวอย่างการเขียนโปรแกรม Ai Bot](/f/937cfce251e94e79e61098a505c31344.png)
ข้างต้น ฉันได้แสดงตัวอย่างที่ง่ายมาก คำชี้แจงในเกมจริงนั้นซับซ้อนกว่ามากโดยมีเงื่อนไขอยู่ภายในเงื่อนไข ยิ่งข้อความเหล่านี้มีรายละเอียดและชัดเจนมากเท่าใด บอทก็จะยิ่งดูฉลาดมากขึ้นเท่านั้น
รางวัลและการลงโทษ
ใน AI lingo สิ่งที่เราเรียกว่าบอทเรียกว่าตัวแทน เป้าหมายคือการทำให้ตัวแทนเรียนรู้สิ่งที่เราต้องการให้เรียนรู้ เจ้าหน้าที่เรียนรู้ด้วยวิธีเดียวกับที่สุนัขของคุณเรียนรู้ ผ่านการให้รางวัลและการลงโทษ เมื่อใดก็ตามที่ตัวแทนทำผิดจะถูกลงโทษและเมื่อใดก็ตามที่ทำการเดาถูกต้องหรือให้คำตอบที่ถูกต้องจะได้รับรางวัล ผ่านระบบนี้ ตัวแทนเรียนรู้ที่จะเชื่อมโยงการกระทำที่ไม่ควรทำเพื่อหลีกเลี่ยงการลงโทษและดำเนินการ (หรือการกระทำที่คล้ายกัน) ที่ให้รางวัล
![เริ่ม](/f/6b38e4de0ad451d1c8f48252a814a658.png)
หากคุณคิดอย่างถี่ถ้วน มันก็เหมือนกับการตัดสินใจตามเงื่อนไขบางอย่าง เช่นเดียวกับที่อัลกอริทึมทำ ดังที่ฉันได้แสดงไว้ข้างต้น บอทเกมเมื่อมาถึงถังระเบิด จะดำเนินการตามอัลกอริทึม อัลกอริธึมใน AI ซับซ้อนกว่านี้อย่างเห็นได้ชัด ซึ่งทำให้ทั้งระบบ ฉลาด.
มาที่บอท OpenAI ของเราตาม นักพัฒนา, มันเรียนรู้ทั้งเกมในเวลา 2 สัปดาห์ ตลอดระยะเวลา 2 สัปดาห์ ออนไลน์ 24×7 และเล่นกับสำเนาของตัวเอง นั่นเป็นก้าวที่น่าทึ่งเมื่อพิจารณาถึงความซับซ้อนของเกมและข้อเท็จจริงที่มันสามารถเอาชนะได้ เดนดิ.
ทำไมรถยนต์ไร้คนขับถึงยังไม่มา?
นี่เป็นหนึ่งในคำถามแรกที่ผุดขึ้นในใจฉันเมื่อได้ยินเกี่ยวกับเหตุการณ์ทั้งหมดนี้ หากบอทสามารถเรียนรู้เกมดังกล่าวและฝึกฝนตัวเองจนสามารถเอาชนะผู้เล่นชั้นนำได้ ทำไมเราถึงยังควบคุมวงล้ออยู่ และนี่เป็นคำถามเดียวกับที่ฉันยิงใส่เพื่อน นายอนล ชาร์มาที่ได้ค้นคว้าเกี่ยวกับรถยนต์ไร้คนขับด้วยเช่นกัน นี่คือสิ่งที่เขาต้องพูด
ในเกมที่พัฒนาโดยมนุษย์ จำนวนตัวแปรน้อยลง แถมถ้าเอเยนต์ (บอท) ทำผิด บทลงโทษที่แย่ที่สุดคือรอบแพ้ ในโลกแห่งความเป็นจริง ความผิดพลาดอย่างหนึ่งคือความตาย
แม้ว่า Dota จะเป็นเกมที่ซับซ้อน แต่การผสมผสานการเคลื่อนไหว เวทมนตร์ และยุทธวิธีที่เป็นไปได้ แม้ว่าจะยังคงมีขนาดใหญ่อย่างไร้เหตุผล แต่ก็ยังมีจำกัด และความผิดพลาดจะได้รับอนุญาตโดยไม่มีการลงโทษที่แท้จริง แต่ในกรณีของตัวแทนรถไร้คนขับ ความผิดพลาดสามารถนำไปสู่อุบัติเหตุอันตรายและเสียชีวิตได้
![Waymo Car 2017 ขนาดเล็ก](/f/61e961a8e4edffbcacd3f423998a263d.png)
ในโลกแห่งความเป็นจริง จำนวนของตัวแปรที่เอเจนต์ต้องเฝ้าติดตามนั้นไม่มีที่สิ้นสุดและสถานการณ์ต่างๆ ที่เกิดขึ้นเนื่องจาก ตัวแปรเหล่านี้ เช่นเดียวกับรถคันอื่นที่เปลี่ยนเลนกระทันหัน การกระโดดข้ามถนนหน้ารถก็ไม่มีที่สิ้นสุดเช่นกัน นอกจากนี้ as เจเรมี คลาร์กสัน กล่าวคือ พวกเขาจะต้องตัดสินใจทางศีลธรรมและจริยธรรมเมื่อใกล้จะเกิดอุบัติเหตุทันที (แม้ว่าทฤษฎีของเขาจะไม่ถูกต้อง)
อนาคต
เรารู้อยู่แล้วว่าหุ่นยนต์ควบคุมโดยมนุษย์ทำการผ่าตัดภายใน ก้าวต่อไปคือหุ่นยนต์ที่ควบคุมด้วย AI ดำเนินการ และนี่เป็นเพียงในด้านการแพทย์ AI จะเป็นเทคโนโลยีใหม่ที่โดดเด่นในทศวรรษหน้าในหลายๆ ด้านอย่างแน่นอน แต่ AI ก็อาจถูกนำไปใช้ในทางที่ผิดได้เช่นกัน เช่น DDoS การโจมตี แรนซัมแวร์ บอทและแฮ็คพีซีหรือระบบอื่นๆ ของบริษัท
![เต มิส](/f/6cdf26a811b48a4134c15b0a217dfbf9.png)
ในส่วนที่เกี่ยวกับ Dota และเกมอื่นๆ เราสามารถคาดหวังว่าจะได้เห็นบอทอัจฉริยะดังกล่าวถูกสร้างขึ้นมาสำหรับเกมอื่นๆ ด้วย ซึ่งผู้เล่นสามารถฝึกฝนเพื่อให้ทำงานได้ดียิ่งขึ้นไปอีก และฉันพูดถึง OpenAI ที่จะทำ 5v5 ที่ International ในปีหน้าหรือไม่? ดังนั้นฉันจึงออกไปปัดฝุ่นทักษะ Dota ของฉันอย่างน้อยก็เอาชนะบอทดัมเปอร์ในตัว ดาบศักดิ์สิทธิ์ มาแล้วค่ะ!