מה מניע את הבוט OpenAI שהביס את דנדי

בשבוע שעבר, ההיסטוריה הייתה נוצר בתחומי Dota 2 ובינה מלאכותית. באינטרנשיונל, דנדי, אחד השחקנים הטובים במשחק, הובס ללא רחם ב-1v1, על ידי בוט, פעמיים ברציפות. הבוט המדובר נוצר על ידי OpenAI, סטארטאפ של אילון מאסק.

עכשיו אולי יש לך כמה שאלות. מה זה דוטה? מה זה OpenAI? ולמה זה בכלל חשוב? להתחיל עם, דוטה הוא משחק MOBA בחינם למשחק שבו אתה שולט גיבורים והמטרה שלך היא להשמיד את היריבים עָתִיק. מעריצי דוטה רבים עלולים להיעלב עד למשפט האחרון כי יש כל כך הרבה בדוטה אז סיכמתי.

המשחק מאוד מורכב עם עקומת למידה תלולה מאוד. יצאתי למשימה ללמוד את דוטה לפני זמן מה ולקח לי שבוע רק לעבור שלב בסיסי איך ל סרטון, שבו הם מסבירים את האסטרטגיה של המשחק, מה עושים כלי נשק, לחשים, גיבורים וכיצד לכרות שרצים. וזה עושה את השלם AI נגד דנדי קרב חשוב כי הוא ממחיש עד כמה הפכו AI ו-ML מתקדמים. אז בואו נראה מה מניע את הבוט הזה והאם אנחנו צריכים לפחד מהתקוממות בינה מלאכותית.

עליית כוכב הלכת הבינה המלאכותית

AI הופך ל-Skynet היא בעיה שנויה במחלוקת. אילון מאסק מאמין שאם לא נשמר, א Skynet תרחיש כמו צפוי לקרות. מצד שני, מארק צוקרברגאומר ש-AI אינו מזיק ולא יגרום לתרחיש יום הדין. אילון מאסק התחיל את OpenAI עם המטרה הזו.

כדי למנוע שימוש לרעה בבינה מלאכותית ומחקר בינה מלאכותית שלא יפנה נגדנו. ואני בצד שלו.

אבל לא על זה אנחנו כאן כדי לדון. הנושא העיקרי הוא לדעת מה מניע את הבוט שנוצר על ידי OpenAI. כדי להבין את זה, קראתי כמה עבודות מחקר ובלוגים בנושא וגם יצרתי קשר עם חבריאנמול שארמה שהוא חוקר AI & ML.

לימוד עם חיזוקים

זה השם של הטכנולוגיה שמאחורי הבוט Dota של OpenAI. אבל לפני שנעמיק בזה, אנחנו צריכים להבין איך AI כללי, או ספציפית AI משחקי וידאו עֲבוֹדָה. בינה מלאכותית היא מונח לוח מאוד ומכיל נושאים רבים כמו למידת מכונה, למידה עמוקה ורשתות עצביות. כדי להגדיר בגסות AI, אנו יכולים לומר שזו היכולת של מחשב ללמוד ממידע ולקבל החלטות על סמך הלמידה שלו. ככל שהוא לומד יותר, כך נכונות ההחלטה שלו עולה.

במה זה שונה מבוטים רגילים?

בוטים במשחקי וידאו כלליים אולי נראים כאילו הם אינטליגנטים אבל זו לא צורה אמיתית של AI. כמעט כל הבוטים האלה במשחקים מתוכנתים על סמך סט אם.. זֶה.. לאחר מכן.. זֶה הצהרות. הם פשוט עוקבים אחר ההצהרות ומבצעים פעולות על סמך התנאים הכתובים בהצהרה.

למעלה הראיתי דוגמה מאוד פשוטה. הצהרות במשחקים אמיתיים מורכבות הרבה יותר עם תנאים בתוך תנאים. ככל שההצהרות הללו מוגדרות ומפורטות יותר, כך הבוט ייראה יותר אינטליגנטי.

פרסים ועונשים

בשפת בינה מלאכותית, מה שאנו מכנים בוט ידוע כסוכן. המטרה היא לגרום לסוכן ללמוד כל מה שאנחנו רוצים שהוא ילמד. הסוכן לומד באותה שיטה כמו שהכלב שלך לומד, באמצעות תגמולים ועונשים. בכל פעם שהסוכן עושה טעות הוא נענש ובכל פעם שהוא מניח נכון או נותן תשובה נכונה, הוא מתוגמל. באמצעות מערכת זו, הסוכן לומד לקשר בין הפעולות שאסור לו לעשות כדי להימנע מעונש ולבצע את הפעולה (או פעולות דומות) המעניקות תגמולים.

אם אתה חושב על זה מקרוב, זה בדיוק כמו קבלת החלטות על סמך תנאים מסוימים, בדומה שאלגוריתמים עושים זאת. כפי שהראיתי לעיל, בוט משחק, שבא על חבית נפץ, ינקוט פעולות לפי האלגוריתם. אלגוריתמים ב-AI, ברור שהם מורכבים מאוד מזה, מה שהופך את המערכת כולה אִינְטֶלִיגֶנְטִי.

מגיע לבוט OpenAI שלנו, על פי ה מפתחים, הוא למד את כל המשחק בזמן של שבועיים. במשך כל הזמן של שבועיים, זה היה מקוון 24×7 ושיחק נגד עותק של עצמו. זה אבן דרך יוצאת דופן בהתחשב במורכבות המשחק ובעובדה שהוא יכול לנצח דנדי.

מדוע מכוניות ללא נהג עדיין לא כאן?

זו הייתה אחת השאלות הראשונות שצצו במוחי כששמעתי על כל האירוע הזה. אם בוט יכול ללמוד משחק כזה ולאמן את עצמו עד כדי לנצח את השחקנים המובילים, למה אנחנו עדיין מאיישים את ההגה. וזו הייתה אותה שאלה שיריתי לעבר חבר שלי, מר אנמול שארמה, שחקר גם על מכוניות ללא כונן. זה מה שהיה לו לומר.

במשחק, שפותח על ידי אדם, מספר המשתנים קטן יותר. בנוסף, אם הסוכן (הבוט) טועה, העונש הגרוע ביותר הוא הפסד עגול. בעולם האמיתי, טעות אחת היא מוות.

למרות שדוטה הוא משחק מורכב, השילובים האפשריים של מהלכים, לחשים וטקטיקות, למרות שעדיין גדולים באופן אבסורדי, עדיין מוגבלים. וטעויות מותרות ללא שום עונש של ממש. אבל במקרה של סוכן רכב ללא נהג, טעויות עלולות להוביל לתאונות מסוכנות ואף למוות.

בעולם האמיתי, מספר המשתנים שעל הסוכן לפקח עליהם הוא אינסופי ומצבים מתעוררים עקב משתנים אלה, כמו מכונית אחרת שמחליפה לפתע נתיב, הולכי רגל קופצים לפני המכונית, גם הם אינסופיים. בנוסף, כמו ג'רמי קלרקסון ניסוח זאת, הם יצטרכו לקבל החלטות מוסריות ואתיות כאשר הם על סף תאונה מיידית (אם כי התיאוריה שלו אינה תקפה).

העתיד

אנחנו כבר יודעים על רובוט בשליטה אנושית שמבצע ניתוחים פנימיים. הקפיצה הבאה היא רובוטים בשליטת בינה מלאכותית המבצעים אותה. וזה רק בתחום הרפואי. בינה מלאכותית תהיה ללא ספק הטכנולוגיה החדשה הדומיננטית בעשור הקרוב בתחומים רבים. אבל, ניתן להשתמש בבינה מלאכותית גם למטרות מרושעות כמו DDoS התקפות, כופרה בוטים ופריצה למחשבים אחרים או למערכות של תאגידים.

בכל הנוגע ל-Dota ולמשחקים אחרים, אנו יכולים לצפות לראות בוטים אינטליגנטיים כאלה מיוצרים גם עבור משחקים אחרים, שנגדם שחקנים יכולים להתאמן כדי לבצע אפילו טוב יותר. והזכרתי ש-OpenAI תעשה 5v5 ב-International של השנה הבאה? אז אני מתחיל לרענן את כישורי הדוטה שלי כדי להביס לפחות את הרובוטים המטומטמים המובנים. Rapier האלוהי הנה אני בא!