כלי בינה מלאכותית מטא-פתוח MusicGen שיכול ליצור מוזיקה מהנחיות טקסט - TechCult
Miscellanea / / June 13, 2023
Meta, חברת הטכנולוגיה הנודעת שמאחורי חידושים פורצי דרך שונים, חשפה לאחרונה את ההישג האחרון שלה בתחום הבינה המלאכותית כשהיא מפתחת קוד פתוח MusicGen כדי ליצור מוזיקה מהנחיות טקסט. למחולל מוזיקה המופעל על ידי AI בקוד פתוח יש את היכולת המדהימה ליצור קומפוזיציות ייחודיות המבוססות על הנחיות טקסט.
תוכן העניינים
איך MusicGen עובד
MusicGen פועלת על ידי מינוף חדשני דגם AI מאומן על מערך נתונים נרחב של מוזיקה מורשית. תהליך ההכשרה כלל ניתוח אוסף עצום של 20,000 שעות של רצועות מוזיקה באיכות גבוהה, כולל מערך הנתונים הפנימי של Meta וכן רצועות שמקורן בהן Shutterstock ו-Pond5. הקורפוס המגוון הזה של סגנונות וז'אנרים מוזיקליים מעצים את MusicGen להציע מגוון רחב של אפשרויות יצירתיות.
כדי לייעל את הביצועים, Meta השתמשה בהם אסימון שמע 32Khz EnCodec, שמפרק את המוזיקה לנתחים קטנים יותר. זה מאפשר עיבוד מקביל, וכתוצאה מכך יצירת מוזיקה מהירה ויעילה יותר. משתמשים יכולים להזין מגוון הודעות טקסט, כגון ז'אנר או מנגינה ספציפיים, כדי להנחות את MusicGen בהפקת הרכב שמתיישר עם הכיוון המוזיקלי הרצוי שלהם.
יתר על כן, MusicGen מאפשר למשתמשים לעשות זאת לספק קובץ שמע עזר, המשמש כתכנית ליצירת מוזיקה חדשה. על ידי יישור ההרכב שנוצר עם רצועת ההתייחסות, MusicGen מציעה הזדמנות ייחודית ליצור יצירות הרמוניות המהדהדות עם מנגינות או שירים מבוססים.
מהן התכונות של MusicGen
- יצירת מוזיקה מבוססת על הנחיות טקסט: MusicGen רותמת את הכוח של AI כדי ליצור יצירות מוזיקה מקוריות המבוססות על הנחיות טקסט שסופק על ידי המשתמש. מציון ז'אנר ועד למתאר מנגינה, משתמשים יכולים לחקור מגוון של אפשרויות יצירתיות.
- הדרכה על מערך נתונים נרחב של מוזיקה: דגם הבינה המלאכותית המניע את MusicGen הוכשר על אוסף עצום של מוזיקה מורשית, הכוללת 10,000 רצועות באיכות גבוהה ממערך הנתונים הפנימי של Meta, כמו גם מסלולים שמקורם ב-Shutterstock ו בריכה 5. מערך הדרכה מגוון זה מבטיח ש-MusicGen יכולה לספק מענה למגוון רחב של סגנונות וז'אנרים מוזיקליים.
- יצירת מוזיקה מהירה וקלה: MusicGen מפשט את התהליך של יצירת מוזיקה חדשה על ידי מתן ממשק ידידותי למשתמש ובקרות אינטואיטיביות. מוזיקאים ומפיקים יכולים להתנסות במהירות עם רעיונות ומושגים שונים, ולהאיץ את זרימת העבודה היצירתית שלהם.
- מקל על ניסויים יצירתיים: עם MusicGen, אמנים יכולים לפרוץ את גבולות היצירתיות שלהם על ידי התנסות ברעיונות מוזיקליים חדשים. על ידי מתן פלטפורמה לחקירה, MusicGen מעודדת גילוי של מנגינות, הרמוניות ומקצבים חדשים.
אנו מציגים את MusicGen: מודל יצירת מוזיקה פשוט וניתן לשליטה. MusicGen יכול לקבל הנחיה הן על ידי טקסט ומנגינה.
אנו משחררים קוד (MIT) ומודלים (CC-BY NC) למחקר פתוח, לשחזור ולקהילת המוזיקה: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf— פליקס קרוק (@FelixKreuk) 9 ביוני 2023
MusicGen של Meta לעומת MusicLM של גוגל
גם גוגל השיקה טקסט משלה למחולל המוזיקה MusicLM ב-Google I/O 2023 אז בואו נשווה את המוצרים האלה:
תכונה | MusicGen | MusicLM |
סוג דגם | חד-שלבי (יצירת מוזיקה בבת אחת) | היררכי (יצירת מוזיקה בחלקים) |
נתוני אימון | קטעי מוזיקה | הקלטות אודיו |
זמינות | קוד פתוח | לא קוד פתוח |
חוזק | מהיר וקל לשימוש, יכול ליצור מוזיקה במגוון סגנונות | מוזיקה איכותית שנשמעת כמו הקלטות מהעולם האמיתי |
חולשות | יכול להיות פחות מדויק מ-MusicLM, ייתכן שלא יוכל ליצור מוזיקה בכל הסגנונות | מוגבל לעובדי Google ולשותפים נבחרים. |
היתרונות של MusicGen
להלן כמה דוגמאות ספציפיות לאופן שבו ניתן להשתמש ב-MusicGen לטובת מוזיקאים ומפיקים מוזיקליים:
- א מוזיקאי מתחיל יכול להשתמש ב-MusicGen כדי ללמוד על סגנונות וטכניקות מוזיקליות שונות. הם יכולים להתנסות עם הנחיות שונות ולראות כיצד MusicGen מייצרת תוצאות שונות. זה יכול לעזור להם לפתח את הסגנון המוזיקלי שלהם וללמוד טכניקות חדשות.
- א מוזיקאי מנוסה יכול להשתמש ב-MusicGen כדי להתנסות עם מנגינות, מקצבים והרמוניות שונות. זה יכול לעזור להם להמציא רעיונות חדשים לשירים שהם לא היו חושבים עליהם בעצמם.
- א מפיק מוזיקה יכול להשתמש ב-MusicGen כדי ליצור סגנונות שונים של רצועות גיבוי, שניתן להשתמש בהן ליצירת מגוון מצבי רוח ואווירה שונים.
מגבלות של MusicGen
איכות פלט משתנה: בעוד MusicGen שואפת לייצר איכות גבוהה מוּסִיקָה, ייתכן שהתפוקה של מערכת הבינה המלאכותית לא תמיד תעמוד בציפיות המשתמשים. בשל האופי המורכב של הרכב מוזיקה והעדפות אינדיבידואליות, חלק מהקטעים שנוצרו עשויים ליפול במונחים של איכות נתפסת.
כש-Meta מייצרת את MusicGen בקוד פתוח כדי ליצור מוזיקה מהודעות טקסט, היא מסמלת אבן דרך משמעותית בתחום כלי הבינה המלאכותית הגנרטיבית ליצירת מוזיקה. ככל שמוזיקאים ומפיקים מאמצים יותר ויותר טכנולוגיות מונעות בינה מלאכותית, MusicGen מציעה שדרה מבטיחה לחקר וחדשנות.
מָקוֹר: פליקס קרוק ציוץ
אלכס קרייג
אלכס מונע מתשוקה לטכנולוגיה ותוכן משחקים. בין אם זה משחק במשחקי הווידאו האחרונים, התעדכנות בחדשות הטכניות האחרונות או עניין עם אנשים אחרים בעלי דעות דומות באינטרנט, אהבתו של אלכס לטכנולוגיה ולמשחקים ניכרת בכל מה שהוא עושה.
אלכס מונע מתשוקה לטכנולוגיה ותוכן משחקים. בין אם זה משחק במשחקי הווידאו האחרונים, התעדכנות בחדשות הטכניות האחרונות או עניין עם אנשים אחרים בעלי דעות דומות באינטרנט, אהבתו של אלכס לטכנולוגיה ולמשחקים ניכרת בכל מה שהוא עושה.