Meta Open-sources Generative AI Tool MusicGen, який може створювати музику з текстових підказок – TechCult
Різне / / June 13, 2023
Meta, відома технологічна компанія, що стоїть за різноманітними новаторськими інноваціями, нещодавно оприлюднила своє останнє досягнення у сфері штучного інтелекту з відкритим кодом MusicGen створювати музику з текстових підказок. Цей музичний генератор із відкритим вихідним кодом на основі штучного інтелекту має надзвичайну здатність створювати унікальні композиції на основі текстових підказок.
![Генеративний інструмент штучного інтелекту з відкритими джерелами Meta MusicGen, який може створювати музику з текстових підказок](/f/7166f2dcf7ee1b1f193906d34a92db14.png)
Зміст
Як працює MusicGen
MusicGen працює, використовуючи передові технології AI модель навчався на обширному наборі даних ліцензованої музики. Навчальний процес передбачав аналіз величезної колекції 20 000 годин високоякісних музичних треків, включаючи внутрішній набір даних Meta, а також треки, отримані з Shutterstock і Pond5. Цей різноманітний корпус музичних стилів і жанрів дозволяє MusicGen пропонувати широкий спектр творчих можливостей.
Щоб оптимізувати продуктивність, Meta використала їх
Аудіотокенізер 32Khz EnCodec, який розбиває музику на менші фрагменти. Це забезпечує паралельну обробку, що призводить до швидшого й ефективнішого створення музики. Користувачі можуть вводити різні текстові підказки, як-от певний жанр чи мелодія, щоб керувати MusicGen у створенні композиції, яка відповідає бажаному музичному напрямку.Крім того, MusicGen дозволяє користувачам надати довідковий аудіофайл, який служить планом для створення нової музики. Порівнюючи згенеровану композицію з еталонним треком, MusicGen пропонує унікальну можливість створювати гармонійні твори, які резонують із усталеними мелодіями чи піснями.
![MusicGen на обіймаючому обличчі | Meta Open-sources MusicGen для створення музики з текстових підказок](/f/a73d6a597690a4f5d6523c837a4af9c5.png)
Які функції MusicGen
- Генерація музики на основі текстових підказок: MusicGen використовує потужність ШІ для створення оригінальних музичних композицій на основі текстових підказок, які надає користувач. Від визначення жанру до окреслення мелодії користувачі можуть досліджувати низку творчих можливостей.
- Навчання з великого набору музичних даних: ШІ-модель, керуюча MusicGen, була навчена на великій колекції ліцензованої музики, що складається з 10 000 високоякісні треки з внутрішнього набору даних Meta, а також треки, отримані з Shutterstock і Ставок5. Цей різноманітний навчальний набір даних гарантує, що MusicGen може обслуговувати широкий діапазон музичних стилів і жанрів.
- Швидке та просте створення музики: MusicGen спрощує процес створення нової музики, надаючи зручний інтерфейс і інтуїтивно зрозумілі елементи керування. Музиканти та продюсери можуть швидко експериментувати з різними ідеями та концепціями, прискорюючи свій творчий процес.
- Сприяє творчим експериментам: за допомогою MusicGen артисти можуть розширювати межі своєї творчості, експериментуючи з новими музичними ідеями. Забезпечуючи платформу для дослідження, MusicGen заохочує відкриття нових мелодій, гармоній і ритмів.
Ми представляємо MusicGen: просту та керовану модель створення музики. MusicGen можна підказувати як текстом, так і мелодією.
Ми випускаємо код (MIT) і моделі (CC-BY NC) для відкритих досліджень, відтворюваності та для музичної спільноти: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf— Фелікс Кройк (@FelixKreuk) 9 червня 2023 р
MusicGen від Meta проти MusicLM від Google
На Google I/O 2023 Google також запустив власний генератор тексту для музики MusicLM тож давайте порівняємо ці продукти:
Особливість | MusicGen | MusicLM |
Тип моделі | Одноетапний (генерація музики відразу) | Ієрархічний (генерація музики по частинах) |
Дані про навчання | Музичні партитури | Аудіозаписи |
Доступність | Відкрите джерело | Не відкритий код |
Сильні сторони | Швидкий і простий у використанні, може створювати музику в різних стилях | Високоякісна музика, яка звучить як реальні записи |
Слабкі сторони | Може бути менш точним, ніж MusicLM, може не мати змоги створити музику в усіх стилях | Обмежено працівниками Google і вибраними партнерами. |
Переваги MusicGen
Ось деякі конкретні приклади того, як MusicGen можна використовувати на користь музикантів і музичних продюсерів:
- А музикант-початківець може використовувати MusicGen, щоб дізнатися про різні музичні стилі та техніки. Вони можуть експериментувати з різними підказками та бачити, як MusicGen генерує різні результати. Це може допомогти їм розвинути власний музичний стиль і вивчити нові техніки.
- Ан досвідчений музикант можна використовувати MusicGen, щоб експериментувати з різними мелодіями, ритмами та гармоніями. Це може допомогти їм придумати нові ідеї для пісень, які б вони самі не придумали.
- А музичний продюсер може використовувати MusicGen для створення різних стилів мінусовок, які можна використовувати для створення різних настроїв і атмосфер.
Обмеження MusicGen
Змінна якість виводу: Хоча MusicGen намагається створити високу якість музика, вихід системи AI не завжди може відповідати очікуванням користувачів. Через складну природу музичної композиції та індивідуальні вподобання деякі згенеровані твори можуть не відповідати сприйнятій якості.
Оскільки Meta відкриває MusicGen для створення музики з текстових підказок, це означає важливу віху в царині генеративних інструментів ШІ для створення музики. Оскільки музиканти та продюсери все більше використовують технології, керовані штучним інтелектом, MusicGen пропонує багатообіцяючий шлях для досліджень та інновацій.
Джерело: Фелікс Кройк твіт
![Алекс Крейг](/f/82c0af5dbedfba7e1fc95a8d7136c74d.jpg)
Алекс Крейг
Алекс керує пристрастю до технологій та ігрового контенту. Граючи в новітні відеоігри, слідкуючи за останніми технічними новинами чи залучаючи разом з іншими однодумцями в мережі, любов Алекса до технологій та ігор помітна в усьому, що він робить.
Алекс керує пристрастю до технологій та ігрового контенту. Граючи в новітні відеоігри, слідкуючи за останніми технічними новинами чи залучаючи разом з іншими однодумцями в мережі, любов Алекса до технологій та ігор помітна в усьому, що він робить.