Инструмент генеративного искусственного интеллекта с открытым исходным кодом Meta MusicGen, который может создавать музыку из текстовых подсказок

Meta, известная технологическая компания, разработавшая различные новаторские инновации, недавно представила свои последние достижения в области искусственного интеллекта, поскольку она открывает исходный код. MusicGen создавать музыку из текстовых подсказок. Этот музыкальный генератор с открытым исходным кодом на основе искусственного интеллекта обладает замечательной способностью создавать уникальные композиции на основе текстовых подсказок.

Как работает MusicGen

MusicGen работает, используя передовые Модель ИИ обучался на обширном наборе данных лицензионной музыки. Учебный процесс включал в себя анализ обширной коллекции 20 000 часов высококачественных музыкальных треков, включая внутренний набор данных Meta, а также треки, полученные из Shutterstock и пруд5. Этот разнообразный корпус музыкальных стилей и жанров позволяет MusicGen предлагать широкий спектр творческих возможностей.

Чтобы оптимизировать производительность, Meta использовала свои Звуковой токенизатор EnCodec 32 кГц, который разбивает музыку на более мелкие фрагменты.. Это обеспечивает параллельную обработку, что приводит к более быстрому и эффективному созданию музыки. Пользователи могут вводить различные текстовые подсказки, такие как определенный жанр или мелодия, чтобы помочь MusicGen создать композицию, которая соответствует их желаемому музыкальному направлению.

Кроме того, MusicGen позволяет пользователям предоставить эталонный аудиофайл, который служит основой для создания новой музыки. Сопоставляя сгенерированную композицию с эталонным треком, MusicGen предлагает уникальную возможность создавать гармоничные произведения, которые резонируют с установленными мелодиями или песнями.

Каковы особенности MusicGen

• Генерация музыки на основе текстовых подсказок: MusicGen использует возможности искусственного интеллекта для создания оригинальных музыкальных композиций на основе текстовых подсказок, предоставленных пользователем. От определения жанра до описания мелодии пользователи могут исследовать множество творческих возможностей.
• Обучение работе с обширным набором музыкальных данных: модель ИИ, управляющая MusicGen, была обучена работе с обширной коллекцией лицензионной музыки, включающей 10 000 высококачественные треки из внутреннего набора данных Meta, а также треки из Shutterstock и Пруд5. Этот разнообразный набор обучающих данных гарантирует, что MusicGen может обслуживать широкий спектр музыкальных стилей и жанров.
• Быстрое и простое создание музыки: MusicGen упрощает процесс создания новой музыки, предоставляя удобный интерфейс и интуитивно понятное управление. Музыканты и продюсеры могут быстро экспериментировать с различными идеями и концепциями, ускоряя свой творческий рабочий процесс.
• Облегчает творческие эксперименты: с MusicGen артисты могут расширить границы своего творчества, экспериментируя с новыми музыкальными идеями. Предоставляя платформу для исследований, MusicGen поощряет открытие новых мелодий, гармоний и ритмов.

Представляем MusicGen: простую и управляемую модель генерации музыки. MusicGen может вызываться как текстом, так и мелодией.
Мы выпускаем код (MIT) и модели (CC-BY NC) для открытых исследований, воспроизводимости и для музыкального сообщества: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Феликс Кройк (@FelixKreuk) 9 июня 2023 г.

MusicGen от Meta против MusicLM от Google

Google также запустил собственный генератор текста для музыки MusicLM на Google I/O 2023. Итак, давайте сравним эти продукты:

Особенность	MusicGen	МузыкаLM
Тип модели	Одноэтапный (генерация музыки сразу)	Иерархический (генерация музыки по частям)
Тренировочные данные	Музыкальные партитуры	Аудиозаписи
Доступность	Открытый источник	Не с открытым исходным кодом
Сильные стороны	Быстрый и простой в использовании, может создавать музыку в различных стилях	Высококачественная музыка, которая звучит как записи реального мира
Недостатки	Может быть менее точным, чем MusicLM, может не генерировать музыку во всех стилях.	Только для сотрудников Google и избранных партнеров.

Преимущества MusicGen

Вот несколько конкретных примеров того, как MusicGen может принести пользу музыкантам и музыкальным продюсерам:

• А начинающий музыкант может использовать MusicGen, чтобы узнать о различных музыкальных стилях и техниках. Они могут поэкспериментировать с различными подсказками и посмотреть, как MusicGen выдает разные результаты. Это может помочь им развить свой собственный музыкальный стиль и освоить новые приемы.
• Ан опытный музыкант Вы можете использовать MusicGen для экспериментов с различными мелодиями, ритмами и гармониями. Это может помочь им придумать новые идеи для песен, до которых они сами бы не додумались.
• А музыкальный продюсер может использовать MusicGen для создания различных стилей минусовок, которые можно использовать для создания различных настроений и атмосфер.

Ограничения MusicGen

Переменное качество вывода: В то время как MusicGen стремится создавать высококачественные музыка, выходные данные системы ИИ могут не всегда соответствовать ожиданиям пользователей. Из-за сложного характера музыкальной композиции и индивидуальных предпочтений некоторые созданные произведения могут не соответствовать воспринимаемому качеству.

Поскольку Meta открывает исходный код MusicGen для создания музыки из текстовых подсказок, это означает важную веху в области генеративных инструментов искусственного интеллекта для создания музыки. Поскольку музыканты и продюсеры все чаще используют технологии, основанные на искусственном интеллекте, MusicGen предлагает многообещающие возможности для исследований и инноваций.

Источник: Феликс Кройк Твиттер