Meta Open-source Generative AI Tool MusicGen, które może tworzyć muzykę z monitów tekstowych – TechCult

Meta, renomowana firma technologiczna stojąca za różnymi przełomowymi innowacjami, niedawno zaprezentowała swoje najnowsze osiągnięcie w dziedzinie sztucznej inteligencji, udostępniając otwarte źródła MusicGen do tworzenia muzyki z monitów tekstowych. Ten generator muzyki oparty na sztucznej inteligencji typu open source ma niezwykłą zdolność tworzenia unikalnych kompozycji na podstawie podpowiedzi tekstowych.

Jak działa MusicGen

MusicGen działa, wykorzystując najnowocześniejsze rozwiązania Model sztucznej inteligencji przeszkoleni na obszernym zbiorze danych licencjonowanej muzyki. Proces szkolenia obejmował analizę ogromnego zbioru 20 000 godzin wysokiej jakości utworów muzycznych, w tym wewnętrznego zestawu danych Meta, a także utworów pochodzących z Shutterstock i staw5. Ten różnorodny zbiór stylów i gatunków muzycznych umożliwia MusicGen oferowanie szerokiego zakresu kreatywnych możliwości.

Aby zoptymalizować wydajność, Meta zastosowała ich Tokenizer audio EnCodec 32 Khz, który dzieli muzykę na mniejsze fragmenty. Umożliwia to przetwarzanie równoległe, co skutkuje szybszym i wydajniejszym generowaniem muzyki. Użytkownicy mogą wprowadzać różne monity tekstowe, takich jak określony gatunek lub melodia, aby poprowadzić MusicGen w tworzeniu kompozycji, która jest zgodna z ich pożądanym kierunkiem muzycznym.

Ponadto MusicGen pozwala użytkownikom dostarczyć referencyjny plik audio, który służy jako plan generowania nowej muzyki. Dopasowując wygenerowaną kompozycję do ścieżki referencyjnej, MusicGen oferuje wyjątkową możliwość tworzenia harmonijnych utworów, które rezonują z ustalonymi melodiami lub piosenkami.

Jakie są funkcje MusicGen

• Generowanie muzyki na podstawie podpowiedzi tekstowych: MusicGen wykorzystuje moc sztucznej inteligencji do tworzenia oryginalnych kompozycji muzycznych na podstawie podpowiedzi tekstowych dostarczonych przez użytkownika. Od określenia gatunku po zarys melodii, użytkownicy mogą odkrywać szereg kreatywnych możliwości.
• Szkolenie dotyczące rozległego zbioru danych muzycznych: Model AI napędzający MusicGen został przeszkolony na ogromnej kolekcji licencjonowanej muzyki, obejmującej 10 000 wysokiej jakości utwory z wewnętrznego zestawu danych Meta, a także utwory pochodzące z Shutterstock i Staw5. Ten zróżnicowany zestaw danych szkoleniowych zapewnia, że ​​MusicGen może zaspokoić szeroką gamę stylów i gatunków muzycznych.
• Szybkie i łatwe tworzenie muzyki: MusicGen upraszcza proces generowania nowej muzyki, zapewniając przyjazny dla użytkownika interfejs i intuicyjne sterowanie. Muzycy i producenci mogą szybko eksperymentować z różnymi pomysłami i koncepcjami, przyspieszając swój kreatywny przepływ pracy.
• Ułatwia kreatywne eksperymenty: Dzięki MusicGen artyści mogą przekraczać granice swojej kreatywności, eksperymentując z nowymi pomysłami muzycznymi. Zapewniając platformę do eksploracji, MusicGen zachęca do odkrywania nowych melodii, harmonii i rytmów.

Przedstawiamy MusicGen: prosty i kontrolowany model generowania muzyki. MusicGen może być monitowany zarówno tekstem, jak i melodią.
Udostępniamy kod (MIT) i modele (CC-BY NC) do otwartych badań, odtwarzania i dla społeczności muzycznej: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) 9 czerwca 2023 r

MusicGen firmy Meta kontra MusicLM firmy Google

Google również uruchomił własny generator tekstu do muzyki MusicLM na Google I/O 2023 więc porównajmy te produkty:

Funkcja	MusicGen	MuzykaLM
Typ modelu	Jednostopniowy (generowanie muzyki jednocześnie)	Hierarchiczny (generowanie muzyki w częściach)
Dane treningowe	Partytury muzyczne	Nagrania dźwiękowe
Dostępność	Otwarte źródło	Nie open source
Silne strony	Szybki i łatwy w użyciu, może generować muzykę w różnych stylach	Wysokiej jakości muzyka, która brzmi jak nagrania z prawdziwego świata
Słabości	Może być mniej dokładny niż MusicLM, może nie być w stanie generować muzyki we wszystkich stylach	Ograniczone do pracowników Google i wybranych partnerów.

Korzyści z MusicGen

Oto kilka konkretnych przykładów wykorzystania MusicGen z korzyścią dla muzyków i producentów muzycznych:

• A początkujący muzyk może używać MusicGen do poznawania różnych stylów i technik muzycznych. Mogą eksperymentować z różnymi monitami i zobaczyć, jak MusicGen generuje różne wyniki. Może to pomóc im rozwinąć własny styl muzyczny i nauczyć się nowych technik.
• Jakiś doświadczony muzyk może używać MusicGen do eksperymentowania z różnymi melodiami, rytmami i harmoniami. Może to pomóc im wymyślić nowe pomysły na piosenki, na które sami by nie wpadli.
• A producent muzyczny może używać MusicGen do generowania różnych stylów podkładów, które można wykorzystać do stworzenia różnych nastrojów i atmosfery.

Ograniczenia MusicGen

Zmienna jakość wyjściowa: Podczas gdy MusicGen stara się generować wysokiej jakości muzyka, dane wyjściowe systemu AI mogą nie zawsze spełniać oczekiwania użytkowników. Ze względu na złożony charakter kompozycji muzycznej i indywidualne preferencje, niektóre wygenerowane utwory mogą nie być postrzegane jako jakość.

Ponieważ Meta udostępnia Open Source MusicGen do tworzenia muzyki z monitów tekstowych, oznacza to znaczący kamień milowy w dziedzinie generatywnych narzędzi sztucznej inteligencji do tworzenia muzyki. Ponieważ muzycy i producenci coraz częściej korzystają z technologii opartych na sztucznej inteligencji, MusicGen oferuje obiecującą drogę do eksploracji i innowacji.

Źródło: Tweet Felixa Kreuka