Meta Open-sources Generative AI Tool MusicGen, který dokáže vytvářet hudbu z textových výzev – TechCult

Meta, renomovaná technologická společnost stojící za různými průkopnickými inovacemi, nedávno představila svůj nejnovější počin na poli umělé inteligence, protože využívá open-source. MusicGen vytvářet hudbu z textových výzev. Tento open source hudební generátor poháněný umělou inteligencí má pozoruhodnou schopnost vytvářet jedinečné kompozice na základě textových výzev.

Jak funguje MusicGen

MusicGen funguje s využitím nejmodernějších technologií AI model vyškoleni na rozsáhlém datovém souboru licencované hudby. Tréninkový proces zahrnoval analýzu rozsáhlé sbírky 20 000 hodin vysoce kvalitních hudebních skladeb, včetně interní datové sady Meta a také skladeb, ze kterých pochází Shutterstock a Pond5. Tento rozmanitý soubor hudebních stylů a žánrů umožňuje MusicGen nabídnout širokou škálu kreativních možností.

Pro optimalizaci výkonu Meta použila jejich 32Khz EnCodec audio tokenizer, který rozděluje hudbu na menší kousky

. To umožňuje paralelní zpracování, což má za následek rychlejší a efektivnější generování hudby. Uživatelé mohou zadávat různé textové výzvy, jako je konkrétní žánr nebo melodie, aby vedl MusicGen při vytváření kompozice, která je v souladu s jejich požadovaným hudebním směrem.

Kromě toho MusicGen uživatelům umožňuje poskytnout referenční zvukový soubor, který slouží jako plán pro generování nové hudby. Zarovnáním vytvořené kompozice s referenční skladbou nabízí MusicGen jedinečnou příležitost vytvořit harmonické skladby, které rezonují se zavedenými melodiemi nebo písněmi.

Jaké jsou funkce MusicGen

• Generování hudby na základě textových výzev: MusicGen využívá sílu umělé inteligence k vytváření originálních hudebních skladeb na základě textových pokynů poskytnutých uživatelem. Od určení žánru po nastínění melodie mohou uživatelé prozkoumat řadu kreativních možností.
• Školení na rozsáhlé hudební datové sady: Model umělé inteligence řídící MusicGen byl trénován na rozsáhlé sbírce licencované hudby, která obsahuje 10 000 vysoce kvalitní skladby z interní datové sady Meta, stejně jako skladby pocházející ze Shutterstock a Rybník5. Tato rozmanitá tréninková datová sada zajišťuje, že MusicGen dokáže uspokojit širokou škálu hudebních stylů a žánrů.
• Rychlé a snadné vytváření hudby: MusicGen zjednodušuje proces generování nové hudby tím, že poskytuje uživatelsky přívětivé rozhraní a intuitivní ovládání. Hudebníci a producenti mohou rychle experimentovat s různými nápady a koncepty a urychlit tak svůj tvůrčí pracovní postup.
• Usnadňuje kreativní experimentování: S MusicGen mohou umělci posunout hranice své kreativity experimentováním s novými hudebními nápady. Tím, že MusicGen poskytuje platformu pro průzkum, podporuje objevování nových melodií, harmonií a rytmů.

Představujeme MusicGen: Jednoduchý a ovladatelný model hudební generace. MusicGen může být vyzván jak textem, tak melodií.
Vydáváme kód (MIT) a modely (CC-BY NC) pro otevřený výzkum, reprodukovatelnost a pro hudební komunitu: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) 9. června 2023

MusicGen společnosti Meta vs MusicLM společnosti Google

Také Google spustil na Google I/O 2023 svůj vlastní generátor textu do hudby MusicLM takže porovnáme tyto produkty:

Vlastnosti	MusicGen	MusicLM
Typ modelu	Jednostupňové (generování hudby najednou)	Hierarchické (generování hudby po částech)
Tréninkové údaje	Hudební skóre	Zvukové nahrávky
Dostupnost	Open source	Ne open source
Silné stránky	Rychlé a snadné použití, může generovat hudbu v různých stylech	Vysoce kvalitní hudba, která zní jako nahrávky ze skutečného světa
Slabé stránky	Může být méně přesný než MusicLM, nemusí být schopen generovat hudbu ve všech stylech	Omezeno na zaměstnance společnosti Google a vybrané partnery.

Výhody MusicGen

Zde je několik konkrétních příkladů toho, jak lze MusicGen využít ve prospěch hudebníků a hudebních producentů:

• A začínající hudebník můžete použít MusicGen k poznání různých hudebních stylů a technik. Mohou experimentovat s různými výzvami a vidět, jak MusicGen generuje různé výsledky. To jim může pomoci rozvíjet jejich vlastní hudební styl a naučit se nové techniky.
• An zkušený muzikant můžete použít MusicGen k experimentování s různými melodiemi, rytmy a harmoniemi. To jim může pomoci přijít s novými nápady na písně, které by je samy nenapadly.
• A hudební producent můžete použít MusicGen ke generování různých stylů doprovodných skladeb, které lze použít k vytvoření řady různých nálad a atmosfér.

Omezení MusicGen

Variabilní výstupní kvalita: Zatímco MusicGen se snaží vytvářet vysokou kvalitu hudbavýstup systému AI nemusí vždy splňovat očekávání uživatelů. Vzhledem ke složité povaze hudební kompozice a individuálním preferencím mohou některé vytvořené skladby zaostávat z hlediska vnímané kvality.

Vzhledem k tomu, že Meta open-source MusicGen vytváří hudbu z textových výzev, znamená to významný milník v oblasti generativních nástrojů umělé inteligence pro tvorbu hudby. Vzhledem k tomu, že hudebníci a producenti stále více přijímají technologie řízené umělou inteligencí, MusicGen nabízí slibnou cestu pro průzkum a inovace.

Zdroj: Tweet Felixe Kreuka