Meta Open-sources Generative AI Tool MusicGen, ktorý dokáže vytvárať hudbu z textových výziev – TechCult

Meta, renomovaná technologická spoločnosť stojaca za rôznymi prevratnými inováciami, nedávno predstavila svoj najnovší počin v oblasti umelej inteligencie, keďže využíva open source MusicGen na vytváranie hudby z textových výziev. Tento open source hudobný generátor poháňaný AI má pozoruhodnú schopnosť vytvárať jedinečné kompozície na základe textových výziev.

Ako funguje MusicGen

MusicGen funguje s využitím najmodernejších technológií model AI vyškolený na rozsiahlom súbore údajov licencovanej hudby. Tréningový proces zahŕňal analýzu obrovskej zbierky 20 000 hodín vysokokvalitných hudobných skladieb vrátane interného súboru údajov Meta, ako aj skladieb, z ktorých pochádza Shutterstock a rybník5. Tento rozmanitý súbor hudobných štýlov a žánrov umožňuje MusicGen ponúkať širokú škálu kreatívnych možností.

Na optimalizáciu výkonu spoločnosť Meta použila ich 32kHz EnCodec audio tokenizer, ktorý rozkladá hudbu na menšie kúsky

. To umožňuje paralelné spracovanie, výsledkom čoho je rýchlejšie a efektívnejšie generovanie hudby. Používatelia môžu zadávať rôzne textové výzvy, ako je konkrétny žáner alebo melódia, aby viedli MusicGen pri vytváraní kompozície, ktorá je v súlade s ich požadovaným hudobným smerom.

Okrem toho MusicGen umožňuje používateľom poskytnúť referenčný zvukový súbor, ktorý slúži ako plán na generovanie novej hudby. Zosúladením vygenerovanej kompozície s referenčnou skladbou ponúka MusicGen jedinečnú príležitosť na vytvorenie harmonických skladieb, ktoré rezonujú so zavedenými melódiami alebo skladbami.

Aké sú funkcie MusicGen

• Generovanie hudby na základe textových výziev: MusicGen využíva silu AI na vytváranie originálnych hudobných kompozícií na základe textových pokynov poskytnutých používateľom. Používatelia môžu preskúmať množstvo kreatívnych možností, od určenia žánru až po načrtnutie melódie.
• Školenie o rozsiahlom súbore hudobných údajov: Model AI, ktorý riadi MusicGen, bol vyškolený na rozsiahlej zbierke licencovanej hudby, ktorá obsahuje 10 000 vysokokvalitné skladby z interného súboru údajov Meta, ako aj skladby pochádzajúce zo Shutterstock a Rybník5. Tento rôznorodý tréningový súbor údajov zaisťuje, že MusicGen dokáže uspokojiť širokú škálu hudobných štýlov a žánrov.
• Rýchla a jednoduchá tvorba hudby: MusicGen zjednodušuje proces generovania novej hudby tým, že poskytuje užívateľsky prívetivé rozhranie a intuitívne ovládanie. Hudobníci a producenti môžu rýchlo experimentovať s rôznymi nápadmi a konceptmi a urýchliť tak svoj kreatívny pracovný tok.
• Uľahčuje kreatívne experimentovanie: S MusicGen môžu umelci posúvať hranice svojej kreativity experimentovaním s novými hudobnými nápadmi. Tým, že MusicGen poskytuje platformu na objavovanie, podporuje objavovanie nových melódií, harmónií a rytmov.

Predstavujeme MusicGen: Jednoduchý a ovládateľný model generácie hudby. MusicGen môže byť vyzvaný textom aj melódiou.
Uvoľňujeme kód (MIT) a modely (CC-BY NC) pre otvorený výskum, reprodukovateľnosť a pre hudobnú komunitu: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) 9. júna 2023

Meta's MusicGen verzus Google's MusicLM

Aj Google spustil svoj vlastný generátor textu na hudbu MusicLM na Google I/O 2023 tak si porovnajme tieto produkty:

Funkcia	MusicGen	MusicLM
Typ modelu	Jednostupňové (generovanie hudby naraz)	Hierarchické (tvorba hudby po častiach)
Údaje o tréningu	Hudobné skóre	Zvukové nahrávky
Dostupnosť	Open source	Nie open source
Silné stránky	Rýchle a jednoduché použitie, dokáže generovať hudbu v rôznych štýloch	Vysokokvalitná hudba, ktorá znie ako skutočné nahrávky
Slabé stránky	Môže byť menej presný ako MusicLM a nemusí byť schopný generovať hudbu vo všetkých štýloch	Obmedzené na zamestnancov spoločnosti Google a vybraných partnerov.

Výhody MusicGen

Tu je niekoľko konkrétnych príkladov toho, ako možno MusicGen využiť v prospech hudobníkov a hudobných producentov:

• A začínajúci hudobník môžete použiť MusicGen na učenie sa o rôznych hudobných štýloch a technikách. Môžu experimentovať s rôznymi výzvami a vidieť, ako MusicGen generuje rôzne výsledky. To im môže pomôcť rozvíjať svoj vlastný hudobný štýl a naučiť sa nové techniky.
• An skúsený hudobník môžete použiť MusicGen na experimentovanie s rôznymi melódiami, rytmami a harmóniami. To im môže pomôcť prísť s novými nápadmi na piesne, ktoré by ich sami nenapadli.
• A hudobný producent môžete použiť MusicGen na generovanie rôznych štýlov sprievodných skladieb, ktoré možno použiť na vytvorenie rôznych nálad a atmosfér.

Obmedzenia MusicGen

Variabilná výstupná kvalita: Zatiaľ čo MusicGen sa snaží vytvárať vysokú kvalitu hudbavýstup systému AI nemusí vždy spĺňať očakávania používateľov. Kvôli komplexnej povahe hudobnej kompozície a individuálnym preferenciám môžu niektoré vytvorené skladby zaostávať z hľadiska vnímanej kvality.

Keďže Meta sprístupňuje MusicGen na vytváranie hudby z textových výziev, znamená to významný míľnik v oblasti generatívnych nástrojov AI na tvorbu hudby. Keďže hudobníci a producenti čoraz viac využívajú technológie poháňané umelou inteligenciou, MusicGen ponúka sľubnú cestu na objavovanie a inovácie.

Zdroj: Tweet Felixa Kreuka