Meta Open-sources generativni AI alat MusicGen koji može stvarati glazbu iz tekstualnih upita – TechCult
Miscelanea / / June 13, 2023
Meta, renomirana tehnološka tvrtka koja stoji iza raznih revolucionarnih inovacija, nedavno je predstavila svoje najnovije dostignuće u području umjetne inteligencije s otvorenim izvorima MusicGen za stvaranje glazbe iz tekstualnih upita. Ovaj glazbeni generator otvorenog koda koji pokreće AI ima izvanrednu sposobnost stvaranja jedinstvenih skladbi na temelju tekstualnih upita.
Sadržaj
Kako radi MusicGen
MusicGen djeluje koristeći vrhunsku tehnologiju AI model obučen na opsežnom skupu podataka licencirane glazbe. Proces obuke uključivao je analizu goleme zbirke 20 000 sati visokokvalitetnih glazbenih zapisa, uključujući Metin interni skup podataka kao i pjesme izvorne iz Shutterstock i Pond5. Ovaj raznoliki korpus glazbenih stilova i žanrova omogućuje MusicGenu da ponudi širok raspon kreativnih mogućnosti.
Kako bi optimizirala izvedbu, Meta je zaposlila svoje 32Khz EnCodec audio tokenizer, koji rastavlja glazbu na manje dijelove
. To omogućuje paralelnu obradu, što rezultira bržim i učinkovitijim stvaranjem glazbe. Korisnici mogu unositi različite tekstualne upute, poput određenog žanra ili melodije, kako bi vodili MusicGen u stvaranju skladbe koja je u skladu s njihovim željenim glazbenim smjerom.Nadalje, MusicGen omogućuje korisnicima da pružiti referentnu audio datoteku, koji služi kao nacrt za generiranje nove glazbe. Usklađivanjem generirane kompozicije s referentnom pjesmom, MusicGen nudi jedinstvenu priliku za stvaranje skladnih djela koja odzvanjaju ustaljenim melodijama ili pjesmama.
Koje su značajke MusicGena
- Generiranje glazbe na temelju tekstualnih upita: MusicGen koristi snagu umjetne inteligencije za stvaranje originalnih glazbenih kompozicija na temelju tekstualnih upita koje daje korisnik. Od određivanja žanra do ocrtavanja melodije, korisnici mogu istražiti niz kreativnih mogućnosti.
- Obuka o opsežnom skupu glazbenih podataka: AI model koji pokreće MusicGen obučen je na golemoj kolekciji licencirane glazbe koja se sastoji od 10.000 visokokvalitetni zapisi iz Metinog internog skupa podataka, kao i zapisi dobiveni sa Shutterstocka i Ribnjak5. Ovaj raznolik skup podataka za obuku osigurava da MusicGen može zadovoljiti širok raspon glazbenih stilova i žanrova.
- Brzo i jednostavno stvaranje glazbe: MusicGen pojednostavljuje proces generiranja nove glazbe pružajući korisničko sučelje i intuitivne kontrole. Glazbenici i producenti mogu brzo eksperimentirati s različitim idejama i konceptima, ubrzavajući svoj kreativni tijek rada.
- Olakšava kreativno eksperimentiranje: Uz MusicGen umjetnici mogu pomicati granice svoje kreativnosti eksperimentirajući s novim glazbenim idejama. Pružajući platformu za istraživanje, MusicGen potiče otkrivanje novih melodija, harmonija i ritmova.
Predstavljamo MusicGen: jednostavan i kontroliran model generiranja glazbe. MusicGen može biti upitan i tekstom i melodijom.
Objavljujemo kod (MIT) i modele (CC-BY NC) za otvoreno istraživanje, reproducibilnost i za glazbenu zajednicu: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf— Felix Kreuk (@FelixKreuk) 9. lipnja 2023
Metin MusicGen protiv Googleovog MusicLM-a
I Google je lansirao vlastiti generator teksta u glazbu MusicLM na Google I/O 2023 pa usporedimo ove proizvode:
Značajka | MusicGen | GlazbaLM |
Vrsta modela | Jednostupanjski (stvaranje glazbe odjednom) | Hijerarhijski (generiranje glazbe u dijelovima) |
Podaci o obuci | Glazbeni zapisi | Audio zapisi |
Dostupnost | Otvoreni izvor | Nije otvorenog koda |
Snage | Brz i jednostavan za korištenje, može generirati glazbu u različitim stilovima | Glazba visoke kvalitete koja zvuči kao snimke iz stvarnog svijeta |
Slabosti | Može biti manje točan od MusicLM-a, možda neće moći generirati glazbu u svim stilovima | Ograničeno na Googleove zaposlenike i odabrane partnere. |
Prednosti MusicGena
Evo nekoliko konkretnih primjera kako se MusicGen može koristiti za dobrobit glazbenika i glazbenih producenata:
- A glazbenik početnik može koristiti MusicGen za učenje o različitim glazbenim stilovima i tehnikama. Mogu eksperimentirati s različitim upitima i vidjeti kako MusicGen generira različite rezultate. To im može pomoći da razviju vlastiti glazbeni stil i nauče nove tehnike.
- An iskusan glazbenik može koristiti MusicGen za eksperimentiranje s različitim melodijama, ritmovima i harmonijama. To im može pomoći da dođu do novih ideja za pjesme kojih se sami ne bi dosjetili.
- A glazbeni producent može koristiti MusicGen za generiranje različitih stilova pratećih pjesama, koje se mogu koristiti za stvaranje niza različitih raspoloženja i atmosfera.
Ograničenja MusicGena
Varijabilna izlazna kvaliteta: Dok MusicGen nastoji generirati visoku kvalitetu glazba, muzika, rezultat AI sustava možda neće uvijek ispuniti očekivanja korisnika. Zbog složene prirode glazbene kompozicije i individualnih preferencija, neki generirani komadi mogu podbaciti u smislu percipirane kvalitete.
Kako Meta otvara MusicGen za stvaranje glazbe iz tekstualnih upita, to označava značajnu prekretnicu u području generativnih AI alata za stvaranje glazbe. Dok glazbenici i producenti sve više prihvaćaju tehnologije vođene umjetnom inteligencijom, MusicGen nudi obećavajući put za istraživanje i inovacije.
Izvor: Felix Kreuk Tweet
Alex Craig
Alexa pokreće strast prema tehnologiji i sadržaju igara. Bilo da se radi o igranju najnovijih videoigara, praćenju najnovijih tehnoloških vijesti ili angažiranju s drugim istomišljenicima na mreži, Alexova ljubav prema tehnologiji i igricama vidljiva je u svemu što on radi.
Alexa pokreće strast prema tehnologiji i sadržaju igara. Bilo da se radi o igranju najnovijih videoigara, praćenju najnovijih tehnoloških vijesti ili angažiranju s drugim istomišljenicima na mreži, Alexova ljubav prema tehnologiji i igricama vidljiva je u svemu što on radi.