Meta avoimen lähdekoodin generatiivinen tekoälytyökalu MusicGen, joka voi luoda musiikkia tekstikehotteista – TechCult

Meta, tunnettu teknologiayritys erilaisten uraauurtavien innovaatioiden takana, on äskettäin julkistanut uusimman saavutuksensa tekoälyn alalla avoimen lähdekoodin MusiikkiGen luodaksesi musiikkia tekstikehotteista. Tällä avoimen lähdekoodin tekoälyllä toimivalla musiikkigeneraattorilla on huomattava kyky luoda ainutlaatuisia sävellyksiä tekstikehotteiden perusteella.

Miten MusicGen toimii

MusicGen toimii hyödyntämällä huipputeknologiaa AI malli koulutettu laajalle lisensoidun musiikin tietojoukolle. Koulutusprosessiin sisältyi laajan kokoelman analysointi 20 000 tuntia korkealaatuisia musiikkikappaleita, mukaan lukien Metan sisäinen tietojoukko sekä kappaleita, jotka ovat peräisin Shutterstock ja Pond5. Tämä monipuolinen musiikkityylejä ja genrejä sisältävä kokoelma antaa MusicGenille mahdollisuuden tarjota laajan valikoiman luovia mahdollisuuksia.

Suorituksen optimoimiseksi Meta käytti heidän 32Khz EnCodec-äänimerkki, joka pilkkoo musiikin pienemmiksi paloiksi. Tämä mahdollistaa rinnakkaiskäsittelyn, mikä johtaa nopeampaan ja tehokkaampaan musiikin tuotantoon. Käyttäjät voivat syöttää erilaisia tekstikehotteita, kuten tietyn genren tai melodian, ohjaamaan MusicGeniä tuottamaan sävellystä, joka on linjassa heidän haluttuun musiikilliseen suuntaansa.

Lisäksi MusicGen antaa käyttäjille mahdollisuuden anna viiteäänitiedosto, joka toimii mallina uuden musiikin luomiseen. Kohdistamalla luotu sävellys referenssikappaleen kanssa MusicGen tarjoaa ainutlaatuisen mahdollisuuden luoda harmonisia kappaleita, jotka resonoivat vakiintuneiden melodioiden tai kappaleiden kanssa.

Mitkä ovat MusicGenin ominaisuudet

• Musiikin luominen tekstikehotteiden perusteella: MusicGen hyödyntää tekoälyn voimaa luodakseen alkuperäisiä musiikkisävellyksiä käyttäjän antamien tekstikehotteiden perusteella. Käyttäjät voivat tutkia monia luovia mahdollisuuksia genren määrittämisestä melodian hahmottamiseen.
• Koulutus laajasta musiikkitietojoukosta: MusicGeniä ajava tekoälymalli koulutettiin laajaan lisensoituun musiikkikokoelmaan, joka käsittää 10 000 korkealaatuisia kappaleita Metan sisäisestä tietojoukosta sekä Shutterstockista ja Lampi 5. Tämä monipuolinen harjoitustietojoukko varmistaa, että MusicGen pystyy palvelemaan monenlaisia ​​musiikkityylejä ja genrejä.
• Nopea ja helppo musiikin luominen: MusicGen yksinkertaistaa uuden musiikin luomista tarjoamalla käyttäjäystävällisen käyttöliittymän ja intuitiiviset säätimet. Muusikot ja tuottajat voivat nopeasti kokeilla erilaisia ​​ideoita ja konsepteja, mikä nopeuttaa heidän luovaa työnkulkuaan.
• Helpottaa luovaa kokeilua: MusicGenin avulla taiteilijat voivat ylittää luovuutensa rajoja kokeilemalla uusia musiikillisia ideoita. Tarjoamalla alustan tutkimiselle, MusicGen kannustaa löytämään uusia melodioita, harmonioita ja rytmejä.

Esittelemme MusicGen: Yksinkertaisen ja hallittavan musiikin sukupolven mallin. MusicGen voi saada kehotuksen sekä tekstistä että melodiasta.
Julkaisemme koodia (MIT) ja malleja (CC-BY NC) avoimeen tutkimukseen, toistettavuuteen ja musiikkiyhteisöön: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

- Felix Kreuk (@FelixKreuk) 9. kesäkuuta 2023

Metan MusicGen vs Googlen MusicLM

Myös Google julkaisi oman tekstinsä musiikkigeneraattorille MusicLM Google I/O 2023 -tapahtumassa joten verrataan näitä tuotteita:

Ominaisuus	MusiikkiGen	MusiikkiLM
Mallin tyyppi	Yksivaiheinen (musiikin sukupolvi kerralla)	Hierarkkinen (musiikin sukupolvi osissa)
Harjoittelutiedot	Musiikkimusiikkia	Äänitallenteet
Saatavuus	Avoin lähdekoodi	Ei avointa lähdekoodia
Vahvuudet	Nopea ja helppokäyttöinen, voi luoda musiikkia eri tyyleillä	Laadukasta musiikkia, joka kuulostaa todelliselta tallenteelta
Heikkoudet	Voi olla vähemmän tarkka kuin MusicLM, ei ehkä pysty luomaan musiikkia kaikissa tyyleissä	Koskee vain Googlen työntekijöitä ja tiettyjä kumppaneita.

MusicGenin edut

Tässä on joitain konkreettisia esimerkkejä siitä, kuinka MusicGeniä voidaan käyttää muusikoiden ja musiikintuottajien hyödyksi:

• A aloittelija muusikko voi käyttää MusicGeniä oppiakseen eri musiikkityyleistä ja tekniikoista. He voivat kokeilla erilaisia ​​kehotteita ja nähdä, kuinka MusicGen tuottaa erilaisia ​​​​tuloksia. Tämä voi auttaa heitä kehittämään omaa musiikkityyliään ja oppimaan uusia tekniikoita.
• An kokenut muusikko voi käyttää MusicGeniä kokeillakseen erilaisia ​​melodioita, rytmejä ja harmonioita. Tämä voi auttaa heitä keksimään uusia ideoita kappaleista, joita he eivät olisi itse tulleet ajatelleeksi.
• A musiikkituottaja voi käyttää MusicGeniä luomaan eri tyylejä taustakappaleita, joiden avulla voidaan luoda erilaisia ​​tunnelmia ja tunnelmaa.

MusicGenin rajoitukset

Vaihtuva tulostuslaatu: Vaikka MusicGen pyrkii tuottamaan korkealaatuista musiikkia, AI-järjestelmän tulos ei välttämättä aina vastaa käyttäjien odotuksia. Musiikin sävellyksen monimutkaisuuden ja yksilöllisten mieltymysten vuoksi jotkin luodut kappaleet voivat jäädä laadultaan heikoiksi.

Koska Meta tarjoaa avoimen lähdekoodin MusicGenin musiikin luomiseen tekstikehotteista, se merkitsee merkittävää virstanpylvästä musiikin luomiseen tarkoitettujen generatiivisten AI-työkalujen alalla. Kun muusikot ja tuottajat omaksuvat yhä enemmän tekoälypohjaisia ​​teknologioita, MusicGen tarjoaa lupaavan tien tutkimiseen ja innovaatioon.

Lähde: Felix Kreuk twiitti