„Meta“ atvirojo kodo generatyvus AI įrankis „MusicGen“, galintis kurti muziką iš tekstinių raginimų – „TechCult“

„Meta“, garsi technologijų įmonė, kurianti įvairias novatoriškas naujoves, neseniai pristatė savo naujausią pasiekimą dirbtinio intelekto srityje, nes ji naudoja atvirojo kodo. Muzikos gen kurti muziką iš tekstinių raginimų. Šis atvirojo kodo dirbtinis intelektas varomas muzikos generatorius turi puikią galimybę kurti unikalias kompozicijas pagal tekstinius raginimus.

Kaip veikia „MusicGen“.

„MusicGen“ veikia pasitelkdama pažangiausias technologijas AI modelis mokėsi naudotis dideliu licencijuotos muzikos duomenų rinkiniu. Mokymo procesas apėmė didžiulės kolekcijos analizę 20 000 valandų aukštos kokybės muzikos takelių, įskaitant vidinį Meta duomenų rinkinį ir takelius, gautus iš Shutterstock ir Pond5. Šis įvairus muzikos stilių ir žanrų korpusas suteikia „MusicGen“ galimybę pasiūlyti platų kūrybinių galimybių spektrą.

Siekdama optimizuoti našumą, Meta panaudojo savo

32Khz EnCodec garso tokenizatorius, kuris suskaido muziką į mažesnius gabalus. Tai leidžia lygiagrečiai apdoroti, todėl muzika generuojama greičiau ir efektyviau. Vartotojai gali įvesti įvairius tekstinius raginimus, pvz., konkretų žanrą ar melodiją, kad padėtų „MusicGen“ sukurti kompoziciją, atitinkančią jų pageidaujamą muzikos kryptį.

Be to, „MusicGen“ leidžia vartotojams pateikti nuorodos garso failą, kuris yra naujos muzikos kūrimo planas. Suderinus sukurtą kompoziciją su etaloniniu takeliu, MusicGen suteikia unikalią galimybę sukurti harmoningus kūrinius, kurie rezonuoja su nusistovėjusiomis melodijomis ar dainomis.

Kokios yra „MusicGen“ savybės

• Muzikos generavimas pagal tekstinius raginimus: „MusicGen“ išnaudoja AI galią, kad sukurtų originalias muzikos kompozicijas pagal vartotojo pateiktus tekstinius raginimus. Nuo žanro nurodymo iki melodijos apibūdinimo, vartotojai gali ištirti daugybę kūrybinių galimybių.
• Mokymai apie platų muzikos duomenų rinkinį: AI modelis, vairuojantis MusicGen, buvo apmokytas apie didžiulę licencijuotos muzikos kolekciją, kurią sudaro 10 000 aukštos kokybės takeliai iš Meta vidinio duomenų rinkinio, taip pat takeliai, gauti iš Shutterstock ir 5 tvenkinys. Šis įvairus mokymo duomenų rinkinys užtikrina, kad „MusicGen“ gali patenkinti daugybę muzikos stilių ir žanrų.
• Greitas ir paprastas muzikos kūrimas: „MusicGen“ supaprastina naujos muzikos kūrimo procesą, suteikdama patogią sąsają ir intuityvius valdiklius. Muzikantai ir prodiuseriai gali greitai eksperimentuoti su įvairiomis idėjomis ir koncepcijomis, pagreitindami savo kūrybinį darbą.
• Palengvina kūrybinius eksperimentus: Naudodami MusicGen, menininkai gali peržengti savo kūrybiškumo ribas eksperimentuodami su naujomis muzikinėmis idėjomis. Suteikdama tyrinėjimo platformą, MusicGen skatina atrasti naujas melodijas, harmonijas ir ritmus.

Pristatome MusicGen: paprastą ir valdomą muzikos generavimo modelį. „MusicGen“ gali paskatinti tekstas ir melodija.
Išleidžiame kodą (MIT) ir modelius (CC-BY NC) atviriems tyrimams, atkuriamumui ir muzikos bendruomenei: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

– Feliksas Kreukas (@FelixKreuk) 2023 m. birželio 9 d

Meta MusicGen prieš Google MusicLM

„Google“ taip pat pristatė savo tekstą muzikos generatoriui MusicLM „Google I/O 2023“. Taigi palyginkime šiuos produktus:

Funkcija	Muzikos gen	MuzikaLM
Modelio tipas	Vienpakopis (muzikos generavimas vienu metu)	Hierarchinis (muzikos generavimas dalimis)
Treniruočių duomenys	Muzikos natos	Garso įrašai
Prieinamumas	Atviro kodo	Ne atviras šaltinis
Stiprybės	Greitas ir paprastas naudoti, gali generuoti įvairių stilių muziką	Aukštos kokybės muzika, kuri skamba kaip tikro pasaulio įrašai
Trūkumai	Gali būti ne toks tikslus nei MusicLM, gali neturėti galimybės generuoti visų stilių muzikos	Galioja tik „Google“ darbuotojai ir pasirinkti partneriai.

„MusicGen“ pranašumai

Štai keletas konkrečių pavyzdžių, kaip „MusicGen“ gali būti naudojamas muzikantams ir muzikos prodiuseriams:

• A pradedantysis muzikantas gali naudoti „MusicGen“, kad sužinotų apie skirtingus muzikos stilius ir technikas. Jie gali eksperimentuoti su skirtingais raginimais ir pamatyti, kaip „MusicGen“ sukuria skirtingus rezultatus. Tai gali padėti jiems sukurti savo muzikinį stilių ir išmokti naujų technikų.
• An patyręs muzikantas gali naudoti MusicGen eksperimentuoti su skirtingomis melodijomis, ritmais ir harmonijomis. Tai gali padėti jiems sugalvoti naujų dainų idėjų, kurių jie patys nebūtų sugalvoję.
• A muzikos prodiuseris gali naudoti „MusicGen“, kad sukurtų skirtingų stilių pagalbinius takelius, kuriuos galima panaudoti įvairioms nuotaikoms ir atmosferoms sukurti.

„MusicGen“ apribojimai

Kintama išvesties kokybė: Nors „MusicGen“ stengiasi sukurti aukštos kokybės muzika, AI sistemos išvestis ne visada gali atitikti vartotojų lūkesčius. Dėl sudėtingo muzikos kompozicijos pobūdžio ir individualių pageidavimų kai kurių sukurtų kūrinių suvokimo kokybė gali būti žemesnė.

Kadangi „Meta“ atvirojo kodo „MusicGen“ kuria muziką iš tekstinių raginimų, tai reiškia svarbų etapą generuojamųjų AI muzikos kūrimo įrankių srityje. Muzikantams ir prodiuseriams vis labiau įsisavinant dirbtinio intelekto technologijas, „MusicGen“ siūlo daug žadančią tyrinėjimo ir naujovių kryptį.

Šaltinis: Feliksas Kreukas „Twitter“.