Instrument AI generativ cu surse deschise meta MusicGen care poate crea muzică din mesaje text – TechCult
Miscellanea / / June 13, 2023
Meta, renumita companie tehnologică din spatele diverselor inovații revoluționare, și-a dezvăluit recent cea mai recentă realizare în domeniul inteligenței artificiale, deoarece folosește surse deschise. MusicGen pentru a crea muzică din mesaje text. Acest generator de muzică cu sursă deschisă alimentat de inteligență artificială are capacitatea remarcabilă de a crea compoziții unice pe baza solicitărilor de text.
![Instrumentul AI generativ cu surse deschise meta MusicGen, care poate crea muzică din mesaje text](/f/7166f2dcf7ee1b1f193906d34a92db14.png)
Cuprins
Cum funcționează MusicGen
MusicGen funcționează prin folosirea unei tehnologii de ultimă oră Model AI instruit pe un set extins de date de muzică licențiată. Procesul de instruire a presupus analiza unei colecții vaste de 20.000 de ore de melodii muzicale de înaltă calitate, inclusiv setul de date intern al Meta, precum și melodii provenite din Shutterstock și Pond5. Acest corpus divers de stiluri și genuri muzicale îi dă putere MusicGen să ofere o gamă largă de posibilități creative.
Pentru a optimiza performanța, Meta le-a folosit Tokenizer audio EnCodec de 32Khz, care descompune muzica în bucăți mai mici. Acest lucru permite procesarea paralelă, rezultând o generare de muzică mai rapidă și mai eficientă. Utilizatorii pot introduce diverse solicitări text, cum ar fi un anumit gen sau melodie, pentru a ghida MusicGen în producerea unei compoziții care se aliniază cu direcția muzicală dorită.
În plus, MusicGen permite utilizatorilor să furnizați un fișier audio de referință, care servește drept model pentru generarea de muzică nouă. Prin alinierea compoziției generate cu piesa de referință, MusicGen oferă o oportunitate unică de a crea piese armonioase care rezonează cu melodii sau melodii consacrate.
![MusicGen pe fața îmbrățișată | Meta Open-sources MusicGen pentru a crea muzică din mesaje text](/f/a73d6a597690a4f5d6523c837a4af9c5.png)
Care sunt caracteristicile MusicGen
- Generare de muzică pe baza solicitărilor de text: MusicGen valorifică puterea AI pentru a crea compoziții muzicale originale pe baza instrucțiunilor text furnizate de utilizator. De la specificarea unui gen până la conturarea unei melodii, utilizatorii pot explora o serie de posibilități creative.
- Instruire pe un set extins de date muzicale: Modelul AI care conduce MusicGen a fost instruit pe o vastă colecție de muzică licențiată, cuprinzând 10.000 melodii de înaltă calitate din setul de date intern al Meta, precum și melodii provenite de la Shutterstock și Iaz5. Acest set divers de date de instruire asigură că MusicGen poate satisface o gamă largă de stiluri și genuri muzicale.
- Creare muzicală rapidă și ușoară: MusicGen simplifică procesul de generare a muzicii noi, oferind o interfață ușor de utilizat și controale intuitive. Muzicienii și producătorii pot experimenta rapid cu diferite idei și concepte, accelerându-și fluxul de lucru creativ.
- Facilitează experimentarea creativă: Cu MusicGen, artiștii își pot depăși limitele creativității experimentând noi idei muzicale. Oferind o platformă de explorare, MusicGen încurajează descoperirea de melodii, armonii și ritmuri noi.
Vă prezentăm MusicGen: Un model de generare muzicală simplu și controlabil. MusicGen poate fi solicitat atât de text, cât și de melodie.
Lansăm cod (MIT) și modele (CC-BY NC) pentru cercetare deschisă, reproductibilitate și pentru comunitatea muzicală: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf— Felix Kreuk (@FelixKreuk) 9 iunie 2023
MusicGen de la Meta vs MusicLM de la Google
Și Google și-a lansat propriul generator de text către muzică MusicLM la Google I/O 2023 deci să comparăm aceste produse:
Caracteristică | MusicGen | MusicLM |
Tipul modelului | Într-o singură etapă (generare de muzică dintr-o dată) | Ierarhic (generare de muzică în părți) |
Date de antrenament | Partituri muzicale | Înregistrări audio |
Disponibilitate | Sursa deschisa | Nu open source |
Puncte forte | Rapid și ușor de utilizat, poate genera muzică într-o varietate de stiluri | Muzică de înaltă calitate care sună ca înregistrări din lumea reală |
Puncte slabe | Poate fi mai puțin precis decât MusicLM, poate să nu poată genera muzică în toate stilurile | Limitat la angajații Google și la parteneri selectați. |
Beneficiile MusicGen
Iată câteva exemple specifice despre modul în care MusicGen poate fi utilizat în beneficiul muzicienilor și producătorilor de muzică:
- A muzician începător poate folosi MusicGen pentru a afla despre diferite stiluri și tehnici muzicale. Ei pot experimenta cu diferite solicitări și pot vedea cum MusicGen generează rezultate diferite. Acest lucru îi poate ajuta să-și dezvolte propriul stil muzical și să învețe noi tehnici.
- Un muzician experimentat poate folosi MusicGen pentru a experimenta diferite melodii, ritmuri și armonii. Acest lucru îi poate ajuta să vină cu idei noi pentru melodii la care nu s-ar fi gândit singuri.
- A producător muzical poate folosi MusicGen pentru a genera diferite stiluri de melodii de suport, care pot fi folosite pentru a crea o varietate de stări și atmosfere diferite.
Limitările MusicGen
Calitate variabilă a ieșirii: În timp ce MusicGen se străduiește să genereze calitate înaltă muzică, este posibil ca rezultatul sistemului AI să nu satisfacă întotdeauna așteptările utilizatorilor. Datorită naturii complexe a compoziției muzicale și a preferințelor individuale, unele piese generate pot fi insuficiente în ceea ce privește calitatea percepută.
Întrucât Meta folosește MusicGen cu surse deschise pentru a crea muzică din solicitări de text, aceasta înseamnă o piatră de hotar semnificativă în domeniul instrumentelor AI generative pentru crearea muzicii. Pe măsură ce muzicienii și producătorii îmbrățișează din ce în ce mai mult tehnologiile bazate pe inteligență artificială, MusicGen oferă o cale promițătoare pentru explorare și inovare.
Sursă: Felix Kreuk Tweet
![Alex Craig](/f/82c0af5dbedfba7e1fc95a8d7136c74d.jpg)
Alex Craig
Alex este condus de o pasiune pentru tehnologie și conținut de jocuri. Fie că este jucat la cele mai recente jocuri video, ținând pasul cu cele mai recente știri despre tehnologie sau antrenând cu alți indivizi care au aceleași idei online, dragostea lui Alex pentru tehnologie și jocuri este evidentă în tot ceea ce el face.
Alex este condus de o pasiune pentru tehnologie și conținut de jocuri. Fie că este jucat la cele mai recente jocuri video, ținând pasul cu cele mai recente știri despre tehnologie sau antrenând cu alți indivizi care au aceleași idei online, dragostea lui Alex pentru tehnologie și jocuri este evidentă în tot ceea ce el face.