Meta Open-source generatieve AI-tool MusicGen die muziek kan maken op basis van tekstprompts - TechCult
Diversen / / June 13, 2023
Meta, het gerenommeerde technologiebedrijf achter verschillende baanbrekende innovaties, heeft onlangs zijn nieuwste wapenfeit op het gebied van kunstmatige intelligentie onthuld als open-source MuziekGen om muziek te maken van tekstprompts. Deze open-source AI-aangedreven muziekgenerator heeft het opmerkelijke vermogen om unieke composities te maken op basis van tekstprompts.
![Meta Open-source generatieve AI-tool MusicGen die muziek kan maken op basis van tekstprompts](/f/7166f2dcf7ee1b1f193906d34a92db14.png)
Inhoudsopgave
Hoe MusicGen werkt
MusicGen werkt door gebruik te maken van een geavanceerd AI-model getraind op een uitgebreide dataset van gelicentieerde muziek. Het trainingsproces omvatte het analyseren van een enorme verzameling van 20.000 uur van hoogwaardige muziektracks, inclusief Meta's interne dataset en tracks afkomstig van Shutterstock en Pond5. Dit diverse corpus van muziekstijlen en genres stelt MusicGen in staat om een breed scala aan creatieve mogelijkheden aan te bieden.
Om de prestaties te optimaliseren, gebruikte Meta hun 32Khz EnCodec audio tokenizer, die de muziek opsplitst in kleinere stukjes. Dit maakt parallelle verwerking mogelijk, wat resulteert in een snellere en efficiëntere muziekgeneratie. Gebruikers kunnen er verschillende invoeren tekst prompts, zoals een specifiek genre of melodie, om MusicGen te begeleiden bij het produceren van een compositie die aansluit bij hun gewenste muzikale richting.
Bovendien stelt MusicGen gebruikers in staat om geef een referentie-audiobestand, die dient als blauwdruk voor het genereren van nieuwe muziek. Door de gegenereerde compositie af te stemmen op de referentietrack, biedt MusicGen een unieke kans om harmonieuze stukken te creëren die resoneren met gevestigde melodieën of liedjes.
![MusicGen op knuffelend gezicht | Meta Open-sources MusicGen om muziek te maken op basis van tekstprompts](/f/a73d6a597690a4f5d6523c837a4af9c5.png)
Wat zijn de functies van MusicGen
- Muziekgeneratie op basis van tekstprompts: MusicGen maakt gebruik van de kracht van AI om originele muziekcomposities te maken op basis van tekstprompts van de gebruiker. Van het specificeren van een genre tot het schetsen van een melodie, gebruikers kunnen een scala aan creatieve mogelijkheden verkennen.
- Training op uitgebreide muziekdataset: Het AI-model dat MusicGen aanstuurt, is getraind op een enorme verzameling gelicentieerde muziek, bestaande uit 10.000 tracks van hoge kwaliteit uit Meta's interne dataset, evenals tracks afkomstig van Shutterstock en Vijver5. Deze diverse trainingsdataset zorgt ervoor dat MusicGen een breed scala aan muziekstijlen en genres kan bedienen.
- Snel en eenvoudig muziek maken: MusicGen vereenvoudigt het proces van het genereren van nieuwe muziek door middel van een gebruiksvriendelijke interface en intuïtieve bediening. Muzikanten en producers kunnen snel experimenteren met verschillende ideeën en concepten, waardoor hun creatieve workflow wordt versneld.
- Vergemakkelijkt creatief experimenteren: Met MusicGen kunnen artiesten de grenzen van hun creativiteit verleggen door te experimenteren met nieuwe muzikale ideeën. Door een platform te bieden voor verkenning, moedigt MusicGen de ontdekking van nieuwe melodieën, harmonieën en ritmes aan.
We presenteren MusicGen: een eenvoudig en controleerbaar model voor het genereren van muziek. MusicGen kan worden ingegeven door zowel tekst als melodie.
We geven code (MIT) en modellen (CC-BY NC) vrij voor open onderzoek, reproduceerbaarheid en voor de muziekgemeenschap: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf— Felix Kreuk (@FelixKreuk) 9 juni 2023
Meta's MusicGen versus Google's MusicLM
Ook Google lanceerde zijn eigen tekst-naar-muziekgenerator MusicLM op Google I/O 2023 dus laten we deze producten vergelijken:
Functie | MuziekGen | MuziekLM |
Model type | Single-stage (Muziek in één keer genereren) | Hiërarchisch (Muziekgeneratie in delen) |
Trainingsdata | Muziek scoort | Audio-opnamen |
Beschikbaarheid | Open source | Niet open source |
Sterke punten | Snel en gemakkelijk te gebruiken, kan muziek genereren in verschillende stijlen | Muziek van hoge kwaliteit die klinkt als opnames uit de echte wereld |
Zwakke punten | Kan minder nauwkeurig zijn dan MusicLM, mogelijk niet in staat om muziek in alle stijlen te genereren | Beperkt tot Google-medewerkers en geselecteerde partners. |
Voordelen van MusicGen
Hier zijn enkele specifieke voorbeelden van hoe MusicGen kan worden gebruikt ten voordele van muzikanten en muziekproducenten:
- A beginnende muzikant kan MusicGen gebruiken om meer te weten te komen over verschillende muziekstijlen en -technieken. Ze kunnen experimenteren met verschillende prompts en zien hoe MusicGen verschillende resultaten genereert. Dit kan hen helpen om hun eigen muzikale stijl te ontwikkelen en nieuwe technieken te leren.
- Een ervaren muzikant kan MusicGen gebruiken om te experimenteren met verschillende melodieën, ritmes en harmonieën. Dit kan hen helpen om nieuwe ideeën voor liedjes te bedenken waar ze zelf niet aan hadden gedacht.
- A muziekproducent kan MusicGen gebruiken om verschillende stijlen van achtergrondtracks te genereren, die kunnen worden gebruikt om verschillende stemmingen en sferen te creëren.
Beperkingen van MusicGen
Variabele uitvoerkwaliteit: Terwijl MusicGen streeft naar het genereren van hoge kwaliteit muziek, voldoet de uitvoer van het AI-systeem mogelijk niet altijd aan de verwachtingen van de gebruikers. Vanwege de complexe aard van muziekcompositie en individuele voorkeuren, kunnen sommige gegenereerde stukken tekort schieten in termen van waargenomen kwaliteit.
Aangezien Meta MusicGen open-source maakt om muziek te maken op basis van tekstprompts, betekent dit een belangrijke mijlpaal op het gebied van generatieve AI-tools voor het maken van muziek. Nu muzikanten en producers steeds meer AI-gestuurde technologieën omarmen, biedt MusicGen een veelbelovende weg voor verkenning en innovatie.
Bron: Felix Kreuk Tweet
![Alex Craig](/f/82c0af5dbedfba7e1fc95a8d7136c74d.jpg)
Alex Craig
Alex wordt gedreven door een passie voor technologie en gamingcontent. Of het nu is door de nieuwste videogames te spelen, op de hoogte te blijven van het laatste technische nieuws of boeiend te zijn met andere gelijkgestemde individuen online, komt Alex' liefde voor technologie en gaming duidelijk naar voren in alles wat hij doet doet.
Alex wordt gedreven door een passie voor technologie en gamingcontent. Of het nu is door de nieuwste videogames te spelen, op de hoogte te blijven van het laatste technische nieuws of boeiend te zijn met andere gelijkgestemde individuen online, komt Alex' liefde voor technologie en gaming duidelijk naar voren in alles wat hij doet doet.