Meta Open-sources Generative AI Tool MusicGen, der kan skabe musik fra tekstprompts – TechCult

Meta, den anerkendte teknologivirksomhed bag forskellige banebrydende innovationer, har for nylig afsløret sin seneste bedrift inden for kunstig intelligens, da den åbner kilder MusicGen at skabe musik fra tekstprompter. Denne open source AI-drevne musikgenerator har den bemærkelsesværdige evne til at skabe unikke kompositioner baseret på tekstprompter.

Sådan fungerer MusicGen

MusicGen opererer ved at udnytte en banebrydende AI model trænet på et omfattende datasæt af licenseret musik. Uddannelsesprocessen involverede at analysere en stor samling af 20.000 timer af højkvalitets musiknumre, herunder Metas interne datasæt samt numre hentet fra Shutterstock og Pond5. Dette mangfoldige korpus af musikalske stilarter og genrer giver MusicGen mulighed for at tilbyde en bred vifte af kreative muligheder.

For at optimere ydeevnen brugte Meta deres 32Khz EnCodec audio tokenizer, som nedbryder musikken i mindre bidder

. Dette muliggør parallel behandling, hvilket resulterer i hurtigere og mere effektiv musikgenerering. Brugere kan indtaste forskellige tekstbeskeder, såsom en specifik genre eller melodi, for at guide MusicGen i at producere en komposition, der stemmer overens med deres ønskede musikalske retning.

Desuden giver MusicGen brugere mulighed for give en reference lydfil, der fungerer som en plan for at generere ny musik. Ved at bringe den genererede komposition på linje med referencenummeret, giver MusicGen en unik mulighed for at skabe harmoniske stykker, der giver genlyd med etablerede melodier eller sange.

Hvad er MusicGens funktioner

• Musikgenerering baseret på tekstprompter: MusicGen udnytter kraften i AI til at skabe originale musikkompositioner baseret på tekstprompter fra brugeren. Fra at specificere en genre til at skitsere en melodi, kan brugerne udforske en række kreative muligheder.
• Træning i omfattende musikdatasæt: AI-modellen, der driver MusicGen, blev trænet på en stor samling af licenseret musik, omfattende 10.000 spor af høj kvalitet fra Metas interne datasæt, samt spor hentet fra Shutterstock og Dam 5. Dette mangfoldige træningsdatasæt sikrer, at MusicGen kan tage højde for en bred vifte af musikalske stilarter og genrer.
• Hurtig og nem musikoprettelse: MusicGen forenkler processen med at generere ny musik ved at give en brugervenlig grænseflade og intuitive kontroller. Musikere og producere kan hurtigt eksperimentere med forskellige ideer og koncepter, hvilket fremskynder deres kreative arbejdsgang.
• Faciliterer kreative eksperimenter: Med MusicGen kan kunstnere flytte grænserne for deres kreativitet ved at eksperimentere med nye musikalske ideer. Ved at tilbyde en platform for udforskning tilskynder MusicGen til opdagelsen af ​​nye melodier, harmonier og rytmer.

Vi præsenterer MusicGen: En enkel og kontrollerbar musikgenereringsmodel. MusicGen kan tilskyndes af både tekst og melodi.
Vi udgiver kode (MIT) og modeller (CC-BY NC) til åben forskning, reproducerbarhed og for musiksamfundet: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) 9. juni 2023

Metas MusicGen vs Googles MusicLM

Google lancerede også sin egen tekst til musikgenerator MusicLM ved Google I/O 2023 så lad os sammenligne disse produkter:

Feature	MusicGen	MusicLM
Model type	Enkelttrin (musikgenerering på én gang)	Hierarkisk (musikgenerering i dele)
Træningsdata	Musikpartiturer	Lydoptagelser
Tilgængelighed	Open source	Ikke open source
Styrker	Hurtig og nem at bruge, kan generere musik i en række forskellige stilarter	Musik i høj kvalitet, der lyder som optagelser fra den virkelige verden
Svagheder	Kan være mindre nøjagtig end MusicLM, er muligvis ikke i stand til at generere musik i alle stilarter	Begrænset til Google-medarbejdere og udvalgte partnere.

Fordele ved MusicGen

Her er nogle specifikke eksempler på, hvordan MusicGen kan bruges til gavn for musikere og musikproducenter:

• EN nybegynder musiker kan bruge MusicGen til at lære om forskellige musikalske stilarter og teknikker. De kan eksperimentere med forskellige prompter og se, hvordan MusicGen genererer forskellige resultater. Dette kan hjælpe dem til at udvikle deres egen musikstil og til at lære nye teknikker.
• An erfaren musiker kan bruge MusicGen til at eksperimentere med forskellige melodier, rytmer og harmonier. Dette kan hjælpe dem med at komme med nye ideer til sange, som de ikke ville have tænkt på alene.
• EN musik producer kan bruge MusicGen til at generere forskellige stilarter af backing tracks, som kan bruges til at skabe en række forskellige stemninger og atmosfærer.

Begrænsninger for MusicGen

Variabel outputkvalitet: Mens MusicGen bestræber sig på at skabe høj kvalitet musik, kan AI-systemets output ikke altid opfylde brugernes forventninger. På grund af den komplekse karakter af musikkomposition og individuelle præferencer, kan nogle genererede stykker komme til kort med hensyn til opfattet kvalitet.

Da Meta åbner MusicGen til at skabe musik ud fra tekstprompter, betyder det en betydelig milepæl inden for generative AI-værktøjer til musikskabelse. Efterhånden som musikere og producenter i stigende grad omfavner AI-drevne teknologier, tilbyder MusicGen en lovende mulighed for udforskning og innovation.

Kilde: Felix Kreuk Tweet