Meta strumento di intelligenza artificiale generativa open source MusicGen in grado di creare musica da prompt di testo – TechCult

Meta, la rinomata azienda tecnologica dietro varie innovazioni rivoluzionarie, ha recentemente svelato il suo ultimo risultato nel campo dell'intelligenza artificiale in quanto open-source MusicaGen per creare musica da messaggi di testo. Questo generatore di musica open source basato su intelligenza artificiale ha la straordinaria capacità di creare composizioni uniche basate su istruzioni di testo.

Come funziona MusicGen

MusicGen opera sfruttando un'avanguardia Modello AI addestrato su un ampio set di dati di musica con licenza. Il processo di formazione ha comportato l'analisi di una vasta collezione di 20.000 ore di brani musicali di alta qualità, incluso il set di dati interno di Meta e brani provenienti da Shutterstock e Pond5. Questo corpus diversificato di stili e generi musicali consente a MusicGen di offrire un'ampia gamma di possibilità creative.

Per ottimizzare le prestazioni, Meta ha utilizzato il proprio Tokenizer audio EnCodec a 32Khz, che suddivide la musica in blocchi più piccoli. Ciò consente l'elaborazione parallela, con conseguente generazione di musica più veloce ed efficiente. Gli utenti possono inserire vari richieste di testo, come un genere o una melodia specifici, per guidare MusicGen nella produzione di una composizione che si allinei con la direzione musicale desiderata.

Inoltre, MusicGen consente agli utenti di fornire un file audio di riferimento, che funge da modello per la generazione di nuova musica. Allineando la composizione generata con la traccia di riferimento, MusicGen offre un'opportunità unica per creare pezzi armoniosi che risuonano con melodie o canzoni consolidate.

Quali sono le caratteristiche di MusicGen

• Generazione di musica basata su messaggi di testo: MusicGen sfrutta la potenza dell'intelligenza artificiale per creare composizioni musicali originali basate su istruzioni di testo fornite dall'utente. Dall'indicazione di un genere alla definizione di una melodia, gli utenti possono esplorare una serie di possibilità creative.
• Formazione su set di dati musicali estesi: Il modello di intelligenza artificiale che guida MusicGen è stato addestrato su una vasta raccolta di musica con licenza, comprendente 10.000 tracce di alta qualità dal set di dati interno di Meta, nonché tracce provenienti da Shutterstock e Stagno5. Questo set di dati di formazione diversificato garantisce che MusicGen possa soddisfare un'ampia gamma di stili e generi musicali.
• Creazione di musica facile e veloce: MusicGen semplifica il processo di generazione di nuova musica fornendo un'interfaccia user-friendly e controlli intuitivi. Musicisti e produttori possono sperimentare rapidamente idee e concetti diversi, accelerando il loro flusso di lavoro creativo.
• Facilita la sperimentazione creativa: Con MusicGen, gli artisti possono spingere i confini della loro creatività sperimentando nuove idee musicali. Fornendo una piattaforma per l'esplorazione, MusicGen incoraggia la scoperta di nuove melodie, armonie e ritmi.

Vi presentiamo MusicGen: un modello di generazione musicale semplice e controllabile. MusicGen può essere richiesto sia dal testo che dalla melodia.
Rilasciamo codice (MIT) e modelli (CC-BY NC) per la ricerca aperta, la riproducibilità e per la comunità musicale: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) 9 giugno 2023

MusicGen di Meta contro MusicLM di Google

Anche Google ha lanciato il proprio generatore di testi musicali MusicLM al Google I/O 2023 quindi confrontiamo questi prodotti:

Caratteristica	MusicaGen	MusicaLM
Tipo di modello	Fase singola (generazione musicale tutta in una volta)	Gerarchico (Generazione musicale in parti)
Dati di allenamento	Spartiti musicali	Registrazioni audio
Disponibilità	Fonte aperta	Non opensource
Punti di forza	Veloce e facile da usare, può generare musica in una varietà di stili	Musica di alta qualità che suona come registrazioni del mondo reale
Debolezze	Può essere meno preciso di MusicLM, potrebbe non essere in grado di generare musica in tutti gli stili	Limitato ai dipendenti di Google e a partner selezionati.

Vantaggi di MusicGen

Ecco alcuni esempi specifici di come MusicGen può essere utilizzato a beneficio di musicisti e produttori musicali:

• UN musicista principiante può utilizzare MusicGen per conoscere diversi stili e tecniche musicali. Possono sperimentare diversi prompt e vedere come MusicGen genera risultati diversi. Questo può aiutarli a sviluppare il proprio stile musicale e ad apprendere nuove tecniche.
• UN musicista esperto può usare MusicGen per sperimentare diverse melodie, ritmi e armonie. Questo può aiutarli a trovare nuove idee per canzoni a cui non avrebbero pensato da soli.
• UN produttore musicale può utilizzare MusicGen per generare diversi stili di basi musicali, che possono essere utilizzate per creare una varietà di diversi stati d'animo e atmosfere.

Limitazioni di MusicGen

Qualità dell'output variabile: Mentre MusicGen si sforza di generare alta qualità musica, l'output del sistema di intelligenza artificiale potrebbe non soddisfare sempre le aspettative degli utenti. A causa della natura complessa della composizione musicale e delle preferenze individuali, alcuni brani generati potrebbero non essere all'altezza in termini di qualità percepita.

Poiché Meta rende MusicGen open source per creare musica dai prompt di testo, rappresenta una pietra miliare significativa nel regno degli strumenti di intelligenza artificiale generativa per la creazione di musica. Mentre musicisti e produttori abbracciano sempre più le tecnologie basate sull'intelligenza artificiale, MusicGen offre una strada promettente per l'esplorazione e l'innovazione.

Fonte: Tweet di Felix Kreuk