Outil d'IA générative Meta Open-sources MusicGen qui peut créer de la musique à partir d'invites de texte - TechCult

Meta, la société technologique renommée à l'origine de diverses innovations révolutionnaires, a récemment dévoilé sa dernière réalisation dans le domaine de l'intelligence artificielle en open-sources MusicGen pour créer de la musique à partir d'invites de texte. Ce générateur de musique open-source alimenté par l'IA a la capacité remarquable de créer des compositions uniques basées sur des invites de texte.

Comment fonctionne MusicGen

MusicGen fonctionne en s'appuyant sur une technologie de pointe Modèle IA formés sur un vaste ensemble de données de musique sous licence. Le processus de formation impliquait l'analyse d'une vaste collection de 20 000 heures de morceaux de musique de haute qualité, y compris l'ensemble de données interne de Meta ainsi que des morceaux provenant de Shutterstock et Pond5. Ce corpus diversifié de styles et de genres musicaux permet à MusicGen d'offrir un large éventail de possibilités créatives.

Pour optimiser les performances, Meta a utilisé ses Tokenizer audio 32Khz EnCodec, qui décompose la musique en plus petits morceaux. Cela permet un traitement parallèle, résultant en une génération de musique plus rapide et plus efficace. Les utilisateurs peuvent entrer divers invites textuelles, comme un genre ou une mélodie spécifique, pour guider MusicGen dans la production d'une composition qui s'aligne sur la direction musicale souhaitée.

De plus, MusicGen permet aux utilisateurs de fournir un fichier audio de référence, qui sert de modèle pour générer de la nouvelle musique. En alignant la composition générée avec la piste de référence, MusicGen offre une opportunité unique de créer des morceaux harmonieux qui résonnent avec des mélodies ou des chansons établies.

Quelles sont les fonctionnalités de MusicGen

• Génération de musique basée sur des invites de texte: MusicGen exploite la puissance de l'IA pour créer des compositions musicales originales basées sur des invites textuelles fournies par l'utilisateur. De la spécification d'un genre à l'élaboration d'une mélodie, les utilisateurs peuvent explorer un éventail de possibilités créatives.
• Formation sur un vaste ensemble de données musicales: Le modèle d'IA pilotant MusicGen a été formé sur une vaste collection de musique sous licence, comprenant 10 000 pistes de haute qualité de l'ensemble de données interne de Meta, ainsi que des pistes provenant de Shutterstock et Étang5. Cet ensemble de données de formation diversifié garantit que MusicGen peut répondre à un large éventail de styles et de genres musicaux.
• Création de musique rapide et facile: MusicGen simplifie le processus de génération de nouvelles musiques en fournissant une interface conviviale et des commandes intuitives. Les musiciens et les producteurs peuvent rapidement expérimenter différentes idées et concepts, accélérant ainsi leur flux de travail créatif.
• Facilite l'expérimentation créative: Avec MusicGen, les artistes peuvent repousser les limites de leur créativité en expérimentant de nouvelles idées musicales. En fournissant une plate-forme d'exploration, MusicGen encourage la découverte de nouvelles mélodies, harmonies et rythmes.

Nous présentons MusicGen: Un modèle de génération de musique simple et contrôlable. MusicGen peut être invité à la fois par du texte et par une mélodie.
Nous publions du code (MIT) et des modèles (CC-BY NC) pour la recherche ouverte, la reproductibilité et pour la communauté musicale: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

– Félix Kreuk (@FelixKreuk) 9 juin 2023

MusicGen de Meta contre MusicLM de Google

Google a également lancé son propre générateur de texte en musique MusicLM à Google I/O 2023 Alors comparons ces produits :

Fonctionnalité	MusicGen	MusiqueLM
Type de modèle	Une seule étape (génération de musique tout à la fois)	Hiérarchique (génération de musique en plusieurs parties)
Données d'entraînement	Partitions musicales	Enregistrements audio
Disponibilité	Open source	Non open source
Forces	Rapide et facile à utiliser, peut générer de la musique dans une variété de styles	Musique de haute qualité qui ressemble à des enregistrements du monde réel
Faiblesses	Peut être moins précis que MusicLM, peut ne pas être en mesure de générer de la musique dans tous les styles	Limité aux employés de Google et à certains partenaires.

Avantages de MusicGen

Voici quelques exemples spécifiques de la manière dont MusicGen peut être utilisé au profit des musiciens et des producteurs de musique :

• UN musicien débutant peut utiliser MusicGen pour découvrir différents styles et techniques musicales. Ils peuvent expérimenter différentes invites et voir comment MusicGen génère différents résultats. Cela peut les aider à développer leur propre style musical et à apprendre de nouvelles techniques.
• Un musicien expérimenté pouvez utiliser MusicGen pour expérimenter différentes mélodies, rythmes et harmonies. Cela peut les aider à trouver de nouvelles idées de chansons auxquelles ils n'auraient pas pensé par eux-mêmes.
• UN producteur de musique peut utiliser MusicGen pour générer différents styles de pistes d'accompagnement, qui peuvent être utilisés pour créer une variété d'ambiances et d'atmosphères différentes.

Limites de MusicGen

Qualité de sortie variable: Alors que MusicGen s'efforce de générer des musique, la sortie du système d'IA peut ne pas toujours répondre aux attentes des utilisateurs. En raison de la nature complexe de la composition musicale et des préférences individuelles, certaines pièces générées peuvent être insuffisantes en termes de qualité perçue.

En tant que Meta open-sources MusicGen pour créer de la musique à partir d'invites de texte, cela représente une étape importante dans le domaine des outils d'IA génératifs pour la création musicale. Alors que les musiciens et les producteurs adoptent de plus en plus les technologies basées sur l'IA, MusicGen offre une voie prometteuse pour l'exploration et l'innovation.

Source: Tweet de Félix Kreuk