テキストプロンプトから音楽を作成できるメタオープンソースの生成AIツールMusicGen – TechCult

さまざまな画期的なイノベーションを生み出した有名なテクノロジー企業である Meta は、最近、人工知能の分野における最新の成果をオープンソース化して発表しました。 ミュージックジェネ テキストプロンプトから音楽を作成します。 このオープンソースの AI を利用した音楽ジェネレーターは、テキスト プロンプトに基づいてユニークな作品を作成する驚くべき機能を備えています。

MusicGen の仕組み

MusicGen は最先端のテクノロジーを活用して運営されています。 AIモデル ライセンスされた音楽の広範なデータセットでトレーニングされました。 トレーニング プロセスには、膨大なコレクションの分析が含まれます。 20,000時間 Meta の内部データセットや、Meta からソースされたトラックを含む高品質の音楽トラック シャッターストックと池5. この多様な音楽スタイルとジャンルのコーパスにより、MusicGen は幅広いクリエイティブな可能性を提供できるようになります。

パフォーマンスを最適化するために、Meta は 32Khz EnCodec オーディオ トークナイザー。音楽をより小さなチャンクに分割します。. これにより並列処理が可能になり、より高速かつ効率的な音楽生成が可能になります。 ユーザーはさまざまな入力を行うことができます テキストプロンプト、特定のジャンルやメロディーなど、MusicGen が希望する音楽の方向性に沿った楽曲を制作できるようガイドします。

さらに、MusicGen を使用すると、ユーザーは次のことを行うことができます。 参考音声ファイルを提供する、新しい音楽を生み出すための青写真として機能します。 MusicGen は、生成された楽曲をリファレンス トラックと調整することで、確立されたメロディーや歌と共鳴する調和のとれた作品を作成するユニークな機会を提供します。

MusicGen の機能とは何ですか

• テキストプロンプトに基づいた音楽生成: MusicGen は AI の力を利用して、ユーザーが提供したテキスト プロンプトに基づいてオリジナルの音楽作品を作成します。 ジャンルの指定からメロディーのアウトラインまで、ユーザーはさまざまな創造的な可能性を探ることができます。
• 広範な音楽データセットのトレーニング: MusicGen を駆動する AI モデルは、10,000 曲を含む、ライセンスされた音楽の膨大なコレクションでトレーニングされました。 Meta の内部データセットからの高品質トラック、および Shutterstock からソースされたトラック 池５． この多様なトレーニング データセットにより、MusicGen は幅広い音楽スタイルやジャンルに対応できるようになります。
• 素早く簡単な音楽作成: MusicGen は、ユーザーフレンドリーなインターフェイスと直感的なコントロールを提供することで、新しい音楽を生成するプロセスを簡素化します。 ミュージシャンやプロデューサーは、さまざまなアイデアやコンセプトを迅速に試して、クリエイティブなワークフローを促進できます。
• 創造的な実験を促進します: MusicGen を使用すると、アーティストは新しい音楽アイデアを実験することで創造性の限界を押し広げることができます。 MusicGen は、探索のためのプラットフォームを提供することで、新しいメロディー、ハーモニー、リズムの発見を促進します。

私たちは、シンプルで制御可能な音楽生成モデルである MusicGen を紹介します。 MusicGen はテキストとメロディーの両方で促すことができます。
私たちはオープンリサーチ、再現性、音楽コミュニティのためにコード (MIT) とモデル (CC-BY NC) をリリースします。 https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf

— フェリックス・クルック (@FelixKreuk) 2023 年 6 月 9 日

Meta の MusicGen と Google の MusicLM

GoogleもGoogle I/O 2023で独自のテキスト音楽ジェネレーターMusicLMを発表 それでは、これらの製品を比較してみましょう。

特徴	ミュージックジェネ	音楽LM
モデルタイプ	シングルステージ（音楽一括生成）	階層型（パート単位での音楽生成）
トレーニングデータ	楽譜	音声録音
可用性	オープンソース	オープンソースではない
強み	すばやく簡単に使用でき、さまざまなスタイルの音楽を生成できます	現実世界の録音のような高品質の音楽
弱点	MusicLM よりも精度が低い可能性があり、すべてのスタイルで音楽を生成できるわけではない可能性があります	Google 従業員と一部のパートナーに限定されます。

MusicGen の利点

ここでは、MusicGen を使用してミュージシャンや音楽プロデューサーに利益をもたらす具体的な例をいくつか示します。

• あ 初心者ミュージシャン MusicGen を使用して、さまざまな音楽スタイルやテクニックを学ぶことができます。 さまざまなプロンプトを試して、MusicGen がどのようにさまざまな結果を生成するかを確認できます。 これは、子供たちが独自の音楽スタイルを開発し、新しいテクニックを学ぶのに役立ちます。
• アン 経験豊富なミュージシャン MusicGen を使用して、さまざまなメロディー、リズム、ハーモニーを試すことができます。 そうすることで、自分たちだけでは思いつかなかった新しい曲のアイデアを思いつくことができます。
• あ 音楽プロデューサー MusicGen を使用して、さまざまなスタイルのバッキング トラックを生成し、さまざまなムードや雰囲気を作成するために使用できます。

MusicGen の制限事項

可変出力品質: MusicGen は高品質の音楽を生み出すよう努めていますが、 音楽、AI システムの出力は必ずしもユーザーの期待に応えられるとは限りません。 音楽の作曲の複雑な性質と個人の好みにより、生成された一部の作品は知覚される品質の点で不十分である可能性があります。

Meta がテキスト プロンプトから音楽を作成する MusicGen をオープンソース化することは、音楽作成用の生成 AI ツールの分野における重要なマイルストーンを意味します。 ミュージシャンやプロデューサーが AI 主導のテクノロジーをますます採用する中、MusicGen は探求と革新のための有望な手段を提供します。

ソース: フェリックス・クルックのツイート