YuE2

YuE2 はプロンプトから楽曲を生成し、その設計は音声の分野では珍しいものです。描画の前に記号的に計画するため、曲の構造は生の音声ではなく楽譜に近い表現で決まります。その上でゼロショットのカバーと既存曲の編集を提供し、編集は一から再生成するのではなくエージェントが行う点を強調しています。

音声の前に記号の空間で計画することが、編集を可能にします。波形へ直接生成するモデルは別のプロンプトでしか操れないため、一部を変えると再生成し、一緒に動いた他のすべてを受け入れます。生成系の音声と映像が改訂を苦手とする理由です。先に構造を決めれば、指し示して変更できる対象が残ります。正直な境界は二つです。オープンな音楽生成は法的に未解決で、学習データと出力は係争地にあります。そしてリポジトリは製品ではありません。採用する人はチェックポイントを動かし、運用上の帰結も自分が負います。