Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models
要約
# 1. Introduction
- 大規模言語モデル（LLM）は知識保持・推論能力に優れるが、画像や音声などの非テキストモダリティを人間のように知覚する能力が欠けている
- 既存の音声言語モデルは特定の音声タイプ（人間の音声や自然音）に限定されており、多様な音声対話能力が制限されている
- Qwen-Audioは30以上のタスク、8言語、人間の音声・自然音・音楽・歌などの多様な音声タイプをカバーする大規模音声言語モデルとして開発された
- 異なるデータセット間のテキストラベルの変動による干渉問題に対処するため、階層的タグを用いたマルチタスク学習フレームワークを設計
- 単語レベルタイムスタンプ予測（SRWT）タスクを組み込むことで、音声だけでなく音や音楽のグラウンディングおよびQAタスクの性能が向上
# 2. Related Work
- マルチタスク音声テキスト学習では、SpeechNet、SpeechT5、Whisper、Pengiなどが存在するが、主に人間の音声処理や自然音理解に限定されている
- LLMとの音声モダリティ統合では、AudioGPT、HuggingGPT、SpeechGPT、BLSP、LLaSM、LTU、SALMONNなどの先行研究があり、それぞれ異なるアプローチで音声とLLMの統合を試みている
- Qwen-Audioは単一のエンコーダで全ての音声タイプを処理し、大規模エンドツーエンド学習により音声とテキストのギャップを埋める
# 3. Methodology
- Qwen-Audioは音声エンコーダ（Whisper-large-v2で初期化、640Mパラメータ）と大規模言語モデル（Qwen-7B、7.7Bパラメータ）で構成
- マルチタスク事前学習では、転写タグ、音声言語タグ、タスクタグ、テキスト言語タグ、タイムスタンプタグ、出力指示の階層的タグフレームワークを採用
- SRWT（単語レベルタイムスタンプ付き音声認識）タスクにより、音声信号とタイムスタンプの微細なアライメント能力を向上
- Qwen-Audio-Chatは教師あり指示ファインチューニングにより開発され、GPT-3.5を使用して質問応答データを生成し、ChatML形式で対話を構築
- マルチ音声対話に対応するため、異なる音声に「Audio id:」ラベルを導入
# 4. Experiments
- マルチタスク事前学習では、LLMの重みを固定し音声エンコーダのみを最適化（Qwen-Audio）、教師ありファインチューニングでは音声エンコーダを固定しLLMのみを最適化（Qwen-Audio-Chat）
- ASR、S2TT、AAC、ASC、SER、AQA、VSC、MNAの8タスク、12データセットで評価を実施
- Qwen-Audioは既存のマルチタスク学習モデルを上回り、Aishell1、CochlScene、ClothoAQA、VocalSoundで最先端の性能を達成
- SRWTタスクを含めて学習したモデルは、ASRおよび音声QAタスク（自然音QA、音楽QAを含む）で優れた性能を示すことを実証
# 5. Conclusion
- Qwen-Audioシリーズは、異なる種類の音声を共同学習するための統一マルチタスク学習フレームワークを提案し、知識共有と一対多マッピング問題の回避を実現
- タスク固有のファインチューニングなしで、Qwen-Audioは多様なベンチマークで先行研究を上回る汎用音声理解能力を実証
- Qwen-Audio-Chatは教師あり指示ファインチューニングにより、人間の意図との整合性、多言語・マルチターン対話、音声とテキスト両方からの入力をサポート
評価
# 新規性
- 30以上のタスクと多様な音声タイプ（人間の音声、自然音、音楽、歌）を統合した初の大規模音声言語モデルQwen-Audioの開発
- 階層的タグ系列を用いたデコーダ条件付けによるマルチタスク学習フレームワークの提案（知識共有を促進しつつ、one-to-many干渉を回避）
- 単語レベルタイムスタンプ予測タスク（SRWT）の導入により、音声以外の音響・音楽タスクにおけるグラウンディング能力とASR性能を同時に向上
# 言及されている全ての関連研究との相違点
- SpeechT5との違い: SpeechT5は人間の音声タスクのみを対象とし、音声/テキスト入出力形式に限定されるが、Qwen-Audioは自然音・音楽を含む多様な音声タイプに対応
- SpeechNetとの違い: SpeechNetは音声/テキストの入出力形式に限定され、人間の音声処理のみに焦点を当てているが、Qwen-Audioは30以上のタスクと8言語に対応
- Whisperとの違い: Whisperは音声認識と翻訳タスクのみで文レベルタイムスタンプを使用するが、Qwen-Audioは単語レベルタイムスタンプと多様なタスクタグを導入し、より包括的な音声理解を実現
- Pengiとの違い: Pengiは自然音理解タスクに特化しているが、Qwen-Audioは人間の音声、自然音、音楽、歌を統合的に扱う
- VIOLAとの違い: VIOLAは音声を離散コードとして扱う条件付き生成タスクに焦点を当てるが、Qwen-Audioは単一のオーディオエンコーダで多様な音声タイプを処理
- AudioGPT/HuggingGPTとの違い: これらはLLMを外部ツール制御のインターフェースとして使用し、韻律や感情などの重要情報を失うが、Qwen-Audioはエンドツーエンドで音声信号を直接知覚・理解
- SpeechGPTとの違い: SpeechGPTは離散HuBERTトークンへの変換と3段階の学習パイプラインを使用するが、Qwen-Audioは単一エンコーダによる直接的な音声表現学習を採用
- BLSPとの違い: BLSPは音声と対応するテキスト転写から同じテキスト継続を生成させることで表現を整合させるが、Qwen-Audioは階層的タグによるマルチタスク学習で統一的に訓練
- LLaSMとの違い: LLaSMはMicrosoft TTS APIで生成した音声質問を使用するが、Qwen-Audioは実音声データによる大規模マルチタスク事前学習を実施
- LTU（Listen, Think, Understand）との違い: LTUは5M音声QAデータセットでSFTとLoRAアダプターを使用するが、Qwen-Audioは30以上のタスクでの統一的な事前学習により、タスク固有のファインチューニングなしで高性能を達成
- SALMONNとの違い: SALMONNはテキストエンコーダと音声エンコーダの両方を使用しQ-formerスタイルで接続するが、Qwen-Audioは単一の音声エンコーダのみで全ての音声タイプを処理
- GPT-4/Flamingo/Kosmos/BLIP/Shikra/Emu/Qwen-VLとの違い: これらは視覚モダリティに焦点を当てたマルチモーダルモデルだが、Qwen-Audioは音声モダリティの普遍的理解に特化
- VoiceBoxとの違い: VoiceBoxは非自己回帰連続正規化フローモデルで音声合成・編集に焦点を当てるが、Qwen-Audioは音声理解タスクに注力
- Paraformer-largeとの違い: Paraformer-largeは音声認識に特化しているが、Qwen-Audioはマルチタスク学習により音声認識を含む30以上のタスクで競争力のある性能を達成
- MMSpeechとの違い: MMSpeechはマルチモーダルエンコーダ・デコーダ事前学習を採用するが、Qwen-Audioは階層的タグフレームワークによるマルチタスク学習を使用
- WavLMとの違い: WavLMは自己教師あり事前学習による音声表現学習に焦点を当てるが、Qwen-Audioは大規模言語モデルとの統合による音声言語理解を実現
- CLAPとの違い: CLAPは自然言語監督による音声概念学習に焦点を当てるが、Qwen-Audioはマルチタスク学習による包括的な音声理解能力を獲得
- SpeechLLaMAとの違い: SpeechLLaMAはデコーダのみのアーキテクチャで音声認識と翻訳に焦点を当てるが、Qwen-Audioはより広範なタスクカバレッジと階層的タグフレームワークを提供
# 有効性
- タスク固有のファインチューニングなしで、12のベンチマークデータセットにおいて従来のマルチタスク学習モデルを上回る性能を達成
- Aishell1（中国語ASR）、CochlScene（音響シーン分類）、ClothoAQA（音声質問応答）、VocalSound（発声音分類）のテストセットで最先端の結果を達成
- CoVoST2の7つの翻訳方向（en-de, de-en, en-zh, zh-en, es-en, fr-en, it-en）すべてで、ベースラインを大幅に上回る性能を達成
- SRWT（単語レベルタイムスタンプ予測）タスクの導入により、ASR性能が向上（LibriSpeech test-cleanで2.22→2.04 WER、Aishell1 testで1.71→1.29 WER）
- SRWTタスクにより、ClothoAQAやMusicAVQAなどの音声質問応答タスクでも性能が向上（ClothoAQA testで0.5648→0.5795）
- Qwen-Audio-Chatは多言語・マルチターン対話、複数音声分析、音楽鑑賞、ツール使用による音声編集など多様な音声中心シナリオをサポート
# 信頼性
- 訓練データは30,000時間以上の音声を含む大規模データセットで、ASR（30k時間）、S2TT（3.7k時間）、音楽認識（9.5k時間）など多様なタスクをカバー
- 評価データセットは訓練データから厳密に除外されており、データリークを回避した公正な評価を実施
- Whisper-large-v2（640Mパラメータ）とQwen-7B（7.7Bパラメータ）という確立されたモデルを基盤として使用し、再現性のある初期化を保証
- Librispeech、Aishell1/2、CoVoST2、Clotho、Meldなど12の標準ベンチマークデータセットで体系的に評価
- 訓練ハイパーパラメータ（学習率、バッチサイズ、訓練ステップ数など）が詳細に報告されており、再現性を確保
- コード、デモ、モデルがGitHub（https://github.com/QwenLM/Qwen-Audio）でオープンソース公開され、検証可能性を担保
和訳
![]()
1 / 1
100%
