SALMONN: Towards Generic Hearing Abilities for Large Language Models
要約
# 1. Introduction
- テキストベースの大規模言語モデル（LLM）にマルチモーダルな聴覚能力を付与するため、音声・音響イベント・音楽の3種類の音を統合的に理解できるSALMONN（Speech Audio Language Music Open Neural Network）を提案
- SALMONNはWhisper音声エンコーダとBEATs音響エンコーダのデュアルエンコーダ構造を持ち、ウィンドウレベルQ-Formerを接続モジュールとしてVicuna LLMに統合し、LoRAを用いてクロスモーダル適応を実現
- 訓練済みタスク（音声認識・翻訳・音響キャプション生成等）で競争力のある性能を達成しつつ、未訓練言語への翻訳・スロットフィリング・音声ベースストーリーテリング等のクロスモーダル創発能力も発現
- 指示チューニング後に生じるタスク過適合問題に対し、少数ショットのactivation tuningを提案し、創発能力の回復と訓練済みタスクの壊滅的忘却の緩和を実現
# 2. Related Work
- LLMへの音声入力統合に関する先行研究（フレームレート削減手法・Q-Formerベース手法・SpeechGPT等）を整理し、音声と音響イベントの統合モデリングの困難さを指摘
- 視覚モダリティのマルチモーダルLLM（MiniGPT-4・InstructBLIP・Video-LLaMA等）で用いられるQ-Former構造との関連を示し、AudioGPTのようなパイプライン方式と異なりSALMONNがエンドツーエンドモデルである点を強調
# 3. Methods
- デュアル聴覚エンコーダ：Whisper（音声認識・翻訳用）とBEATs（非音声音響セマンティクス用）の相補的な特徴を50Hzの同一フレームレートでフレームごとに結合
- ウィンドウレベルQ-Former：可変長音声入力に対応するため、エンコーダ出力をLサイズのウィンドウに分割し、各ウィンドウをQ-Formerで処理することで可変数のテキストトークンを生成し、高い時間解像度を実現
- 3段階学習法：(1) 事前学習（音声認識＋音響キャプションで高品質なクロスモーダルアライメント学習）、(2) 指示チューニング（12種の音声・音響・音楽タスク）、(3) activation tuning（LoRAスケーリング係数の割引により生成した多様な応答を用いた少数ショット自己教師学習でタスク過適合を解消）
- タスク過適合の理論分析：指示チューニングで単純・短い応答（ASR・AAC）に偏った内在的条件付き言語モデルP(Y|X)が形成され、多様な応答を要する未訓練タスクの実行を阻害することをベイズ則で説明
# 4. Experimental Setup
- モデル仕様：Whisper-Large-v2エンコーダ＋BEATsエンコーダ＋13BパラメータVicuna LLM、Q-Formerクエリ数N=1・ウィンドウサイズL=17（約0.33秒）、LoRAランク8・スケーリング係数4.0、訓練可能パラメータは全体の約0.24%（約3300万）
- データ仕様：事前学習にLibriSpeech＋GigaSpeech（音声認識）とWavCaps＋AudioCaps＋Clotho（音響キャプション）、指示チューニングに12タスク計約230万サンプル、activation tuningにはLoRA割引で生成した12件のストーリーのみ使用
- 3レベルの評価タスク：レベル1（訓練済み8タスク）、レベル2（未訓練の音声NLPタスク5種：キーワード抽出・SQQA・スロットフィリング・En2De/En2Ja翻訳）、レベル3（新規提案タスク：音声ベースストーリーテリング・音声音響共同推論）
# 5. Experimental Results
- activation tuningなしではレベル1タスクで競争力ある結果を達成するが、レベル2・3タスクではタスク過適合により指示追従率（FR）がほぼゼロに低下；activation tuning後はSQQA・SF・Story・SACのFRが大幅に改善
- LoRAスケーリング係数をテスト時に約2.0（半分）に割引すると突然クロスモーダル推論能力が発現し、内在的条件付き言語モデルがLoRAに埋め込まれていることを実証
- PPL分析により、activation tuning前はStory/SACの応答よりAAC応答のPPLが低い（指示に関わらずAAC出力に偏向）が、activation tuning後にStory/SACのPPLがAACより低くなり正しく指示に従うことを確認
- activation tuningにはStoryタスクやQA（長い回答）が有効だが、ASR（長い転写）やテキストベースStoryでは活性化不可；Storyタスクが最も多様な応答を生成しrepeat rateも最低（0.1%）
# 6. Conclusion
- SALMONNはデュアル聴覚エンコーダによりASR・音響キャプション・音声翻訳等の訓練済みタスクで競争力ある性能を達成しつつ、スロットフィリング・未訓練言語翻訳・キーワード抽出等の未訓練タスクへの汎化にも成功
- 提案されたactivation tuningにより音声ベースストーリーテリングや音声音響共同推論などの顕著な創発能力を獲得し、汎用的な聴覚AIの構築に向けた有望な方向性を示した
評価
# 新規性
- 音声・音響イベント・音楽の3種類の音を同時に知覚・理解できる初のマルチモーダルLLM「SALMONN」を提案した点
- クロスモーダル創発能力（訓練時に見ていないタスクを実行する能力）の存在を研究し、LoRAスケーリング係数の割引による活性化メカニズムを解明した点
- 少数ショットの活性化チューニング（activation tuning）という新たな訓練段階を提案し、わずか12サンプル・12ステップでクロスモーダル創発能力を回復させつつ、訓練済みタスクの壊滅的忘却を軽減する手法を確立した点
- 音声とWhisperエンコーダ・BEATsエンコーダのデュアルエンコーダ構造と、可変長音声入力に対応するウィンドウレベルQ-Formerという接続モジュールを設計した点
- 音声ベースストーリーテリング（audio-based storytelling）と音声音響共同推論（speech audio co-reasoning）という2つの新規タスクを提案した点
# 言及されている全ての関連研究との相違点
- Brown et al. (2020) GPT-3との違い: GPT-3はテキストのみのLLMであるのに対し、SALMONNはデュアル聴覚エンコーダにより音声・音響・音楽を直接処理可能
- Touvron et al. (2023) LLaMAとの違い: LLaMAはテキストベースの基盤LLMであり、SALMONNはこれをバックボーンとして聴覚入力処理能力を付加
- Chiang et al. (2023) Vicunaとの違い: Vicunaはテキスト指示追従に特化したLLMであり、SALMONNのバックボーンLLMとして使用されるが、単体では音声入力不可
- Anil et al. (2023) PaLM 2との違い: テキストベースLLMであり、聴覚モダリティの処理能力を持たない
- Du et al. (2022) GLMとの違い: 自己回帰空白埋め方式のテキストLLMであり、音声処理能力なし
- Wei et al. (2022a) 指示チューニングとの違い: SALMONNはテキスト指示チューニングの概念をクロスモーダル領域に拡張し、さらにタスク過学習問題を解決する活性化チューニングを追加
- Wei et al. (2022b) LLMの創発能力との違い: テキストLLMの創発能力の概念をクロスモーダル設定に拡張し、指示チューニング後に失われる創発能力の回復手法を提案
- Chung et al. (2022) スケーリング指示チューニングとの違い: テキスト領域の指示チューニングスケーリングに対し、SALMONNは音声・音響のクロスモーダル指示チューニングに焦点
- Ouyang et al. (2022) InstructGPTとの違い: 人間フィードバックによるテキストLLM訓練に対し、SALMONNはクロスモーダルアライメントと活性化チューニングによる訓練手法を採用
- Peng et al. (2023) GPT-4指示チューニングとの違い: テキスト指示チューニングに対し、SALMONNは音声・音響・音楽のマルチタスク指示チューニングを実施
- Li et al. (2023a) BLIP-2との違い: BLIP-2は画像-言語モデルであり固定数の出力トークンを使用するのに対し、SALMONNはウィンドウレベルQ-Formerで可変長音声に対応
- Alayrac et al. (2022) Flamingoとの違い: 画像エンコーダとLLMの接続に焦点を当てた視覚言語モデルであり、音声処理能力なし
- Dai et al. (2023) InstructBLIPとの違い: 視覚言語モデルの指示チューニングに焦点であり、SALMONNは同様の手法を聴覚モダリティに拡張
- Maaz et al. (2023) Video-ChatGPTとの違い: 無音動画理解に特化しており、音声・音響処理能力なし
- Chen et al. (2023b) VideoLLMとの違い: 動画シーケンスモデリングに焦点であり、聴覚入力の処理不可
- Zhao et al. (2022) 動画表現学習との違い: 動画表現をLLMから学習する手法であり、音声理解は対象外
- Gong et al. (2023b) LTU (Listen, Think, and Understand)との違い: 音響イベントのみをLLMに接続する手法であり、音声の処理に対応していない
- Gong et al. (2023a) Whisper-ATとの違い: Whisperエンコーダの音響イベントタグ付け能力を利用する手法であり、LLMへの統合やマルチタスク処理は行わない
- Lyu et al. (2023) Macaw-LLMとの違い: Whisperの音声エンコーダを使用するが音響イベント入力のみ対応であり、音声の同時処理が困難。SALMONNはデュアルエンコーダにより音声と音響イベントの同時処理を実現
- Chen et al. (2023a) X-LLMとの違い: 音声エンコーダとLLMを接続するが、音声入力のみ対応。SALMONNは音声・音響・音楽の3種を統一的に処理
- Wu et al. (2023) デコーダのみ音声テキスト統合との違い: 音声認識ベースの可変フレームレート削減を使用するのに対し、SALMONNはウィンドウレベルQ-Formerによる効率的な可変長処理を採用
- Fathullah et al. (2023) LLM音声認識プロンプトとの違い: スタッキングベースの固定レート削減を使用するのに対し、SALMONNは時間解像度を保つウィンドウレベルQ-Formerを使用
- Yu et al. (2023) 音声エンコーダLLM接続との違い: Q-Formerの固定数出力フレームを使用するのに対し、SALMONNはウィンドウレベルで可変数トークンを生成し時間解像度を向上
- Huang et al. (2023a) Dynamic-SUPERBとの違い: 音声指示チューニングのベンチマークであり、モデルアーキテクチャの提案ではない
- Su et al. (2023) PandaGPTとの違い: 複数モダリティの統合を目指すが、専用の聴覚エンコーダ設計やデュアルエンコーダ構造は持たない
- Zhang et al. (2023b) Video-LLaMAとの違い: 視覚・音声の統合を目指すが、音響イベントの個別モデリングやウィンドウレベルQ-Former構造を持たない
- Zhang et al. (2023a) SpeechGPTとの違い: LLM出力空間に音声トークンを追加し音声生成も行うのに対し、SALMONNは聴覚理解に特化しデュアルエンコーダで音声・音響・音楽を処理
- Rubenstein et al. (2023) AudioPaLMとの違い: 音声の入出力を統合したLLMであるが、SALMONNは音声・音響・音楽の3種の聴覚入力理解と創発能力の活性化に焦点
- Narisetty et al. (2022) 音声認識・音響キャプション共同モデルとの違い: LLMを使用せずASRとAACを同一モデルで別々に実行するのに対し、SALMONNはLLMベースで統一的な聴覚理解を実現
- Liu et al. (2023) Music Understanding LLaMAとの違い: MERTエンコーダとLLMを統合した音楽理解専用モデルに対し、SALMONNは音声・音響・音楽の全てを統一処理
- Li et al. (2023b) MERTとの違い: 音楽理解に特化した自己教師あり学習モデルであり、SALMONNのような汎用聴覚LLMではない
- Huang et al. (2023b) AudioGPTとの違い: テキストLLMが事前定義タスクベースで他のモデルとパイプラインで連携する方式に対し、SALMONNはエンドツーエンドモデルでオープンエンドタスクの創発能力を有する
- Zhu et al. (2023) MiniGPT-4との違い: 画像-言語理解モデルでありQ-Former構造を視覚に使用するのに対し、SALMONNは同構造を聴覚に適応しウィンドウレベルに拡張
- Radford et al. (2023) Whisperとの違い: 音声認識・翻訳専用モデルであり、SALMONNはそのエンコーダを音声エンコーダの一つとして利用しLLMとの統合を実現
- Chen et al. (2023c) BEATsとの違い: 非音声音響セマンティクス抽出のための自己教師あり学習モデルであり、SALMONNはこれをもう一つの聴覚エンコーダとして利用
- Hu et al. (2022) LoRAとの違い: パラメータ効率的なLLM適応手法であり、SALMONNはこれをクロスモーダルアダプタとして使用し、さらにスケーリング係数の割引が創発能力に与える影響を分析
- Sun et al. (2023) 音声視覚マルチモーダルLLMとの違い: 音声・視覚の統合に焦点を当てたモデルに対し、SALMONNは聴覚入力の統一的理解に特化
- Huang et al. (2023c) マルチ話者音声認識との違い: 話者埋め込みによるマルチ話者ASR適応手法であり、SALMONNのような汎用聴覚理解モデルではない
- OpenAI (2023) GPT-4との違い: テキストベースで人間レベルのNLP性能を達成したが聴覚処理不可、SALMONNは汎用聴覚能力をLLMに付与
- Chen et al. (2022) WavLMとの違い: 自己教師あり音声表現学習モデルであり、SALMONNは参照値としてWavLMの音素認識結果を使用
- Agostinelli et al. (2023) MusicLMとの違い: テキストから音楽を生成するモデルであり、SALMONNのような音楽理解・キャプション生成とは方向が異なる
- Doh et al. (2023) LP-MusicCapsとの違い: LLMベースの擬似音楽キャプション生成手法であり、SALMONNは音楽を直接入力として理解・キャプション生成
- Wang et al. (2021) CoVoST2との違い: 音声翻訳のデータセット・ベンチマークであり、SALMONNの訓練・評価データとして使用
- Mei et al. (2023) WavCapsとの違い: ChatGPT支援による弱ラベル付き音響キャプションデータセットであり、SALMONNの訓練データとして使用
# 有効性
- 15種類の音声・音響・音楽タスク（3段階の難易度）において単一モデルで競争力のある性能を達成し、ASRではLibriSpeech test-cleanで2.1% WER、test-otherで4.9% WERとWhisper-Large-v2（2.2%, 5.1%）に匹敵する結果
- 活性化チューニングにより、未訓練タスク（SQQA、ストーリーテリング、SAC）の指示追従率が劇的に改善（SQQAのFRが0.29→0.98、ストーリーのFRが0.00→1.00、SACのFRが0.04→0.73）しつつ、訓練済みタスクの性能劣化はほぼなし
- En2De（19.7→18.6 BLEU4）やEn2Ja（22.0→22.7 BLEU4）の未訓練言語への音声翻訳で、カスケードシステム（Whisper+Vicuna）を上回る性能を達成し、エンドツーエンドモデルがエラー伝播を抑制し非言語情報を保持できることを実証
- わずか12サンプルの活性化チューニングで創発能力が回復されることを示し、few-shot自己教師あり訓練の有効性を実証
- LoRAスケーリング係数の割引実験により、タスク過学習の理論的分析（条件付き言語モデルの偏り）を実験的に検証し、スケーリング係数2.0付近でクロスモーダル推論能力が突然出現することを確認
- パラメータ効率が高く、訓練可能パラメータは約3300万（全体の0.24%）のみで、エンコーダとLLMは凍結したまま高性能を達成
# 信頼性
- データの規模・質について: プレトレーニングに約4800時間の音声・音響データ（LibriSpeech 960h、GigaSpeech 1000h、WavCaps 2800hなど）、指示チューニングに約4400時間・230万サンプルの多様なタスクデータを使用しており、データ規模は十分に大きい
- 再現性について: ソースコード、モデルチェックポイント、データがGitHubで公開されており、訓練データと評価ベンチマークの詳細がSection 4.2および4.3で明確に記載されている。ICLR 2024に採択された査読済み論文である
- 評価の包括性について: 15種類のタスクを3段階の難易度に分けた体系的な評価を実施し、WER、BLEU4、METEOR、SPIDEr、正答率、指示追従率（FR）など多様な評価指標を使用。レベル2タスクではカスケードシステム（Whisper+Vicuna）を参照値として使用
- 統計的妥当性について: Appendix Bでパープレキシティの平均値と標準偏差を報告（Table 5）しており、訓練段階ごとのPPL変化を可視化（Fig. 22）。ただし、複数の乱数シードによる実験の繰り返しや信頼区間の報告は見られず、結果の安定性に関する統計的検証はやや限定的
- SAC（音声音響共同推論）タスクの評価にGPT-3.5を使用しており、評価の再現性はGPT-3.5のバージョンやAPIの変更に依存する点に留意が必要
- 活性化チューニングのストーリーデータ（12サンプル）が手動で作成されており、データ選択のバイアスが結果に影響する可能性がある
和訳
![]()
1 / 1
100%
