Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
要約
# 1. Introduction
- 大規模言語モデル（LLM）は多様なタスクで優れた性能を示すが、パラメトリックメモリのみに依存するため事実的に誤った回答を生成する問題がある
- Retrieval-Augmented LLMは外部知識ベースからの情報を統合することでこの問題に対処するが、既存手法は単純なクエリに対して計算コストが過剰、または複雑なマルチホップクエリに不十分という課題がある
- 本研究では、クエリの複雑さに基づいて最適な戦略を動的に選択するAdaptive-RAGフレームワークを提案し、小型言語モデルをクエリ複雑度分類器として訓練する
# 2. Related Work
- Open-domain QAはリトリーバーとリーダーの2モジュールで構成され、LLMとリトリーバーの統合により幻覚問題の軽減と推論能力の向上が達成されている
- Multi-hop QAは複数文書からの情報を反復的に収集・文脈化する必要があり、クエリ分解やChain-of-Thought推論とリトリーバルのインターリーブなどの手法が開発されている
- 既存のAdaptive Retrieval手法はエンティティ頻度に基づく二値判定や固定操作の繰り返しに限定されており、様々な複雑度のクエリに対して最適な戦略を選択する新しいアプローチが必要
# 3. Method
- クエリ複雑度に基づいて3つの戦略（No Retrieval、Single-step、Multi-step）から最適なものを選択する適応型フレームワークを設計
- クエリ複雑度分類器は小型言語モデル（T5-Large）で実装され、3つのクラスラベル（A：LLMのみで回答可能、B：単一検索が必要、C：複数ステップ検索が必要）を予測
- 訓練データは人手ラベリングなしで自動構築：モデルの予測結果に基づくシルバーデータと、データセットの帰納的バイアス（single-hop/multi-hop）を活用
# 4. Experimental Setups
- Single-hop QAデータセット（SQuAD、Natural Questions、TriviaQA）とMulti-hop QAデータセット（MuSiQue、HotpotQA、2WikiMultiHopQA）を統一設定で使用
- ベースラインとしてNo Retrieval、Single-step、Adaptive Retrieval、Self-RAG、Multi-step Approachと比較
- 評価指標は有効性（F1、EM、Accuracy）と効率性（検索・生成ステップ数、クエリあたりの平均時間）の両方を使用
# 5. Results and Analyses
- Adaptive-RAGは既存の適応戦略と比較して全体的な精度と効率の両方で優れた性能を示し、特にMulti-hop QAデータセットで顕著な改善
- 分類器の精度は他の適応型ベースラインより高く、3つの複雑度レベルをより正確に分類可能
- Oracle分類器を用いた上限実験では更なる性能向上が確認され、分類器改善の余地を示唆
- 分類器サイズ（Small 60M〜Large 770M）による性能差は小さく、リソース効率的な設定でも有効
# 6. Conclusion
- Adaptive-RAGは様々な複雑度のクエリに対応する適応型検索拡張生成フレームワークであり、クエリ複雑度に基づいてNo Retrieval、Single-step、Multi-stepアプローチを動的に選択
- 分類器は予測結果とデータセットバイアスから自動ラベリングされたデータで訓練され、人手ラベリング不要
- 実験結果は、既存の一律アプローチと比較して、複雑なクエリには十分なリソースを割り当て、単純なクエリは効率的に処理することで、全体的な精度と効率を向上させることを実証
# 7. Limitations
- クエリ複雑度分類器の訓練データセット自動構築手法は1つの実装例であり、誤ラベルの可能性が存在する
- Oracle分類器との性能差が示すように、分類器の有効性には改善の余地がある
- 将来の研究として、多様なクエリ複雑度のアノテーション付きデータセットの構築や、分類器アーキテクチャの改善が期待される
評価
# 新規性
- クエリの複雑さに応じて、非検索・単一ステップ検索・複数ステップ検索の3つの戦略を動的に選択するAdaptive-RAGフレームワークを提案
- クエリの複雑さを自動的に判定する軽量な分類器を、モデルの予測結果とデータセット固有のバイアスから自動生成したラベルで訓練する手法を開発
- 検索拡張型LLMに対して、アーキテクチャやパラメータの変更なしにクエリ複雑度に基づく適応的な戦略選択を実現
# 言及されている全ての関連研究との相違点
- Brown et al. (2020), OpenAI (2023), Touvron et al. (2023), Anil et al. (2023) のLLMとの違い: これらは単にLLMの性能向上を目指すが、本研究はLLMと検索を動的に組み合わせる適応的戦略を提案
- Borgeaud et al. (2022), Izacard et al. (2023), Shi et al. (2023) の検索拡張LLMとの違い: これらは固定的な検索戦略を用いるが、本研究はクエリ複雑度に応じて戦略を動的に変更
- Lazaridou et al. (2022), Ram et al. (2023) の単一ホップQA手法との違い: これらは単一文書からの回答に特化するが、本研究は単純から複雑なクエリまで幅広く対応
- Press et al. (2023), Trivedi et al. (2023), Khattab et al. (2022), Pereira et al. (2023), Khot et al. (2023) のマルチステップ手法との違い: これらは全クエリに対して複数ステップを適用するため非効率だが、本研究は複雑なクエリにのみマルチステップを適用
- Yao et al. (2023) のReActとの違い: Chain-of-Thought推論と検索を交互に行うが、クエリ複雑度に基づく事前選択は行わない
- Jiang et al. (2023) の手法との違い: 生成トークンの信頼度に基づいて検索するが、クエリ複雑度の事前判定は行わない
- Mallen et al. (2023) のAdaptive Retrievalとの違い: エンティティの出現頻度のみで検索の有無を二値判定するが、本研究は3段階の複雑度を判定し、マルチホップクエリにも対応
- Qi et al. (2021) の手法との違い: 固定操作を複数回適用するが、クエリ複雑度に基づく事前判定は行わず、BERT系モデルを追加訓練する必要がある
- Asai et al. (2024) のSelf-RAGとの違い: 単一モデルで動的に検索・批評・生成を行うが、本研究は異なる複雑度に特化した複数戦略を選択的に利用
- Chen et al. (2017), Zhu et al. (2021) のOpen-domain QAとの違い: 従来の検索・読解パイプラインだが、クエリ複雑度に応じた適応は行わない
- Karpukhin et al. (2020), Xiong et al. (2021) のDense Passage Retrieval等との違い: 検索モデルの改善に焦点を当てるが、本研究は検索戦略の適応的選択に焦点
- Yang et al. (2019), Izacard and Grave (2021), Jeong et al. (2023) のリーダーモデルとの違い: 読解モデルの改善に焦点を当てるが、本研究は検索戦略全体の適応に焦点
- Wei et al. (2022a, 2022b) のChain-of-Thought関連研究との違い: 推論能力の向上に焦点を当てるが、本研究はその推論をクエリ複雑度に応じて適用
- Trivedi et al. (2022a, 2022b) のMuSiQueとの違い: マルチホップQAデータセットの構築に焦点を当てるが、本研究はそれを含む多様な複雑度への対応手法を提案
- Yang et al. (2018) のHotpotQAとの違い: マルチホップQAデータセットだが、本研究はデータセットではなく適応的解決手法を提案
- Ho et al. (2020) の2WikiMultiHopQAとの違い: 2ホップQAデータセットだが、本研究は様々な複雑度に対応する統一的手法を提案
- Rajpurkar et al. (2016) のSQuAD、Kwiatkowski et al. (2019) のNatural Questions、Joshi et al. (2017) のTriviaQAとの違い: 単一ホップQAデータセットだが、本研究はこれらを含む幅広いクエリに対応
- Robertson et al. (1994) のBM25との違い: 検索手法そのものだが、本研究はBM25を活用しつつ検索戦略の選択に焦点
- Cho et al. (2023) との違い: 無関係文書によるノイズ低減に焦点を当てるが、本研究は検索自体の必要性判断に焦点
- Kasai et al. (2022) のRealtime QAとの違い: リアルタイム情報のQAに焦点を当てるが、本研究はクエリ複雑度への適応に焦点
- Raffel et al. (2020) のT5との違い: 汎用言語モデルだが、本研究はそれを分類器として活用する具体的手法を提案
- Chung et al. (2022) のFLAN-T5との違い: instruction-finetuned LLMだが、本研究はそれを検索拡張フレームワークの一部として活用
- Li et al. (2020) のBLINKとの違い: エンティティリンキング手法だが、本研究ではベースラインの比較に使用
# 有効性
- 6つのベンチマークデータセット（SQuAD、Natural Questions、TriviaQA、MuSiQue、HotpotQA、2WikiMultiHopQA）で、既存の適応的検索手法を上回る精度を達成
- GPT-3.5、FLAN-T5-XL（3B）、FLAN-T5-XXL（11B）の3種類のLLMで一貫した性能向上を確認
- マルチステップ手法と比較して大幅な効率改善（処理時間の短縮）を達成しつつ、同等以上の精度を実現
- 分類器のサイズを小さくしても（60M〜770M）性能が大きく低下しないことを確認し、実用的なリソース効率を実証
- Oracle分類器使用時にF1スコアが最大62.80（GPT-3.5）に達し、提案手法のポテンシャルを示唆
- 単一ホップデータセットでは単一ステップアプローチ、マルチホップデータセットでは複数ステップアプローチを適切に選択できることを確認
# 信頼性
- 各データセットから500サンプルを使用した評価で、F1、EM、Accuracyの3つの標準的な評価指標を採用
- 単一ホップ3データセット、マルチホップ3データセットの計6データセットで評価し、クエリ複雑度の多様性を確保
- 分類器の訓練には各データセットから400クエリをサンプリングし、評価用クエリとは重複しないよう設計
- 分類器の混同行列を報告し、ラベル間の誤分類パターンを透明に開示（'C'から'B'への誤分類31%、'B'から'C'への誤分類23%など）
- 計算コスト削減のため単一実行での評価であり、複数実行による統計的検定は未実施
- 自動ラベリングによる訓練データの品質に限界があることを著者自身が認識し、将来の改善点として明示
和訳
![]()
1 / 1
100%
