Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation
要約
## 抄録（Abstract）
- 大規模言語モデル（LLM）は優れた能力を示すが、複雑な知識推論タスクでは幻覚（ハルシネーション）や陳腐化した知識の問題に直面している
- 大規模知識グラフ（KG）から事実的知識を検索し、LLMの論理的推論を支援する研究がこれまでに行われてきた
- 従来の手法は、検索された情報に含まれるノイズや無関係なデータによって、LLMの注意が質問から逸れる問題があった
- 本研究では、Adaptive Multi-Aspect Retrieval-augmented over KGs（AMAR）フレームワークを提案
- AMARは2つの主要なサブコンポーネントを持つ：
1. 自己整合モジュール：エンティティ、関係、サブグラフ間の共通性を揃える
2. 関連性ゲーティングモジュール：質問と多面的に検索されたデータの関連性スコアを学習
## 序論（Introduction）
- 近年のLLMは多様なNLPタスクで著しい性能向上を示している
- しかし、特殊な知識や複雑な推論における課題が存在する
- 知識グラフ質問応答（KGQA）は、LLMの論理的推論を改善する有望なアプローチ
- 既存のKGQA手法は主に2つのカテゴリに分類される：
1. 質問を構造化論理形式に変換し、KGでクエリを実行
2. LLMが直接回答を予測し、追加のコンテキスト情報を利用
- 従来手法の主な課題：
- 検索された知識の多くが無関係またはノイズを含む
- 異なる側面の知識間の共通性を考慮していない
- 質問と検索テキスト間の適応的な関連性学習が不足
## 予備知識（Preliminaries）
- 知識グラフ（KG）：事実的知識をトリプル形式で構造化
- 論理形式：質問を構造化言語表現に変換（S式）
- KGQAタスク：質問に関連する知識をKGから検索し、論理形式を生成
## 方法論（Methodology）
- マルチアスペクト知識検索を実施
- 2つの主要モジュールを提案：
1. 自己整合モジュール
- 多面的な検索知識の共通性を揃える
- エンティティ、関係、サブグラフの一貫性トークンを生成
2. 関連性ゲーティングモジュール
- 質問と検索データ間の関連性を学習
- サイアム型ネットワークを使用して関連性スコアを計算
- LLMに適応的に知識を入力し、論理形式を生成
- 生成された論理形式を精製し、KGに対してクエリを実行
## 実験（Experiments）
- WebQSP、CWQの2つのデータセットで評価
- 22の既存ベースラインと比較
- 主な結果：
- 2つのデータセットで最先端の性能を達成
- WebQSPデータセットで1.9%の精度向上
- 論理形式生成で6.6%の改善
- 消去実験により、提案手法の各モジュールの有効性を確認
- 異なる検索情報（エンティティ、関係、サブグラフ）の影響を分析
## 結論
- マルチアスペクト知識グラフ検索を活用するAMARフレームワークを提案
- 自己整合モジュールと関連性ゲーティングモジュールにより、LLMの推論能力を向上
- 検索された知識のノイズを低減し、関連性の高い情報を選択的に利用
- 実験により、提案手法の有効性を実証
## 貢献
- マルチアスペクトKG情報をプロンプト埋め込みとして活用する初の研究
- 自己整合性と関連性ゲーティングモジュールを提案
- 22の強力なベースラインを上回る性能を達成
評価
# 新規性
- 知識グラフ質問応答（KGQA）タスクにおいて、大規模言語モデル（LLM）の推論能力を向上させるため、マルチアスペクト知識グラフ情報を適応的に活用する新しいフレームワーク「AMAR」を提案している
- 従来の研究では見逃されていた、異なる側面の検索情報の共通性を活用し、関連性を適応的に学習するアプローチを導入している
- 検索された知識をそのままコンテキストとして追加するのではなく、プロンプト埋め込みに変換して柔軟に利用する手法を初めて提示している
# 言及されている全ての関連研究との相違点
- 既存のKGQAアプローチと異なり、エンティティ、関係、サブグラフの3つの知識側面を同時に活用し、それらの共通性と関連性を学習する
- 自己アライメントモジュールにより、異なる知識側面間の共通性を揃え、ノイズを削減する手法を提案
- レレバンスゲーティングモジュールを導入し、質問と検索された情報の関連性をソフトゲートで学習する独自のアプローチを実現
# 有効性
- WebQSPとCWQの2つの一般的なデータセットで、22の既存ベースラインを上回る最先端の性能を達成
- WebQSPデータセットでは、最高性能のベースラインと比較して1.9%の精度向上、論理形式生成で6.6%の改善を実現
- 異なるLLMバックボーン（LLaMA2-7B、LLaMA2-13B）で一貫して優れた性能を示し、提案手法の汎用性を証明
# 信頼性
- 自己アライメントモジュールとレレバンスゲーティングモジュールの効果を詳細な消去実験で検証
- 異なる知識側面（エンティティ、関係、サブグラフ）の影響を定量的に分析し、各側面の重要性を明確にしている
- 検索される情報の数と質に対するロバスト性を実験的に示している
- 複数の実験設定（オラクルエンティティリンク、異なる微調整手法）で一貫して高い性能を達成
和訳
![]()
1 / 1
100%
