Practices, opportunities and challenges in the fusion of knowledge graphs and large language models
要約
# 1. Introduction
- LLMは幅広いNLPタスクで優れた性能を示すが、事実情報の取り扱いにおいてハルシネーション（幻覚）問題が存在する
- 知識グラフ（KG）は構造化された明示的な知識を保持し、信頼性と解釈可能性に優れる
- 本論文では3つの統合戦略（KEL: KG強化LLM、LEK: LLM強化KG、LKC: 協調型）を検討し、分類・課題・将来方向を提示
# 2. Background
- LLMはTransformerアーキテクチャに基づき、Encoder-only、Decoder-only、Encoder-decoder型の3種類が存在する
- KGはエンティティ・関係・属性をトリプル形式で構造化し、百科事典型・常識型・ドメイン特化型・マルチモーダル型に分類される
- LLMは文脈理解と生成に優れるが解釈性が低く、KGは明示的知識表現に優れるが構築コストが高いという相補関係がある
# 3. LLM-enhanced KGs (LEK)
- LLMはKG構築において固有表現認識・関係抽出・イベント抽出・エンティティリンキング・共参照解決を支援する
- KG埋め込みでは事前学習モデルによる構造・記述ベースの表現学習が行われる
- KG補完ではプロンプト工学・マスキング手法・マルチタスク学習・テキスト表現とグラフ埋め込みの統合・系列変換・パス学習が活用される
- KGからテキスト生成やKG質問応答においてもLLMが重要な役割を果たす
# 4. Challenges in LLM-enhanced KGs
- KG構築では異種データの融合困難さとデータ品質依存性が課題
- KG補完では記憶と推論の区別困難、計算コスト、プロンプト設計の限界がある
- KGアラインメントではLLM-KG表現のギャップ、マルチモーダル整合、意味評価の限界が存在
- KG推論では規則ベース推論の困難さと不透明性・説明可能性の問題がある
# 5. KG-enhanced LLMs (KEL)
- KG埋め込みLLM事前学習では訓練目的統合・入力表現強化・マルチモーダル学習が行われる
- KGガイドLLM推論ではプロンプト工学・動的知識検索（RAG等）・文脈強化・知識駆動ファインチューニングが活用される
- KG支援LLM解釈可能性では知識追跡とエンティティ関連性分析が重要な手法となる
# 6. Challenges in KG-enhanced LLMs
- 知識獲得において知識カバレッジ不足・構築コスト・マルチモーダル統合の課題がある
- 知識理解では自然言語セマンティクスとの不整合、知識の競合・冗長性、時間的・動的知識モデリングの困難さがある
- 知識適用ではタスク適応性の限界とリアルタイム推論効率の低さが問題
- 知識説明可能性では推論チェーンの不透明性と知識来歴の不明確さが課題
# 7. Collaborative LLMs and KGs (LKC)
- 協調的知識表現ではKGのLLMへの統合、共同訓練・最適化、動的知識選択などの手法がある
- 協調的推論ではKGベース共同推論（QA-GNN、GreaseLM等）、エージェント兼KG役割、動的KGインタラクションが行われる
- Think-on-GraphやGenerate-on-Graphは解釈可能なステップワイズ推論を実現
- AgentTuningによりLLMがKGをアクティブ環境として扱うエージェント能力が強化される
# 8. Challenges in Collaborative LLMs and KGs
- 統一知識表現では異種データ融合の複雑さとセマンティック表現の一貫性問題がある
- リアルタイム性ではKGの更新遅延、LLMの静的知識、リアルタイムデータ融合の困難さが課題
- 双方向情報フローのオーバーヘッドと時間複雑性が実用上の障壁となる
- 知識競合解決とエラー伝播管理、人間中心評価フレームワークの未整備が残る課題
# 9. Overarching Discussion
- 全パラダイムに共通する課題として表現ギャップ・動的知識メンテナンス・説明可能性とのトレードオフがある
- 統合的研究アプローチによりLEK・KEL・LKC全ての進展が期待される
# 10. Future Directions
- 知識リフレクションと動的更新により適応的KGの開発が期待される
- マルチモーダルKGと言語モデルの統合が次世代AI構築の鍵となる
- 時間的推論の改善によりイベントシーケンスや因果関係の理解が向上する
# 11. Applications
- 医療分野では質問応答・会話エージェント・疾患研究支援にKG-LLM融合が活用される
- 産業分野では品質テスト・故障診断・プロセス最適化に応用される
- 教育分野では学習コンテンツの構造化と個別化推薦が実現される
- 金融分野ではリスク管理・詐欺検出・投資アドバイスに活用される
- 法律分野では法的質問応答・判例予測・文書生成が支援される
# 12. Conclusion
- KEL・LEK・LKCの3アプローチは構造化知識と言語モデルの強みを効果的に組み合わせる
- リアルタイム知識更新の効率性とクロスモーダル学習における表現一貫性が主要課題として残る
評価
# 新規性
- 知識グラフ（KG）と大規模言語モデル（LLM）の融合に関する3つの統合戦略（KEL: KG強化型LLM、LEK: LLM強化型KG、LKC: 協調型LLM-KG）を体系的に分類・レビューした包括的なサーベイ論文
- 既存のサーベイがKGによるLLM強化（KEL）に偏重している点を指摘し、LLMによるKG構築・補完・推論への貢献（LEK）および双方向協調（LKC）を詳細に探求
- 各統合パラダイムにおける課題を体系的に整理し、将来の研究方向（知識の動的更新、マルチモーダルKG統合、時間的推論など）を提示
# 言及されている全ての関連研究との相違点
- Zhang et al. (2024b): LLMの幻覚現象の分布分析に焦点→本論文はKG統合による幻覚軽減アプローチを包括的にレビュー
- Liao and Vaughan (2023): LLMの透明性問題を指摘→本論文はKGによる解釈可能性向上の具体的手法を検討
- GPT-NER (Wang S. et al., 2023): シーケンスラベリングをテキスト生成タスクに変換→本論文は複数のNER手法を統合的に比較
- TOPT (Zhang et al., 2024a): タスク指向事前学習モデル→本論文はより広範なKG構築手法の文脈で位置づけ
- Graphusion (Yang et al., 2024d): エンティティ統合・競合解決に焦点→本論文は科学的KG構築の一手法として分類
- SF-GPT (Sun et al., 2025): 知識トリプル抽出のための3モジュール使用→本論文はKG構築全体のフレームワークで比較
- BertNet (Hao et al., 2022): 事前学習LMからの関係抽出→本論文は関係抽出手法群の一つとして位置づけ
- CDLM (Caciularu et al., 2021): 動的グローバルアテンションによる文書間言語モデリング→本論文は長距離依存性処理の課題として言及
- DREEAM (Ma et al., 2023): メモリ効率的な証拠情報活用→本論文は関係抽出手法の進歩として分類
- EventKG (Gottschalk and Demidova, 2018): イベントKGの基盤→本論文はイベント抽出・生成の文脈で引用
- EvIT (Tao et al., 2024): イベント指向インストラクションチューニング→本論文はLLMによるイベント抽出手法として分類
- STAR (Ma M. D. et al., 2024): LLMによる最小シード例からのデータ生成→本論文はイベント抽出のデータ拡張手法として位置づけ
- ReFinED (Ayoola et al., 2022): 効率的なエンドツーエンドエンティティリンキング→本論文はEL手法の代表例として引用
- ChatEL (Ding Y. et al., 2024): LLMを活用した3段階ELフレームワーク→本論文はELにおけるLLM活用の進展として分類
- UniMEL (Liu Q. et al., 2024): マルチモーダルELフレームワーク→本論文はマルチモーダル統合の課題と機会として言及
- Zheng L. et al. (2024): 適応的マルチモーダルデータ拡張→本論文は共参照解決の手法として分類
- Min et al. (2024): 文書間イベント共参照解決の協調アプローチ→本論文はLLMと小規模モデルの協調手法として位置づけ
- Nath et al. (2024): 原則ベースのイベントクラスタリング→本論文は自己回帰LLMによる推論手法として分類
- Pretrain-KGE (Zhang Z. et al., 2020): 事前学習モデルからの知識埋め込み→本論文はKG埋め込み強化の基盤手法として引用
- LMKE/zrLLM (Wang X. et al., 2022; Ding Z. et al., 2024): 言語モデルによる知識埋め込み→本論文はロングテールエンティティ表現の手法として分類
- kNN-KGE (Wang P. et al., 2023): k近傍法によるエンティティ分布補間→本論文はKG埋め込み手法として位置づけ
- AutoAlign (Zhang R. et al., 2023): 述語近接グラフによる自動アラインメント→本論文はKGアラインメント手法として分類
- TransE (Bordes et al., 2013): エンティティ埋め込みの基盤手法→本論文はアラインメント計算の基礎として引用
- LLM-Align (Chen X. et al., 2024): ヒューリスティックによる属性選択とマルチラウンド投票→本論文は幻覚軽減手法として言及
- LLMEA (Yang et al., 2024b): 埋め込み類似度と編集距離の組み合わせ→本論文はLLM推論能力活用手法として分類
- ProLINK (Wang K. et al., 2024): 低リソース帰納推論のためのプロンプトフレームワーク→本論文はKG補完のプロンプト工学として位置づけ
- TAGREAL (Jiang P. et al., 2023): 自動クエリヒント生成と情報検索→本論文はPLMによる知識検出手法として分類
- PPT-based TKGC (Xu et al., 2023): プロンプトベース事前学習言語モデル→本論文は時間的KG補完手法として位置づけ
- MEM-KGC (Choi et al., 2021): マスク言語モデルによるKG補完→本論文はマスキング手法の代表例として分類
- Choi and Ko (2023): 新規エンティティのための統一学習→本論文はオープンワールドKGC手法として位置づけ
- MT-DNN (Choi and Ko, 2023): マルチタスク学習ネットワーク→本論文はKG補完のマルチタスク学習として分類
- LP-BERT (Li et al., 2023): MLM/MEM/MRMのマルチタスク学習→本論文はKG補完手法として位置づけ
- Kim et al. (2020): 関係予測と関連性ランキングの統合→本論文はマルチタスク学習の例として分類
- KG-BERT (Yao et al., 2019): KGトリプルをテキストシーケンスとして符号化→本論文はテキスト表現とグラフ埋め込みの統合手法として位置づけ
- SimKGC (Wang L. et al., 2022): コントラスト学習によるエンティティ表現強化→本論文はKG補完手法として分類
- Shen et al. (2022): 言語モデルと構造知識の確率的最適化→本論文はセマンティック表現最適化手法として位置づけ
- MADLINK (Biswas et al., 2024): アテンションベースのエンコーダ・デコーダ→本論文はKG構造とテキスト記述の統合手法として分類
- Wang B. et al. (2021): シャムネットワークによる構造化表現学習→本論文は組み合わせ爆発回避手法として位置づけ
- Saxena et al. (2022): シーケンス・ツー・シーケンスによるKGリンク予測→本論文はseq2seq手法として分類
- GenKGC (Xie et al., 2022): KG補完のseq2seq生成タスク変換→本論文は生成的アプローチとして位置づけ
- BERTRL (Zha et al., 2022): 事前学習LMによる帰納関係予測→本論文はパス学習手法として分類
- KRST (Su et al., 2023): 信頼性の高いパスの符号化→本論文は帰納関係予測の説明可能性向上手法として位置づけ
- Zhang M. et al. (2024): LLM強化埋め込みフレームワーク→本論文はKGエラー検証手法として分類
- KGValidator (Boylan et al., 2024): 生成モデルによるKG検証フレームワーク→本論文は外部知識ソースとの整合性検証手法として位置づけ
- KC-GenRe (Wang Y. et al., 2024): KGC再ランキングタスクの候補ランキング問題への変換→本論文は知識強化制約推論手法として分類
- Mou et al. (2024): GPT-4による自己反省モデル→本論文はKGC誤り修正の反省メカニズムとして位置づけ
- ReLMKG (Cao and Liu, 2023): 言語モデルとGNNによる複雑質問推論→本論文はKG推論手法として分類
- KG-Agent (Jiang J. et al., 2024): プログラミング言語によるマルチホップ推論設計→本論文はKG推論のエージェントアプローチとして位置づけ
- KG-CoT (Zhao et al., 2024): 小規模増分グラフ推論モデル→本論文はChain-of-Thought推論手法として分類
- GAP (Colas et al., 2022): マスキング構造による近傍情報取得→本論文はKG-to-text手法として位置づけ
- KGPT (Chen et al., 2020): 知識豊富テキスト生成モデル→本論文は知識グラウンデッド事前学習として分類
- Li et al. (2021): BFS戦略とマルチタスク学習によるKG線形化→本論文はKG-to-text手法として位置づけ
- BDMG (Du et al., 2024): 双方向多粒度生成フレームワーク→本論文は文レベル・グラフレベル生成手法として分類
- Lukovnikov et al. (2019): 事前学習トランスフォーマーによる単純QA→本論文はKGQA手法の基盤として位置づけ
- ChatKBQA (Luo H. et al., 2023): 生成・検索フレームワーク→本論文はKGQAの2段階アプローチとして分類
- GoG (Xu et al., 2024): 不完全KGでの生成・検索フレームワーク→本論文はLLMをエージェントとKGとして扱う手法として位置づけ
- DRLK (Zhang M. et al., 2022): 階層的QAコンテキスト特徴抽出→本論文は動的推論システムとして分類
- QA-GNN (Yasunaga et al., 2021): 言語モデルとKGによる共同推論→本論文はGNN強化モデルの代表例として位置づけ
- ConvKGYarn (Pradeep et al., 2024): LLMによる会話型KGQAデータセット生成→本論文はデータセット構築手法として分類
- AMIE (Galárraga et al., 2013): ルールベースシステム→本論文はセマンティック評価の限界として引用
- BLEU (Papineni et al., 2002): 表面テキスト類似度指標→本論文はKG-to-text評価の限界として言及
- ROUGE (Lin, 2004): 要約評価指標→本論文はセマンティック一貫性評価の限界として位置づけ
- KEPLER (Wang X. et al., 2021): 知識埋め込みと言語モデリングの統一→本論文はKG強化事前学習の代表手法として分類
- WKLM (Xiong et al., 2019): 弱教師付き事前学習目標→本論文は知識表現事前学習手法として位置づけ
- ERNIE (Zhang et al., 2019): 情報エンティティによる言語表現強化→本論文はKG統合事前学習の先駆的手法として分類
- E-BERT (Zhang D. et al., 2020): ハイブリッドマスキングによるeコマースタスク最適化→本論文はドメイン特化事前学習として位置づけ
- Multi-task QA Model (Su et al., 2019): XLNetによる汎化向上→本論文はマルチタスク事前学習として分類
- KALA (Kang et al., 2022): エンティティ認識チューニングによるドメイン適応→本論文は知識強化事前学習として位置づけ
- CoLAKE (Sun et al., 2020): 言語と知識の統一事前学習フレームワーク→本論文は入力表現強化手法として分類
- ERNIE 3.0 (Sun et al., 2021b): ハイブリッドアーキテクチャによる中国語NLP→本論文は大規模事前学習モデルとして位置づけ
- DKPLM (Zhang T. et al., 2022): 分解可能知識注入→本論文はロングテールエンティティ処理手法として分類
- JAKET (Yu et al., 2022): KGと言語の双方向強化→本論文は共同事前学習手法として位置づけ
- KG-T5 (Moiseev et al., 2022): KGトリプルでの直接事前学習→本論文は知識直接注入手法として分類
- SACKG (Chen S. et al., 2024): LLMによる大規模高精度KG構築→本論文はKG構築におけるLLM活用として位置づけ
- GNP (Tian et al., 2024): グラフニューラルプロンプティング→本論文はLLMとKGの橋渡し手法として分類
- K-BERT (Liu et al., 2020): ドメイン知識注入とノイズ制御→本論文は動的統合メカニズムとして位置づけ
- MRMKG (Lee et al., 2024): RGATによるMMKG符号化→本論文はマルチモーダル学習手法として分類
- KGEMT (Zheng J. et al., 2024): 粗粒度・細粒度学習の統合→本論文はマルチモーダルアラインメント手法として位置づけ
- KG-Retrieval NLU (Huang et al., 2022): マルチモーダルKG検索による自然言語理解→本論文はパラメータ効率的フレームワークとして分類
- LPAQA (Jiang et al., 2020): ラベル認識プロンプティング→本論文はプロンプト工学手法として位置づけ
- Mindmap (Wen et al., 2023): KGプロンプティングによるグラフオブソート→本論文は構造化知識外部化手法として分類
- ChatRule (Luo et al., 2023a): LLMによる論理ルールマイニング→本論文はKG推論のルール学習手法として位置づけ
- COK (Wang et al., 2023a): Chain-of-Knowledgeプロンプティング→本論文はコンテキストグラウンディング手法として分類
- REALM (Lewis et al., 2020): ニューラルリトリーバーと生成トランスフォーマーの統合→本論文は検索拡張事前学習の先駆として位置づけ
- RAG (Guu et al., 2020): 検索拡張生成→本論文は動的知識検索の基盤手法として分類
- KGLM (Youn and Tagkopoulos, 2022): 知識エンティティの生成プロセスへの埋め込み→本論文はエンティティ参照生成手法として位置づけ
- GraphRAG (Edge et al., 2024): グラフ推論によるRAG→本論文はグラフ構造化証拠推論として分類
- KG-RAG (Sanmartin, 2024): KG統合RAG→本論文は知識とクリエイティビティの橋渡しとして位置づけ
- ToG/ToG2.0 (Sun et al., 2023; Ma S. et al., 2024): Think-on-Graph→本論文はエージェントベース推論として分類
- FMEA-RAG (Razouk et al., 2023): 故障モード影響分析へのRAG応用→本論文は産業応用として位置づけ
- KoPA (Zhang Y. et al., 2023): 構造埋め込みの仮想知識トークン投影→本論文はコンテキスト強化手法として分類
- KGL-LLM (Guo et al., 2025): KG専用言語によるLLM-KG統合→本論文は精密なKG統合手法として位置づけ
- KP-PLM (Wang J. et al., 2022): 動的サブグラフ変換と二重自己教師付きタスク→本論文は知識プロンプティング手法として分類
- SPINACH (Liu S. et al., 2024): 専門家注釈KBQAデータセット→本論文はコンテキスト内学習手法として位置づけ
- OntoPrompt (Ye et al., 2022): オントロジーパスによるファインチューニング→本論文は知識駆動ファインチューニングとして分類
- KG-FIT (Jiang P. et al., 2024): KG派生信号によるファインチューニング→本論文は汎用的モジュラーフレームワークとして位置づけ
- GraphEval (Sansford et al., 2024): KGベースの幻覚評価フレームワーク→本論文は検証可能性向上手法として分類
- RoG (Luo et al., 2023b): KG推論による忠実なLLM推論→本論文は会話QAシステム手法として位置づけ
- GenTKG (Liao et al., 2023): 時間的KG上の生成予測→本論文は生成的KG補完手法として分類
- DIFT (Liu Y. et al., 2024): 識別指示によるファインチューニング→本論文はドメイン転移設定手法として位置づけ
- KELP (Liu H. et al., 2024): KGパス選択によるLLM事実精度向上→本論文は知識追跡手法として分類
- LAMA (Petroni et al., 2019): クローズスタイル質問による知識評価→本論文は事前学習モデル評価手法として位置づけ
- Knowledge-neurons (Dai et al., 2021): 事実知識保存ニューロンの特定→本論文は知識編集手法として分類
- MedLAMA (Meng et al., 2021): 医療ドメインベンチマーク→本論文はドメイン特化評価手法として位置づけ
- GenTKGQA (Gao et al., 2024): 時間的QAの2フェーズフレームワーク→本論文はサブグラフ検索と生成の統合として分類
- KGFlex (Anelli et al., 2021): KGとスパース因子分解の統合→本論文はエンティティ関連分析手法として位置づけ
- KagNet (Lin et al., 2019): 知識認識グラフネットワーク→本論文は常識推論手法として分類
- AUTOPROMPT (Shin et al., 2020): 勾配誘導検索による自動プロンプト生成→本論文はプロンプト自動生成手法として位置づけ
- BioLAMA (Sung et al., 2021): バイオメディカル知識プロービングベンチマーク→本論文はドメイン特化評価として分類
- LLM-facteval (Luo et al., 2023c): KGベースのLLM体系的評価フレームワーク→本論文は事実整合性評価手法として位置づけ
- LLM4EA (Chen S. et al., 2024): LLM生成注釈によるKGアラインメント→本論文はアクティブラーニング活用手法として分類
- JointGT (Ke et al., 2021): グラフ・テキスト共同表現学習→本論文は協調的知識表現手法として位置づけ
- CokeBERT (Su et al., 2021): コンテキストベースの動的知識選択・統合→本論文は関連性スコアリング手法として分類
- HKLM (Zhu et al., 2023): マルチフォーマット知識表現→本論文は多様な知識形式処理手法として位置づけ
- GreaseLM (Zhang X. et al., 2022): レイヤーワイズモダリティインタラクション→本論文はLMとGNNの緊密統合手法として分類
- JointLK (Sun et al., 2021a): 密な双方向アテンションモジュール→本論文は質問トークンとKGノードの同時インタラクション手法として位置づけ
- LKPNR (Runfeng et al., 2023): マルチホップ推論とLLMコンテキスト理解の統合→本論文はパーソナライズドニュース推薦手法として分類
- Think-on-Graph (Sun et al., 2023): LLMエージェントによるKGビームサーチ→本論文はエージェントベース推論手法として位置づけ
- KD-CoT (Wang K. et al., 2023): Chain-of-Thoughtと知識指向検証の統合→本論文は推論トレース検証手法として分類
- KSL (Feng et al., 2023): LLMによる外部KGからの知識検索→本論文はマルチホップ意思決定手法として位置づけ
- StructGPT (Jiang J. et al., 2023): 構造化データアクセスAPI構築→本論文はLLMと構造化データベースの直接インタラクション手法として分類
- AgentTuning (Zeng et al., 2023): LLMのエージェント能力強化→本論文は構造化デモンストレーションによるファインチューニング手法として位置づけ
- BERT-MK (He et al., 2019): デュアルエンコーダシステム→本論文はKG統合事前学習手法として分類
- Transformer (Vaswani, 2017): アテンションメカニズムの基盤→本論文はLLMアーキテクチャの基礎として引用
- n-grams (Brown et al., 1992): 統計的言語モデル→本論文はLLM発展の歴史的背景として位置づけ
- HMMs (Rabiner and Juang, 1986): 隠れマルコフモデル→本論文は言語モデル発展の前史として分類
- RNN/LSTM (Sherstinsky, 2020): 系列データ処理モデル→本論文はトランスフォーマー以前の手法として位置づけ
# 有効性
- 3つの統合パラダイム（KEL、LEK、LKC）それぞれについて、2019-2025年の主要研究を体系的にレビューし、各手法の有効性を比較分析
- 医療（CancerKG、MEG、DALK）、産業（BERT-BiLSTM-CRF、CausalKGPT）、教育（EduKG）、金融（FinDKG）、法律（LEGAL-LM）の5分野での実用応用事例を具体的に示し、KG-LLM統合の実践的価値を実証
- KG統合によるLLMの幻覚軽減、解釈可能性向上、事実整合性改善の効果を複数の研究から確認
# 信頼性
- Frontiers in Computer Science（査読付きオープンアクセスジャーナル）に2025年7月16日に出版、2025年3月10日受理、2025年6月25日承認
- 中国国家自然科学基金（NSFC、Grant No.62177007）の支援を受けた研究
- 引用文献は200以上、2019-2025年の最新研究を網羅的にカバーし、標準ベンチマーク（CoderEval、BLEU、ROUGE等）での評価結果に基づく分析
- 複数の研究機関（四川大学ピッツバーグ研究所、浙江財経大学東方学院）からの著者チームによる共同研究
- 外部査読者（ブラジル連邦技術教育センター、OriGen AI）による査読済み
和訳
![]()
1 / 1
100%
付箋を貼る場所をクリックしてください
