Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction
要約
# 概要
- 本論文は、大規模言語モデル(LLM)を使った知識グラフ構築(KGC)の新しいフレームワーク"Extract-Define-Canonicalize (EDC)"を提案している。
- EDCは3つのフェーズからなる: オープン情報抽出、スキーマ定義、スキーマ正規化。これにより、事前定義されたスキーマの有無に関わらず、高品質なトリプルを抽出できる。
- パフォーマンス向上のため、Schema Retrieverを導入し、入力テキストに関連するスキーマ要素を取得する。
- 3つのKGCベンチマークでの評価により、EDCは事前にチューニングなしで、かつ従来手法よりも大幅に大きなスキーマで、高品質なトリプルを抽出できることを示した。
# 1. はじめに
- 知識グラフ(KG)は、構造化された知識表現で、グラフ構造を通じて相互に関連する情報を整理したものである。
- KGの構築(KGC)は本質的に困難で、これまでは人手に頼っていた。
- 最近のLLMを用いたKGC手法は、小規模でドメイン特化したシナリオに限定されている。スキーマ情報をプロンプトに含める必要があるため。
# 2. 背景
- 従来のKGCは、エンティティ発見、タイピング、関係分類などのサブタスクからなる「パイプライン」を用いていた。
- 最近はLLMの成功により、ゼロショット/少ショットのプロンプティングによりトリプルを生成するパラダイムに移行した。
- オープン情報抽出(OIE)は、事前定義されたスキーマを必要としない。LLMはOIEタスクで優れた性能を示す。
- 正規化手法は、ターゲットスキーマの有無によって異なる。クラスタリングベースの手法は過剰一般化の問題がある。
# 3. 手法:KGCのためのEDC
- EDCは、KGCを3つの連結されたサブタスクに分解する。
- フェーズ1:オープン情報抽出 - LLMを使って、入力テキストから自由にトリプルを抽出
- フェーズ2:スキーマ定義 - オープンKGによって誘導されるスキーマの各コンポーネントの定義をLLMにプロンプト
- フェーズ3:スキーマ正規化 - オープンKGを正規化し、冗長性と曖昧さを排除
- ターゲットスキーマの有無によって、2つの正規化方法がある:ターゲットアラインメントと自己正規化
- Schema Retrieverを導入し、入力テキストに関連するスキーマコンポーネントを効率的に検索
# 4. 実験
- EDCとEDC+Rの性能を評価するための実験をデザインした
- 3つのKGCデータセットを使用:WebNLG、REBEL、Wiki-NRE
- ターゲットアラインメントと自己正規化の両方の設定で、EDCはSOTAの手法を大幅に上回る
- Schema Retrieverの使用は、EDCのパフォーマンスを大幅かつ一貫して向上させることが示された
# 5. 結論
- EDC：知識グラフ構築のための柔軟で高性能なLLMベースのフレームワークを提案
- Schema Retriever：入力テキストに関連するスキーマコンポーネントを抽出するための学習済みモデル
- EDCとSchema Retrieverの有効性を実証する実験的証拠を提示
# A. Schema Retrieverの学習
- 正解の関係を持つテキストと、関連のない関係を区別するようにembeddingモデルをファインチューニングする
- 学習には、WikidataトリプルとWikipediaテキストをアラインメントして作成した大規模なデータセットTEKGENを使用
- WebNLG、REBEL、Wiki-NREのテストセットでSchema Retrieverの性能を評価し、異なる知識グラフの文脈での有効性を確認
# B. ターゲットアラインメントの詳細結果
## B.1 完全な結果
- EDCとEDC+RがWebNLG、REBEL、Wiki-NREのすべてのデータセットにおいて、すべての指標(Precision、Recall、F1)ですべての基準(Partial、Strict、Exact)でベースラインと同等以上の性能を示す
## B.2 反復精製の効果
- 反復精製は安定して結果を改善するが、収益逓減が見られるため、主な結果では1回の反復のみを報告
## B.3 KGCデータセットのアノテーションに関する議論
- EDCはRebelとWiki-NREのデータセットで、不完全なアノテーションのためにスコアラーにペナルティを課されている
- EDCは参照アノテーションとベースラインのGenIEに比べて、有意に多くのトリプルを抽出する傾向がある
- EDCの自動評価結果はベースラインを大幅に上回っており、抽出されたトリプルの数の差を考慮すると、実際のパフォーマンスはさらに大きい可能性がある
# C. 自己正規化の詳細結果
- オープンKGは意味的に妥当なトリプルを含むが、結果のスキーマ内に多大な冗長性がある
- EDCはオープンKGを正確に正規化し、CESIと比較してより簡潔で冗長性の低いスキーマを生成する
- EDCはCESIの過剰一般化の傾向を回避する
評価
# 新規性
- 本研究は大規模言語モデル(LLM)を用いて知識グラフ構築(KGC)を自動化するフレームワークExtract-Define-Canonicalize (EDC)を提案している。
- EDCは3つのフェーズからなる: オープン情報抽出、スキーマ定義、事後的正規化。これにより、事前定義された大規模なスキーマへの適合と、動的なスキーマ生成の両方に柔軟に対応できる。
- さらに、関連するスキーマ要素を検索する学習済みコンポーネントSchema Retrieverを導入し、LLMの抽出性能を向上させている。
# 言及されている全ての関連研究との相違点
- 先行研究ではLLMにスキーマ情報をプロンプトに含める必要があったが、大規模で複雑なスキーマではコンテキストウィンドウ長を超えてしまう問題があった。EDCではオープン情報抽出と事後的正規化によりこの問題を回避している。
- 従来の正規化手法と比べ、EDCはターゲットスキーマの有無にかかわらず適用可能であり、WordNetのような静的外部リソースではなくLLMが生成する文脈に即した意味的に豊かな情報を利用する。
- 埋め込み類似度のみに頼るのではなく、LLMに変換の妥当性を検証させることで、先行手法における過剰な一般化の問題を軽減している。
# 有効性
- 3つのKGCベンチマークにおいて、EDCはハイパーパラメータチューニング無しで、先行研究よりも有意に大きなスキーマで高品質のトリプルを抽出可能であることを実証した。
- ターゲットスキーマが与えられている場合、EDCは特化した学習モデルよりも優れた性能を示した。スキーマが与えられていない場合は、動的にスキーマを生成し正規化することができた。
- Schema Retrieverの使用により、EDCの性能がさらに大幅かつ一貫して向上することが示された。
# 信頼性
- 大規模で多様な関係タイプを持つデータセットWebNLG、REBEL、Wiki-NREを用いて評価を行っており、実世界のKGCタスクにおける複雑性を反映している。
- 自動評価だけでなく人手評価も行い、EDCが意味的に妥当で正しいトリプルを抽出できることを確認している。
- 複数の大規模言語モデル(GPT-4、GPT-3.5、Mistral-7b)でEDCを評価しており、提案手法の一般性を示している。
和訳
![]()
1 / 1
100%
付箋を貼る場所をクリックしてください
