MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration
要約
# 1. Introduction
- LLMs（GPT-4等）は推論、計画、ツール使用、記憶などの高度な能力を示しており、マルチエージェント環境での評価フレームワークが必要とされている
- 本研究は競争ベースのベンチマークフレームワークを提案し、判断、推論、欺瞞、自己認識、協力、協調、合理性の7つの定量的指標でLLMを評価する
- 社会的推理ゲーム2種（Chameleon、Undercover）とゲーム理論シナリオ3種を用いて多様な環境を構築し、確率的グラフィカルモデル（PGM）でLLMの能力を強化
# 2. Related Work
- LLMの創発的能力（Chain of Thought、Tree of Thought、ReAct等）や、Auto-GPT、Generative Agents等のエージェント研究が進展している
- 既存研究はLLMの特定能力（交渉、協調等）を評価するが、マルチエージェントシステムでの包括的な定量的指標が欠如している
# 3. Benchmark
- 認知（判断・推論）、適応性（自己認識・欺瞞）、合理性、協力（協力・協調）の4側面から7つの能力を定義
- Chameleon（秘密の単語を推測するゲーム）とUndercover（アンダーカバーを見つけるゲーム）で認知・適応性を、Cost Sharing、Prisoner's Dilemma、Public Goodで合理性・協力を評価
- 競争ベースの評価設定を採用し、異なるLLMがGPT-4（防御側）に対して挑戦する形式で能力を比較
# 4. PGM-Aware Agent
- Bayesian統計的基盤を統合し、確率的グラフィカルモデル（PGM）でエージェント間の複雑な依存関係を表現
- 2ホップ理解メカニズムを設計し、自己の視点と他エージェントの立場からの分析を実行（Theory of Mindに関連）
- PGMはテキストベースの確率表現を採用し、LLMの入出力特性に適合させた構造的推論を可能にする
# 5. Experiments
- GPT-4-turboが最高性能（勝率57.2%）を示し、Llama-2-70B（26.5%）との間に3倍以上の能力差が存在
- GPT-o1は判断・自己認識・協力・協調で優秀、GPT-4は合理性が高く、GPT-3.5は協力的な傾向を示す
- PGM強化により全モデルで平均37%の能力向上を達成し、特に協調と合理性で顕著な改善（12.2%、13%）
# 6. Discussion: Generalization of Benchmark
- 本ベンチマークは参加者がローカルビューで活動し、認知・適応性・合理性・協力の能力を用いてグローバル情報を推論する設定に一般化可能
- 各指標は異なるシナリオに適用可能：判断は未知情報の評価、推論は視点の整合性、欺瞞は虚偽情報での影響力を測定
- ゲーム理論から導入した合理性は、エージェントのアウトカムを最大化する決定の割合として定義
# 7. Conclusion
- マルチエージェント環境でのLLM評価のためのベンチマークフレームワークを提案し、7つの重要な能力を定量的に評価
- GPT-4-turboが最も能力が高く、他モデルを3倍のマージンで上回る結果となった
- PGM強化によりモデルの固有能力が37%向上し、ベンチマークの有効性とPGMのLLM能力向上の可能性を実証
評価
# 新規性
- LLMを用いたマルチエージェントシステムを評価するための競争ベースベンチマークフレームワーク（MAgIC）の初の提案
- マルチエージェント環境におけるLLMの7つの重要能力（判断力、推論力、欺瞞力、自己認識、協力、協調、合理性）を定量的に測定する指標の設計
- 確率的グラフィカルモデル（PGM）をLLMと統合し、複雑なマルチエージェントシナリオにおける構造的推論能力を強化するPGM-Awareエージェントの提案
# 言及されている全ての関連研究との相違点
- Chain of Thought (Wei et al., 2022)との違い: 単一エージェントの推論強化ではなく、マルチエージェント間の相互作用における推論・判断能力を評価する点
- Tree of Thought (Yao et al., 2023a)との違い: 思考の木構造ではなく、PGMを用いて他エージェントの視点を含む多段階理解メカニズムを実現
- Graph of Thought (Yao et al., 2023b; Besta et al., 2023)との違い: 思考のグラフ構造化ではなく、マルチエージェント間の依存関係をPGMで明示的にモデル化
- ReAct (Yao et al.)との違い: 推論と行動の連携ではなく、競争・協力環境での戦略的意思決定能力を評価
- API-bank (Li et al., 2023b)との違い: ツール使用能力ではなく、社会的認知能力（欺瞞、協調など）を測定
- ToolLLM (Qin et al., 2023)との違い: ツール活用フレームワークではなく、マルチエージェント環境での対人能力評価
- Reflexion (Shinn et al., 2023)との違い: 言語的強化学習ではなく、ゲーム理論シナリオでの合理的意思決定評価
- Phelps and Russell (2023)との違い: 経済的目標行動の調査ではなく、多様な社会的場面での包括的能力測定
- Auto-GPT (Richards, 2023)との違い: 単一エージェントのゴール達成ではなく、複数エージェント間の競争・協力能力評価
- Generative Agents (Park et al., 2023)との違い: シミュレーション環境での自律行動ではなく、定量的指標による能力評価に焦点
- CAMEL (Li et al., 2023a)との違い: エージェント間コミュニケーションの探索ではなく、ベンチマークによる能力の定量的比較
- Voyager (Wang et al., 2023)との違い: オープンワールド探索ではなく、社会的推論ゲームでの戦略的能力評価
- Liu et al. (2023) AgentBenchとの違い: マルチターンコンテキストでの評価ではなく、真のマルチエージェント相互作用能力を測定
- Wu et al. (2023) SmartPlayとの違い: ゲームでの推論・計画テストに加え、欺瞞・協力・合理性など社会的能力も測定
- Agashe et al. (2023)との違い: 協調能力のみでなく、7つの包括的能力を定量的指標で評価
- Fu et al. (2023)との違い: 交渉能力のみでなく、判断・推論・自己認識を含む多面的評価
- Abdelnabi et al. (2023)との違い: 熟議能力の評価ではなく、競争ベースで多様な能力を比較可能なフレームワーク提供
- Huang et al. (2024)との違い: 8つのゲーム理論シナリオでの分析に対し、社会的推論ゲームを含む5シナリオと7つの定量的指標を提供
- Gioacchini et al. (2024) AgentQuestとの違い: モジュラーベンチマークフレームワークではなく、マルチエージェント競争に特化した評価手法
- Oguntola et al. (2023) Theory of Mindとの違い: 内発的動機付けではなく、PGMによる明示的なToM構造の実装
- Baker et al. (2011)との違い: ベイズ的心の理論の純粋なモデル化ではなく、LLMとPGMの統合による実践的実装
# 有効性
- 7種類のLLM（GPT o1、GPT-4-turbo、GPT-4、GPT-3.5-turbo、Claude 2、PaLM 2、Cohere、Llama-2-70B）を包括的に評価し、最強モデル（GPT o1）と最弱モデル（Llama-2-70B）間で3倍以上の能力差を定量的に確認
- PGM強化により全モデルの能力が平均37%向上し、勝率も全シナリオで6.57%向上することを実証
- 提案した7つの指標から算出されるレーダーチャート面積と実際の勝率が直接相関することを確認し、指標の有効性を検証
- 5つのシナリオ（Chameleon、Undercover、Cost Sharing、Prisoner's Dilemma、Public Good）で100以上のケースを収集し、多様な環境での評価を実現
- PGM-Awareエージェントが判断力で8.72%、推論力で約5%、欺瞞力で約6%、協調で12.2%、合理性で13%の向上を達成
# 信頼性
- データの規模・質について: 5つのシナリオで各20-21の競争設定を用意し、合計100以上のテストケースで評価。バイアス軽減のため200回のGPT-4同士のシミュレーションにより公平な勝率設定を選定
- 再現性について: 全LLMの温度パラメータを0に設定してランダム性を低減。コードとデータをGitHubで公開予定（https://github.com/cathyxl/MAgIC）
- 統計的妥当性について: PGM-AwareエージェントとバニラLLMの比較にt検定を実施し、7つの能力のうち3-4つでp値0.05未満の有意差を確認
和訳
![]()
1 / 1
100%
