The Role of Roles: Are LLMs Behavioural in Information Systems Decision-Making?
要約
# 1. Introduction
- LLMは組織のワークフローに組み込まれ、意思決定ツールや人間行動の代理（シリコンサンプル）として機能している
- LLMが人間のように振る舞うか、それとも意思決定を改善できるかは、プロンプトエンジニアリングによる役割割り当てに依存する
- 本研究では、ChatGPTに「人間」または「AI」の役割を割り当てることで、情報システム（IS）文脈での意思決定にどのような影響があるかを調査
# 2. Study Background
- シリコンサンプルとは、人間の行動を模倣・説明・予測しようとする合成データセットである
- LLMは消費者行動、倫理的判断、人口統計特性のシミュレーションにおいて人間と類似した反応を示すことが先行研究で確認されている
- IS研究では、意思決定支援と行動的リアリズムの両方が重要であり、LLMがバイアスを再現するか軽減するかが問われている
- 二重過程理論（System 1：直感的/System 2：熟考的）を拡張し、LLMの役割フレーミングによる意思決定スタイルの変化を検討
# 3. Research Design and Model
- 3つの実験を設計：(1)フィッシング検出、(2)製品発売の意思決定、(3)ITプロジェクト管理
- ChatGPTに「人間」（学生、株主、プロダクトマネージャー）または「AI」（意思決定支援システム）の役割を割り当て
- 人間役割では直感的・ヒューリスティック的推論を、AI役割では分析的・一貫性のある推論を期待
- 温度設定（0と1）、GPTバージョン（GPT-3.5、GPT-4、GPT-4-1106）の違いも検討
# 4. Experiments and Results
- 研究1（フィッシング検出）：AI役割は人間役割より一貫して高い警戒度を示し、フレーミングや文脈効果の影響を受けにくい
- 研究2（製品発売）：被害者視点では罪悪感が高まり発売を控える傾向、株主視点では発売を優先。AI役割は感情的影響を受けにくい
- 研究3（ITプロジェクト管理）：知覚されたコントロールが高いとプロジェクト継続を選択。AI役割はメッセンジャーの敵対性/協調性による影響が少ない
- 全体として、AI役割を割り当てるとLLMの意思決定は一貫性が高まり、行動バイアスの影響が軽減される
# 5. Findings
- AI役割ではChatGPTはより慎重で一貫した評価を行い、フィッシングメールの詳細な分析を実施
- 人間役割では行動バイアス（フレーミング効果、罪悪感、知覚コントロール）の影響を受けやすい
- AIは感情的操作への感受性が低く、罪悪感のような人間特有の感情に左右されない
- LLMは人間のような感情反応を模倣できるが、実際の感情経験なしにシミュレートしている
# 6. Discussion
- 役割フレーミングは二重過程理論の外的活性化メカニズムとして機能し、LLMの推論スタイルを切り替える
- 人間役割ではSystem 1的（ヒューリスティック・バイアス傾向）、AI役割ではSystem 2的（分析的・一貫性）な出力を生成
- LLMはIS研究における行動実験のパイロットテストや予備実験のプラットフォームとして有用
- プロンプトの微妙な違い（例：「you work for」vs「you are an LLM used by」）が意思決定結果に大きく影響
# 7. Implications for Practice
- 洗練されたプロンプトエンジニアリングにより、AIを単なる自動化ツールから協力的パートナーに変換可能
- LLMにAI役割を割り当てることで認知バイアスを検出・軽減し、意思決定の精度と効率を向上
- 組織は人間役割とAI役割の出力差を比較することで、意思決定プロセスの行動的脆弱性を特定可能
- 役割ベースのシミュレーションにより、デバイアス介入やテクノロジー投資の優先順位を判断できる
# 8. Conclusion
- 役割プロンプトはLLMを人間バイアスの模倣と一貫した分析的意思決定の間で切り替えることが可能
- プロンプトエンジニアリングはIS文脈でAI行動を形成する重要なツールである
- 理論的貢献：(1)役割中心の意思決定パラダイム、(2)AI支援意思決定における相互作用、(3)人間行動のエミュレーション
- 限界：テキストベースLLMは統計的規則性に基づいており、真の感情や社会的認知を持たない
- 今後の研究課題：異なるLLMモデル間の一般化、より多様な組織的シナリオでの検証、AI-人間協調の動態
評価
# The Role of Roles: Are LLMs Behavioural in Information Systems Decision-Making?
## 論文評価レポート
### 基本情報
- **著者**: Nazmiye Guler, Michael Cahalane, Samuel N. Kirshner, Richard Vidgen
- **所属**: ニューサウスウェールズ大学 情報システム・テクノロジーマネジメント学部
- **ジャーナル**: Australasian Journal of Information Systems, 2025, Vol 29
- **受理**: 2024年12月5日投稿、2025年8月12日受理
---
## 1. 新規性評価
### 革新的な点
1. **IS文脈でのシリコンサンプル研究の先駆け**
- 政治学、マーケティング、心理学ではLLMのシリコンサンプル研究が進んでいるが、行動IS研究での検証は本研究が初
- IS特有の意思決定文脈（フィッシング、製品発売、プロジェクト管理）での検証
2. **役割付与（Role Assignment）の体系的検証**
- プロンプトエンジニアリングにおける役割付与がLLMの意思決定スタイルに与える影響を実証
- 「人間役」と「AI役」という二項対立的なフレーミングの効果を定量的に示した
3. **二重過程理論のLLMへの拡張**
- 人間認知のためのSystem 1/System 2理論をLLMに適用
- LLMでは推論スタイルが「内発的」ではなく「外発的」にフレーム化されるという新たな理論的提案
### 学術的貢献度: ★★★★☆（4/5）
---
## 2. 方法論評価
### 強み
- **既存研究の再現設計**: IS分野の著名な実験（Goel et al. 2017, Lee et al. 2018, Nuijten et al. 2016）を基盤とした堅実な設計
- **サンプルサイズ**: N=880の十分な観察数
- **複数モデルの検証**: GPT-3.5、GPT-4、GPT-4-1106を比較
- **技術パラメータの制御**: 温度設定（0と1）、時期（GPT-4-1106リリース前後）の考慮
### 限界
- OpenAI Playgroundのみでの実験（他のLLM未検証）
- 2023年10月〜11月の短期間データ（モデルの進化による変化未検証）
- プロンプトの微細な変化に対する感度分析が限定的
### 方法論的妥当性: ★★★★☆（4/5）
---
## 3. 実用性評価
### 組織への応用可能性
| 応用領域 | 具体的示唆 | 実装難易度 |
|---------|----------|-----------|
| セキュリティ | フィッシング検出でAI役プロンプトを使用し、一貫性のある判断を実現 | 低 |
| 製品開発 | 意思決定支援でバイアスを軽減するためのプロンプト設計 | 中 |
| プロジェクト管理 | エスカレーション回避のためのAIアドバイザー活用 | 中 |
| 行動研究 | 人間役プロンプトでユーザー行動シミュレーション | 中 |
### ビジネスインパクト: ★★★★☆（4/5）
---
## 4. 批判的検討
### 潜在的課題
1. **生態学的妥当性**: 実験室設定と実際の組織環境との乖離
2. **一般化可能性**: 3つのIS文脈のみでの検証であり、他のドメインへの適用には追加検証が必要
3. **時間的制約**: LLMの急速な進化により、知見の陳腐化リスク
4. **倫理的考慮**: シリコンサンプルの使用に関する倫理ガイドラインの未整備
### 反論可能な点
- 「役割」の効果は、単なるプロンプトの詳細度の違いである可能性
- 二重過程理論の適用は比喩的であり、LLMの実際の処理機構との対応は不明
---
## 5. 将来研究への示唆
1. **他のLLMでの検証**: Claude、Gemini、Llamaなど
2. **縦断的研究**: モデルバージョン間での行動変化の追跡
3. **実フィールド実験**: 実際の組織環境での検証
4. **プロンプト最適化**: より細かい役割グラデーションの効果検証
5. **マルチエージェント設計**: 複数の役割を持つLLMの協調意思決定
---
## 6. 総合評価
| 評価項目 | スコア |
|---------|-------|
| 新規性 | ★★★★☆ |
| 方法論 | ★★★★☆ |
| 実用性 | ★★★★☆ |
| 明確性 | ★★★★★ |
| 影響力 | ★★★★☆ |
| **総合** | **★★★★☆（4.2/5）** |
### 総評
本研究は、LLMの意思決定行動における「役割」の影響を体系的に検証した意欲的な研究である。IS文脈でのシリコンサンプル研究の先駆けとして学術的価値が高く、プロンプトエンジニアリングの実務的示唆も豊富である。特に、LLMが「人間らしく振る舞う」ことと「信頼性の高い意思決定支援を行う」ことが、役割付与によって制御可能であるという発見は、組織でのLLM活用設計に重要な指針を提供する。
ただし、知見の一般化には追加研究が必要であり、LLMの急速な進化を考慮した継続的検証が望まれる。
---
## 推奨読者
- IS研究者（特に行動IS、意思決定支援システム）
- プロンプトエンジニアリング実務者
- 組織でのAI導入責任者
- LLM応用研究者
和訳
![]()
1 / 1
100%
