Risk or Chance? Large Language Models and Reproducibility in Human-Computer Interaction Research
要約
# 1 概要
- 大規模言語モデル（LLM）の普及がHCI研究の再現性にどのような影響を与えるかを探る
- LLMの採用による再現性の課題を過去の誤った実践とのアナロジーで考察（p-hackingとprompt-hacking、バイアス、データ分析のサポート、ドキュメンテーションと教育要件、コミュニティへの圧力など）
- それぞれのレンズのリスクとチャンスを議論し、LLMをHCI研究で使用する際の有効で再現可能な実践に貢献することを期待
# 2 研究ツールとしての大規模言語モデル
- LLMはニューラルネットワークを使って構築され、大量のテキストデータで学習される
- LLMはオートリグレッシブモデルであり、出力の再現性に課題がある
- LLMは一度の学習で、将来の態度や信念の変化を捉えられない（Value Lock-In）
- LLMにはデータセットに内在するバイアスがある（Training Bias）
- LLMは意図しないコンテンツを生成しやすい（Hallucination）
# 3 HCI研究の再現性への影響
- 今日の再現性の課題から学ぶ：p-hackingとprompt-hackingを繰り返さないために
- ユーザーエクスペリエンス研究全体のバイアス：LLMは特定の社会の視点を反映しがち
- 相互検証と分析サポートのためのLLM：過度な依存には注意が必要
- 新しい報告要件の定義とコミュニティの教育：LLMの使用に関する詳細な文書化を要求
- HCIの再現性に対する研究圧力のリスク：LLMの早期導入はベストプラクティスが確立される前に誤った実践を定着させる可能性
# 4 HCIにおける再現性のリスクとチャンス
- LLMはHCI研究のデータ分析を加速し、結果を普及させる機会を提供する
- LLMの構造、学習方法、頻繁な更新は一貫した結果を生むように設計されていないため、再現性に影響を与える可能性がある
- HCIコミュニティ内でのLLMの影響と研究の再現性への影響について議論を促す
# 5 具体的な提言
- LLMの採用にあたっては、再現性の課題を考慮し、LLMによって導入される類似の問題点を特定する
- 現在のベストプラクティスから学び、LLMの使用にもそれらを適用することを提唱する
- UXリサーチにおいて、必要に応じて複数のLLMを使用し、幅広い人間の視点を反映させる
- LLMの使用範囲、入力したプロンプト、具体的に使用したLLMとそのバージョンなど、詳細な情報を要求する文書化要件を確立する
- LLMの使用に関する課題（バイアス、幻覚、価値のロックインなど）を説明するアクセス可能な教育リソースを提供する
- 研究者や査読者は、LLMのトレーニングの透明性、異なるLLMの組み合わせ、直接的な人間の被験者報告との相互作用、および特定の活動やユースケースによる逸脱を批判的に検討する必要がある
- LLMの使用に関して認識されるプレッシャーについて、HCI研究室内外でコミュニケーションを取り、懸念に対処する
- 論文投稿要件の一部として、できるだけ早くベストプラクティスを開発、伝達、要求する
- ベストプラクティスについて査読者を教育し、LLMがバイアス、幻覚、価値のロックインなどの潜在的な落とし穴を考慮しつつ、ますます複雑で豊かな査読プロセスをサポートできるかどうかを評価する
# 6 結論
- LLMはHCI研究にとって重要な機会であると同時に、再現性の課題も提示している
- LLMの使用によるメリットを認識しつつも、慎重なアプローチが不可欠である
- HCIコミュニティ内でのLLMの影響と研究再現性への影響に関する一連の焦点を絞った議論を計画している
- AIツールを用いたHCI データ分析の再現性を維持することを目的とした、この分野の研究発表のための専門的な科学的プラットフォームの確立を模索する
評価
# 新規性
- LLMsの使用がHCI研究の再現性にどのように影響するかを探求している
- LLMsの使用に関連する再現性の課題を、過去から未来への (誤った) 慣行のアナロジーを通して検討している
- HCIコミュニティにおけるLLMsの研究と採用慣行に焦点を当てている
# 言及されている全ての関連研究との相違点
- LLMsがHCI研究の再現性に与える影響に特化している
- LLMsの使用に関連する様々な再現性の課題 (プロンプトハッキング、バイアス、データ分析のサポートなど) を網羅的に検討している
- HCIコミュニティにおけるLLMsの採用慣行に焦点を当てている点が独自性がある
# 有効性
- LLMsの使用がHCI研究の再現性に与える影響を多角的に分析している
- 過去の再現性の課題から学び、LLMsの使用におけるベストプラクティスを提案している
- LLMsの使用に関連する新しい報告要件を定義し、コミュニティの教育の必要性を指摘している
- LLMsがHCI研究の効率化と再現性向上の両方に役立つ可能性と、慎重な使用の必要性を議論している
# 信頼性
- 著者らはHCI分野の研究者であり、再現性の課題に精通している
- 過去の研究事例を適切に引用し、論拠としている
- LLMsの技術的特性と制限について詳細に説明し、その影響を考察している
- HCIコミュニティ内での議論の必要性を提起し、ベストプラクティス確立への道筋を示している
和訳
![]()
1 / 1
100%
