FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
要約
# 1. Introduction
- LLMの事前学習は自己教師あり学習（次トークン予測）で行われ、計算資源の大部分がこの段階で消費される
- 指示チューニング（instruction-tuning）により指示追従能力を向上させるが、既存のデータセットは規模が小さい、狭いタスク範囲、またはフロンティアモデルの表面的な模倣にとどまる問題がある
- FineInstructionsは約1800万の実ユーザークエリから作成した指示テンプレートを使用し、事前学習文書を数十億規模の合成指示・回答ペアに変換するパイプラインを提案
- この合成データにより、従来の自己教師あり事前学習ではなく、指示チューニング形式でLLMをゼロから事前学習可能
- 標準ベンチマークで標準的な事前学習や他の合成事前学習手法を上回る性能を実証
# 2. Related Work
- LLM事前学習への合成データ活用、文書フィルタリング、データ混合比の再重み付けなど様々なアプローチが提案されている
- 文書を指示・回答ペアに変換したり、低品質文書を高品質に言い換える手法が最近研究されている
- 指示テンプレートを用いたデータセット作成は一般的だが、既存手法は手作業や少数のテンプレートに限られ多様性に欠ける
- 本研究は約1800万のテンプレートを自動生成・具体化することで、既存手法を大幅に上回る規模と多様性を実現
# 3. Methods
- 実ユーザークエリを汎用的な指示テンプレート（<fi></fi>タグで変数化）に変換するQuery Genericizer Modelを訓練
- 文書と指示テンプレートのマッチングにはBGE-M3埋め込みモデルを微調整し、FAISSインデックスで効率的な検索を実現
- 長文書の異なる箇所をカバーするため、Gaussian Poolingレイヤーを導入し複数のローカル埋め込みを生成
- マッチした文書・テンプレートペアに対し、Instantiator Modelで指示を具体化し、文書から回答を抽出
- Flow Judgeモデルによる品質評価・フィルタリングで高品質なデータセットを確保
# 4. Experimental Setup
- IPT（23Bトークン）とNemotron-CC（300Bトークン）の2つのコーパスを使用し、公平なトークン数での比較実験を実施
- ベースラインとして標準事前学習、WRAP（言い換え）、Nemotron-CC Q&A、IPT等と比較
- 評価にはMixEval、MT-Bench-101、AlpacaEvalの3つのLLM-as-judge形式のベンチマークを使用
- 1.8Bパラメータモデルを8×H100 GPUで訓練
# 5. Results
- FineInstructionsはMixEvalでIPTコーパスに対し約69%、Nemotron-CCに対し約39%の相対的改善を達成
- AlpacaEvalでは全ベースラインに対して一貫して勝率が高く、オープンエンドな現実的タスクで優れた性能
- MT-Bench-101でも最高スコアを達成
- 300M、1.8B、7Bパラメータモデル全てで、同等の計算予算下でFineInstructionsが最高性能を示した
# 6. Discussion
- 生成された指示の多様性分析：430万の一意なテンプレートが使用され、単一テンプレートの使用率は0.09%以下
- 判定・フィルタリング段階の追加により、特にAlpacaEvalで性能が向上
- 課題として、複雑なテンプレートのマッチングと具体化が困難、長尾の現実的知識タスクを評価するベンチマークが不足
- 指示・回答形式での事前学習は長文回答を生成する傾向があり、対数確率ベースの評価には不向き
# 7. Conclusion
- FineInstructionsは実ユーザークエリをテンプレート化し、大規模な分布内合成データを生成する効果的なパイプラインを提供
- 従来の自己教師あり次トークン予測ではなく、教師あり指示整合形式でのLLM事前学習を可能にした
- 下流の使用パターンにより近いデータ形式への変換により、知識吸収効率が向上することを実証
評価
# 新規性
- 約1800万件の実ユーザークエリから抽出した指示テンプレートを用いて、事前学習規模（10億以上のペア）で合成指示-回答データを生成するFineInstructionsパイプラインを提案
- 従来の事前学習（次トークン予測）ではなく、指示チューニング形式のデータのみで事前学習を行う「教師あり事前学習」アプローチを実現
- 文書全体をカバーするためのGaussianプーリング層を持つTemplate⇔Document Matching Embedding Modelを開発し、長文書の異なるセクションから複数の関連テンプレートを効率的に検索
# 言及されている全ての関連研究との相違点
- Raffel et al., 2020 (T5)との違い: 従来のテキストtoテキスト変換タスクではなく、実ユーザークエリベースのテンプレートを使用
- Brown et al., 2020 (GPT-3)との違い: 自己教師あり事前学習ではなく、合成指示-回答ペアによる教師あり事前学習を採用
- Ouyang et al., 2022 (InstructGPT)との違い: 指示チューニングを小規模データで行う従来手法と異なり、事前学習規模で実施
- Wei et al., 2021 (FLAN)との違い: 手作業で作成した少数のタスクテンプレートではなく、1800万件のユーザー由来テンプレートを使用
- Sanh et al., 2021 (T0)との違い: 学術NLPタスク変換ではなく、実ユーザークエリに基づく多様なテンプレートを利用
- Mishra et al., 2022 (Natural Instructions)との違い: 限定的なタスクテンプレート数に対し、大規模なテンプレートセットで多様性を確保
- Taori et al., 2023 (Alpaca)との違い: フロンティアモデルの蒸留ではなく、人間が書いた文書から抽出した回答を使用
- Mukherjee et al., 2023 (Orca)との違い: 表面的な模倣ではなく、文書に根拠を持つ回答を生成
- Honovich et al., 2022 (Unnatural Instructions)との違い: LLM生成のみに依存せず、実文書からの抽出を主体とする
- Gudibande et al., 2023との違い: 独自モデルの模倣問題を回避し、文書由来の知識を活用
- Cheng et al., 2024 (IPT: Instruction Pre-Training)との違い: 学術NLP Q&Aデータセットに基づく合成器ではなく、実ユーザークエリ由来のテンプレートを使用し、スタンドアロンの質問-回答ペアを生成
- Maini et al., 2024 (WRAP)との違い: 文書の言い換えではなく、指示-回答形式への変換で効率的な知識吸収を実現
- Su et al., 2024 (Nemotron-CC)との違い: 文書に付加するQ&Aではなく、独立した指示-回答ペアを生成し、より現実的なタスク分布を実現
- Gunasekar et al., 2023 (Phi: Textbooks Are All You Need)との違い: 教科書的な合成データではなく、実ユーザーの多様なクエリを反映したデータを生成
- Ben Allal et al., 2024 (Cosmopedia)との違い: 合成文書生成ではなく、既存文書からの知識抽出を主体とする
- Köksal et al., 2024 (LongForm)との違い: 文書から逆方向に指示を生成するアプローチに対し、テンプレートマッチングによる順方向生成を採用
- Bach et al., 2022 (PromptSource)との違い: 手作業のプロンプトテンプレートではなく、自動抽出・汎化された大規模テンプレートを使用
- Wang et al., 2022a (Self-Instruct)との違い: LLMによる自己指示生成ではなく、実ユーザークエリからのテンプレート抽出を採用
- Narayan et al., 2024 (Cookbook)との違い: プログラム的テンプレートフレームワークに対し、ユーザークエリ由来の自然言語テンプレートを使用
- Ge et al., 2024との違い: ペルソナベースの合成データ生成における多様性問題をテンプレート使用で解決
- Yu et al., 2023との違い: LLMプロンプトのみによる合成データの多様性制限をテンプレートで克服
- Penedo et al., 2023; 2024 (RefinedWeb/FineWeb)との違い: 文書フィルタリングではなく、フォーマット変換による質向上
- Li et al., 2024b (DataComp-LM)との違い: データ混合の最適化ではなく、データ形式の変換に焦点
- Ratner et al., 2017 (Snorkel)との違い: 弱教師ありの考え方を応用しつつ、指示テンプレートとモデルでラベル付けを実施
# 有効性
- MixEvalでIPTデータセットに対して約69%、Nemotron-CCに対して約39%の相対的性能向上を達成
- AlpacaEvalにおいて全ての比較手法に対して一貫して高い勝率（最大76.1%）を記録
- MT-Bench-101においても他の全手法より高いスコアを達成（Nemotron-CCコーパスで3.9）
- 知識重視（MixEval）と自由回答（AlpacaEval、MT-Bench-101）の両ベンチマークで一貫した汎化性能を実証
- 300Mパラメータモデルが1.8Bモデルと同等以上、1.8Bモデルが7Bモデルと競争力のある性能を達成し、効率的な小規模モデル学習が可能
- 430万件のユニークな指示テンプレートから10.8億件の指示を生成し、単一テンプレートの使用率は最大0.09%という高い多様性を確保
- ジャッジング・フィルタリング段階の追加により、特にAlpacaEvalでさらなる性能向上を確認
# 信頼性
- データ規模: 約3000億トークン（Nemotron-CC）と約230億トークン（IPT）の2つの大規模コーパスで検証
- 再現性: コード、訓練モデル、10億以上の合成指示-回答ペアのデータセットをHugging Faceで公開
- 統計的妥当性: トークン数を揃えた公平な比較実験を実施し、複数のベンチマーク（MixEval Standard/Hard、MT-Bench-101、AlpacaEval）で一貫した結果
- 評価の信頼性: 人間の判断と相関が高いと報告されているLLM-as-judgeベースのベンチマークを使用（GPT-5 mini、GPT-4-Turbo）
- モデルスケール検証: 300M、1.8B、7Bパラメータの3つのモデルサイズで一貫した傾向を確認
- 合成データの品質管理: 回答の80%以上を元文書からの抜粋とし、Flow Judge（3.8Bパラメータ）によるフィルタリングでスコア4以上のペアのみを採用
- 有害コンテンツ除去: OpenAI Moderation APIによるフィルタリングとTulu 3の手順に従ったベンチマーク汚染除去を実施
和訳
![]()
1 / 1
100%
