LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
要約
# 1. Introduction
- 自己教師あり事前学習技術がDocument AIコミュニティで顕著な進展を遂げており、フォームや学術論文などのレイアウト解析・キー情報抽出が可能になっている
- 既存のマルチモーダル事前学習モデルはテキストにMLMを使用するが、画像モダリティの事前学習目的関数が異なり（ピクセル再構成、領域特徴回帰など）、クロスモーダル整合学習に困難をもたらしている
- LayoutLMv3はテキストと画像の統一マスキング目的関数（MLM・MIM）と、Word-Patch Alignment（WPA）目的関数を提案し、CNNやFaster R-CNNに依存しない初のDocument AIマルチモーダルモデルとして、テキスト中心・画像中心の両タスクでSOTA性能を達成した
# 2. LayoutLMv3
- モデルはテキスト埋め込み（単語埋め込み＋1D位置・2Dレイアウト位置埋め込み）と画像埋め込み（線形パッチ投影、CNNを排除）を連結して統一マルチモーダルTransformerに入力する構造を採用
- 事前学習目的関数として、MLM（30%テキストトークンをスパンマスキング）、MIM（約40%画像トークンをブロックマスキングし離散VAEトークンを再構成）、WPA（テキスト単語に対応する画像パッチのマスク有無を予測する2値分類）の3つを統一的に使用
- セグメントレベルの2Dレイアウト位置を採用し、同一セグメント内の単語が同じ位置情報を共有することで意味的一貫性を向上させている
# 3. Experiments
- BASE（12層、768次元）とLARGE（24層、1024次元）の2サイズを構成し、IIT-CDIPデータセット（1100万文書画像）でRoBERTa重みを初期化して50万ステップ事前学習を実施
- テキスト中心タスクでは、FUNSD（フォーム理解）でF1=92.08、CORD（レシート理解）・DocVQA（文書VQA）でもSOTA達成。画像中心タスクでは、RVL-CDIP（文書画像分類）で96.17%、PubLayNet（文書レイアウト解析）でmAP=95.1を達成
- アブレーション実験により、線形画像埋め込み単体ではPubLayNetで損失が発散するが、MIM目的関数の追加で収束し、WPA目的関数がさらに全タスクで一貫した性能向上をもたらすことを確認
# 4. Related Work
- Document AIの事前学習は、テキストのみ（BERT/RoBERTa）→テキスト＋レイアウト（LayoutLM/BROS）→テキスト＋レイアウト＋画像（領域特徴/グリッド特徴/パッチ特徴）と進化してきた
- 画像モダリティの再構成的事前学習目的関数は、マスク領域モデリング（MRM）、マスクグリッドモデリング（MGM）、マスクパッチモデリング（MPM）の3種に分類され、LayoutLMv3は線形パッチ埋め込みにおけるMIMの有効性を初めて実証した
- クロスモーダル整合学習では、画像テキストマッチングによる粗粒度整合からUNITERの最適輸送ベースの細粒度整合まで様々な手法が存在し、LayoutLMv3はMIMのマスキング操作を自然に活用して整合/非整合ペアを構築する統一的手法を提案
# 5. Conclusion and Future Work
- LayoutLMv3はCNN/Faster R-CNNに依存せず、統一されたMLM・MIM・WPA目的関数でマルチモーダル表現を学習する、シンプルかつ汎用的なDocument AIモデルである
- テキスト中心・画像中心の両方のタスクで優位性と汎用性を実証し、今後はモデルのスケールアップやfew-shot/zero-shot学習能力の探究を計画している
# 6. Appendix
- 中国語版LayoutLMv3-Chineseを5000万ページの中国語文書で事前学習し、XLM-Rで初期化して構築
- EPHOIE（試験用紙ヘッダのVIEデータセット）において平均F1=99.21%のSOTA性能を達成し、中国語文書理解タスクへの有効性を実証
評価
# 新規性
- Document AIにおいて、事前学習済みCNNやFaster R-CNNバックボーンに依存せずに視覚特徴を抽出する初のマルチモーダルモデルであり、パラメータの大幅削減と領域アノテーションの不要化を実現した
- テキストモダリティのMLMと画像モダリティのMIMを統一的な離散トークン再構成目的関数として設計し、テキストと画像の事前学習目的関数の不一致を解消した
- Word-Patch Alignment（WPA）という新たな事前学習目的関数を提案し、テキスト単語と対応する画像パッチの間のきめ細かいクロスモーダルアライメントを、MIMのマスキング操作を自然に活用して学習する手法を確立した
- テキスト中心タスクと画像中心タスクの両方に対応する汎用的な事前学習モデルとして、Document AIにおけるマルチモーダルTransformerの視覚タスクへの汎用性を初めて実証した
# 言及されている全ての関連研究との相違点
- BERT [9]との違い: BERTはテキストモダリティのみを使用するが、LayoutLMv3はテキスト・レイアウト・画像の3モダリティを統一的に扱い、MLM・MIM・WPAの3つの目的関数で事前学習する
- RoBERTa [36]との違い: RoBERTaもテキストのみの事前学習モデルであり、LayoutLMv3はRoBERTaの重みで初期化しつつも、レイアウトと画像情報を追加して文書理解に特化した
- LayoutLM [54]との違い: LayoutLMはBERTにワードレベルの空間埋め込みを追加しFaster R-CNNの領域特徴を使用するが、LayoutLMv3はCNNを排除しリニアパッチ埋め込みを採用、セグメントレベルのレイアウト位置を使用する
- LayoutLMv2 [56]との違い: LayoutLMv2はCNNグリッド特徴（ResNeXt101-FPN）を使用し画像テキストマッチングでアライメントを学習するが、LayoutLMv3はリニアパッチ埋め込みに置き換え、WPAによるきめ細かいアライメントを実現した
- DocFormer [2]との違い: DocFormerはCNNグリッド特徴を使用しCNNデコーダで画像ピクセル再構成を行うが、LayoutLMv3はリニアパッチを使用し離散トークンの再構成でノイズの多い低レベル詳細ではなく高レベルレイアウト構造を学習する
- SelfDoc [31]との違い: SelfDocはFaster R-CNNの領域特徴を使用しマスクされた領域特徴の回帰を行うが、LayoutLMv3はリニアパッチと離散トークン分類を採用し、よりノイズが少なく学習しやすい目的関数を実現した
- UDoc [14]との違い: UDocはFaster R-CNNの領域特徴と対比学習・類似度蒸留でアライメントを学習するが、LayoutLMv3はCNNを排除しWPAでより自然なアライメント学習を行う
- TILT [40]との違い: TILTはOCR単語のバウンディングボックスをFaster R-CNNの領域提案として使用しU-Netを画像埋め込みに使うが、LayoutLMv3はリニアパッチ埋め込みでCNN依存を排除した
- StructuralLM [28]との違い: StructuralLMはセグメントレベルのレイアウト情報を活用するがテキストとレイアウトのみを使用する。LayoutLMv3は同じくセグメントレベルのレイアウト位置を採用しつつ画像モダリティも統合した
- BROS [17]との違い: BROSは相対的なレイアウト位置をエンコードするがテキストとレイアウトのみを使用する。LayoutLMv3は画像モダリティを追加し統一的な事前学習を行う
- LiLT [50]との違い: LiLTは言語非依存のレイアウトTransformerだがテキストとレイアウトのみを使用する。LayoutLMv3は画像モダリティを統合し、言語にも対応（中国語版も開発）
- FormNet [25]との違い: FormNetはフォーム内トークンの空間関係を活用するがテキストとレイアウトのみ。LayoutLMv3は画像モダリティを統合し汎用的なモデルを実現
- XYLayoutLM [15]との違い: XYLayoutLMはLayoutLMv2のアーキテクチャを採用しレイアウト表現を改善するがCNNグリッド特徴を使用する。LayoutLMv3はリニアパッチ埋め込みに置き換えた
- LAMBERT [13]との違い: LAMBERTはレイアウトを考慮した言語モデリングで情報抽出を行うが、LayoutLMv3は統一的なMLM・MIM・WPA目的関数でマルチモーダル表現を学習する
- LAMPRET [52]との違い: LAMPRETはレイアウトを考慮したマルチモーダル事前学習を行うが、LayoutLMv3はCNNを排除しリニアパッチと統一的目的関数で効率的に学習する
- ViT [11]との違い: ViTは画像認識のためのTransformerであり、LayoutLMv3はViTのリニアパッチ埋め込みに着想を得つつ文書画像のマルチモーダル理解に特化した
- ViLT [22]との違い: ViLTはCNNなしの軽量な視覚言語Transformerだが自然画像対象であり、MPMでは性能低下が報告された。LayoutLMv3は文書画像に特化しMIMの有効性を初めて実証した
- BEiT [3]との違い: BEiTは離散VAEによる視覚トークン再構成で画像のみを扱うが、LayoutLMv3はBEiTのMIMを文書のマルチモーダルTransformerに適応し、テキスト・レイアウトと統合した
- DiT [30]との違い: DiTはBEiTを文書画像に拡張した自己教師あり画像Transformerだが、LayoutLMv3はDiTの画像トークナイザを利用しつつテキスト・レイアウトモダリティも統合してマルチモーダル学習を行う
- DALL-E [43]との違い: DALL-Eはテキストから画像を生成する離散VAEモデルであり、LayoutLMv3はDALL-Eの離散VAEの概念に着想を得て画像トークンのラベルを生成する手法に活用した
- UNITER [5]との違い: UNITERは最適輸送に基づく単語-領域アライメントを提案したが、LayoutLMv3はMIMのマスキング操作を自然に活用したWPAでより効率的にアライメントを学習する
- LXMERT [48]との違い: LXMERTはクロスモダリティエンコーダ表現を学習するが領域特徴に依存する。LayoutLMv3はリニアパッチ埋め込みでCNN依存を排除した
- VL-BERT [47]との違い: VL-BERTは汎用的な視覚言語表現の事前学習を行うが領域特徴に依存する。LayoutLMv3はリニアパッチで文書に特化した
- X-LXMERT [6]との違い: X-LXMERTはマルチモーダルTransformerだが、LayoutLMv3は離散特徴の分類がノイズの多い連続特徴の回帰より学習しやすいという知見を活用した
- METER [12]との違い: METERはエンドツーエンドの視覚言語Transformerで離散トークン再構成のMPMを試みたが下流タスクで性能低下した。LayoutLMv3はリニアパッチ画像埋め込みでMIMの有効性を初めて示した
- Visual Parsing [57]との違い: Visual Parsingは自己注意画像エンコーダの注意重みに基づく視覚トークンマスキングを提案したが、単純なリニア画像エンコーダには適用できない。LayoutLMv3はブロックワイズマスキングでリニアパッチに対応した
- SOHO [19]との違い: SOHOは視覚辞書のマッピングインデックス予測でMGMを行うが、LayoutLMv3は離散VAEトークンによるMIMで文書画像のパッチレベル再構成を実現した
- ALIGN (Li et al.) [29]との違い: モメンタム蒸留による視覚言語表現学習を行うが別個の自己注意ネットワークに依存し計算コストが削減されない。LayoutLMv3は単一の統一Transformerで効率化した
- CogView [10]との違い: CogViewはテキストから画像生成のTransformerであり、LayoutLMv3はCogViewの注意計算の安定化手法を学習安定化に活用した
- SpanBERT [21]との違い: SpanBERTはスパン予測による事前学習改善を提案し、LayoutLMv3はSpanBERTのスパンマスキング戦略をMLMに採用した
- StrucTexT [32]との違い: StrucTexTはマルチモーダルTransformerによる構造化テキスト理解を行うが、LayoutLMv3は統一的な離散トークン再構成目的関数で事前学習しCNN依存を排除した
- TRIE [58]との違い: TRIEはテキスト読み取りと情報抽出のエンドツーエンドモデルだが、LayoutLMv3は大規模事前学習による汎用表現学習で幅広いタスクに対応する
- VIES [51]との違い: VIESは堅牢な視覚情報抽出のソリューションだが、LayoutLMv3は事前学習ベースのアプローチでより高い汎用性を持つ
- LayoutXLM [55]との違い: LayoutXLMは多言語の視覚リッチ文書理解のための事前学習だが、LayoutLMv3はCNNを排除した統一アーキテクチャで効率化しつつ中国語版も開発した
- XLM-R [7]との違い: XLM-Rは教師なしクロスリンガル表現学習モデルであり、LayoutLMv3-ChineseはXLM-Rの重みで初期化しつつレイアウト・画像モダリティを追加した
- Cascade R-CNN [4]との違い: Cascade R-CNNは高品質物体検出フレームワークであり、LayoutLMv3は文書レイアウト解析でCascade R-CNNの検出器にバックボーンとして統合された
- FPN [34]との違い: FPNは物体検出のための特徴ピラミッドネットワークであり、LayoutLMv3はTransformer層からの単一スケール特徴をFPN形式に変換して活用した
- Xcit [1]との違い: Xcitはクロス共分散画像Transformerであり、LayoutLMv3は解像度変換モジュールの設計に参考として活用した
- PixelCNN++ [45]との違い: PixelCNN++は画像ピクセル生成モデルであり、LayoutLMv3は画像ピクセル再構成がノイズの多い低レベル詳細を学習するという知見の根拠として引用した
- BART [27]との違い: BARTはシーケンスtoシーケンスの事前学習モデルであり、LayoutLMv3はBARTのスパンマスキング戦略を参考にMLMのマスキングに活用した
- VilBERT [37]との違い: VilBERTはタスク非依存の視覚言語表現の事前学習を行い物体ラベル分類によるMRMを使用するが、LayoutLMv3はパッチレベルの離散トークン再構成でCNN依存を排除した
# 有効性
- テキスト中心タスクにおいて、FUNSDで92.08 F1（従来SOTA 85.14から大幅改善）、CORDでbase・largeともにSOTAのF1スコアを達成し、フォーム・レシート理解タスクでの有効性を実証した
- 画像中心タスクにおいて、PubLayNetで全体mAP 95.1を達成し、ResNetやDiTなどのバックボーンを上回り、文書レイアウト解析でも優れた性能を示した
- RVL-CDIPでLayoutLMv2に対しbase modelで+0.19%、large modelで+0.29%の精度改善を達成しつつ、より単純な画像埋め込み（Linear vs. ResNeXt101-FPN）で実現した
- DocVQAでLayoutLMv3BASEがLayoutLMv2BASEのANLSスコアを78.08から78.76に改善し、LayoutLMv3LARGEはさらに83.37を達成して文書視覚質問応答での有効性を示した
- 中国語版LayoutLMv3-Chineseは、EPHOIEデータセットで平均F1スコア99.21%を達成し、多言語での有効性を実証した
- アブレーション実験により、MIM目的関数が画像中心タスクの学習安定化に不可欠であること、WPA目的関数が全タスクで一貫した改善をもたらすことを定量的に示した
- リニアパッチ画像埋め込みは0.6Mパラメータの追加のみで、CNN（例: ResNet-101の44M）に比べ極めて軽量でありながら高い性能を実現した
# 信頼性
- データの規模: 事前学習にIIT-CDIPデータセットの1,100万文書画像を使用し、中国語版は5,000万ページの文書で学習しており、大規模かつ多様なデータに基づいている
- 評価の網羅性: テキスト中心3タスク（FUNSD、CORD、DocVQA）と画像中心2タスク（RVL-CDIP、PubLayNet）の計5つの公開ベンチマークで評価しており、多面的な検証が行われている
- 再現性: コードとモデルが公開されており（https://aka.ms/layoutlmv3）、アーキテクチャと事前学習目的関数が簡潔なため再現が容易である
- 公正な比較: LayoutLMやLayoutLMv2と同じネットワークアーキテクチャ構成を採用し、公正な比較を実現している。ただしセグメントレベルとワードレベルのレイアウト位置の違いは明示的に注記されている
- アブレーション実験: 4つのモデルバリアント（#1〜#4）による体系的なアブレーション分析で各コンポーネントの寄与を分離して検証しており、主張の根拠が明確である
- 制約の明示: StructuralLMとのセグメントレベル位置の差異や、TILTの追加QAデータセット使用など、直接比較が困難な条件を正直に報告している
- base・largeの2モデルサイズで一貫した結果を示しており、モデルスケールに対するロバスト性が確認されている
和訳
![]()
1 / 1
100%
