Chart-Text: A Fully Automated Chart Image Descriptor
要約
- Chart-Textは、チャート画像のテキスト記述を完全に自動化するシステムで、チャートの種類を分類し、ラベルとテキストを検出・分類し、適切な情報を抽出します。システムは99.72%の分類精度と78.9%のデータ抽出精度を達成し、視覚障がい者にとってデジタルコンテンツのアクセシビリティを向上させます。関連研究の概要、データセット、提案手法、結果などが含まれます。
- 関連研究では、画像分類、物体検出、配置、OCRを活用してシステムを開発し、ChartSenseやScatteractなどのシステムが紹介されています。
- Chart-Textは、Matplotlibを使用して5000のトレーニング画像と1000のテスト画像を生成し、5つのチャートクラスの分類と7つのオブジェクト検出クラスを備えたデータセットを作成しました。
- Chart-Textシステムは、ディープラーニングベースの分類器と物体検出器からなり、MobileNetアーキテクチャを使用してチャートの分類を行い、Faster R-CNNを使用してテキスト位置の検出を行います。
- 分類器のトレーニングには、KerasとTensorflowを使用し、画像のリサイズ、正規化、転移学習などが行われました。一方、物体検出器のトレーニングには、Tensorflowの物体検出APIとInception-V2が使用され、最終的に300個の境界ボックスが出力されます。
- テキスト画像の水平方向への整列
- チャートからのテキスト情報の抽出
- 水平および垂直棒グラフのアルゴリズム
- 積み上げ水平および垂直棒グラフのアルゴリズム
- 円グラフのアプローチ
- 結果
- クラス分類と検出器の結果
- Grad-Camイメージと正規化混同行列
- 物体検出モデルの平均適合率
- 完全なチャートからのAlt-Textの精度
- 結論
- Chart-Textの紹介
- 深層学習ベースの物体検出モデル
- 幅広い応用可能性
- チャートの情報をテキストとして抽出する自動システム
- 例
- Chart-Textシステムによって生成されたAlt-Textの例
- この論文の一部には、様々な種類のグラフが含まれています。例えば、縦棒グラフ、横棒グラフ、円グラフ、積み上げ縦棒グラフがあります。
- また、他の研究についての参考文献も記載されています。
評価
Chart-Textは、チャート画像をテキスト記述に変換する自動化システムで、99.72%の分類精度と78.9%のデータ抽出精度を持つ。これは視覚障害者のデジタルコンテンツアクセシビリティを向上させる。関連研究は、画像分類、物体検出、配置、OCRを活用したシステムの開発に関するもので、ChartSenseやScatteractなどが紹介されている。
Chart-Textは、5000のトレーニング画像と1000のテスト画像をMatplotlibを用いて生成し、5つのチャートクラスと7つの物体検出クラスを持つデータセットを作成した。システムはディープラーニングベースの分類器と物体検出器を組み合わせ、MobileNetアーキテクチャとFaster R-CNNを使用してチャート分類とテキスト位置検出を行っている。
トレーニングプロセスではKerasとTensorflowが使用され、画像リサイズ、正規化、転移学習が行われた。物体検出器のトレーニングではTensorflowの物体検出APIとInception-V2が使用され、最終的に300個の境界ボックスが出力された。
システムはさまざまな種類のチャートからテキスト情報を抽出し、各チャートタイプ（水平および垂直棒グラフ、積み上げ棒グラフ、円グラフ）に対するアルゴリズムを使用する。
結果では、クラス分類と検出器の結果、Grad-Camイメージ、正規化混同行列、物体検出モデルの平均適合率、完全なチャートからのAlt-Textの精度が示されている。
結論では、Chart-Textの概要、深層学習ベースの物体検出モデル、広範な応用可能性、チャート情報をテキストとして抽出する自動システムの紹介がされている。具体的なAlt-Text生成の例も提供されている。
文書は縦棒グラフを含み、さらに他の研究に対する参考文献も提供しています。
和訳
![]()
1 / 1
100%
