VISIONGPT: LLM-ASSISTED REAL-TIME ANOMALY DETECTION FOR SAFE VISUAL NAVIGATION
要約
# 章1 はじめに
- コンピュータビジョンと機械学習の発展により、視覚障害者のための支援技術が大きく進歩してきた
- 物体検出や画像セグメンテーションの精度と速度が向上し、ドライビングや歩行など日常生活のさまざまな場面での安全性と移動性の向上に役立っている
- 動的な都市環境では視覚ナビゲーションに大きな課題があるが、ゼロショット物体検出やビジョン言語理解の技術が新たな可能性をもたらしている
- 本研究では、最新のビジョンLLMと軽量な物体検出を組み合わせ、視覚障害者のリアルタイムな異常検出と安全なナビゲーションを支援するフレームワークを提案する
# 章2 関連研究
- オープンボキャブラリ物体検出は、事前定義されたカテゴリ以外の物体を検出することに焦点を当てており、汎用性と適応性の向上が課題となっている
- 最近の手法では、大規模なデータを用いた画像-テキストマッチングによって語彙を拡張し、ビジョン言語の事前学習を活用している
- プロンプトエンジニアリングは、大規模な言語モデル(LLMs)の能力を引き出すために重要な技術として注目されており、さまざまなタスクへの適用が進められている
- コンピュータビジョンを用いたアクセシブル技術は、視覚障害者の周囲環境の理解と危険検知を強化することを目的としており、日常生活の安全性向上に重点が置かれている
# 章3 手法
- 提案システムは、物体検出モジュールとLLMモジュールを組み合わせ、リアルタイムな異常検知を実現する
- YOLO-Worldモデルを用いてオープンボキャブラリ検出を行い、ユーザーのニーズに合わせて検出クラスを動的に切り替える
- 検出された物体情報をH字型に分割し、画像内の位置と大きさに基づいて異常をラベル付けする
- 検出情報を特殊設計されたプロンプトに埋め込み、LLMモジュールに送ることで、異常の分類と音声ガイダンスの生成を行う
# 章4 実験
- ルールベースの異常検知器をベースラインとし、提案システムのゼロショット学習能力とプロンプトの影響を評価した
- 低感度設定のLLM異常検知器が最も高い精度を示し、緊急性の低い異常を除外する傾向があることがわかった
- 各プロンプトモジュールのアブレーション実験により、感度設定とリージョン情報が性能に大きく寄与することが明らかになった
- 複数のプラットフォームでシステムの性能効率を評価し、モバイルデバイスでも低遅延でリアルタイム動作が可能であることを確認した
# 章5 結論
- 最新のビジョンLLMと軽量な物体検出を組み合わせることで、視覚障害者のリアルタイムな異常検出と安全なナビゲーションを支援するフレームワークを開発した
- プロンプトエンジニアリングによってLLMの出力を最適化し、低遅延かつユーザーのニーズに適したシステムを実現した
- コンピュータビジョンと大規模言語モデルの統合は、視覚障害者の日常生活の安全性と自立性を大きく向上させる可能性を示している
- 今後は、複雑なシナリオに対応するためのさらに高度なプロンプトエンジニアリングの探求が必要である
評価
# 新規性
- ステート・オブ・ジ・アートのリアルタイムオープンワールドオブジェクト検出モデルYolo-Worldと特殊なプロンプトを用いることで、可能な全ての障害物を含むフレーム内の異常を識別し、音声で配信される簡潔な説明を生成し、複雑な状況での安全なビジュアルナビゲーションをアシストすることができる。
- LLMとオープンボキャブラリオブジェクト検出モデルの利点を活用し、シーンからシーンへスムーズに移行できるダイナミックシナリオスイッチを実現。これにより、従来のビジュアルナビゲーションの限界を克服。
# 関連研究との相違点
- リアルタイムの異常検出に特化したフレームワークを提案。Yolo-Worldとプロンプトを組み合わせることで、ゼロショットで異常を検知。
- LLMとオブジェクト検出モデルを統合し、ダイナミックなシーンの切り替えを可能にした点が新しい。
- モバイルデバイス上での高速な推論を実現し、実用的なアプリケーションに適用可能。
# 有効性
- ルールベースの異常検出器と比較して、提案手法は高い適合率を達成。低感度設定では、緊急性の低い異常をフィルタリングする傾向がある。
- エンドツーエンドのレイテンシーは60msで、リアルタイムのフィードバックが可能。
- 異なるプロンプトモジュールの効果を検証。感度設定などが精度に大きく影響することがわかった。
# 信頼性
- 独自に収集した50本の動画クリップを用いて、ルールベースの異常検出器の結果と比較することで、提案手法の有効性を検証。
- 様々なプラットフォーム（GPU、モバイルデバイスなど）での処理速度を評価し、実用性を確認。
- プロンプトの設計が異常検知の性能に大きく影響することを明らかにした。感度設定などを適切に選ぶことが重要。
和訳
![]()
1 / 1
100%
