<< TOPへ
Integrating Large Language Models with Multimodal Virtual Reality Interfaces to Support Collaborative Human-Robot Construction Work
・VR内で直感的に声でインタラクションしロボットに効率的かつ正確に建設作業をさせることができるシステム。
・例えば典型的なストーリーはこんなかんじ
1. 建設現場で石膏ボードの取り付け作業を行う必要がある。
1. 作業者はVRヘッドセットを装着し、仮想現場環境に入る。
1. 作業者は音声コマンドを使ってロボットに指示を出す。例えば、「このパネルを取り付けてください」と言いながら、VRコントローラでパネルを指し示す。
1. ロボットは作業者の指示を理解し、BIMデータから必要な情報を取得する。
1. ロボットは作業者に確認を求める。例えば、「パネル501を間柱603に取り付けることを確認してください」のように、パネルと間柱のIDを示して確認を求める。
1. 作業者はロボットの理解が正しいことを確認し、了承する。
1. ロボットは石膏ボードパネルを拾い上げ、指定された間柱に取り付ける。
1. 作業者はロボットの作業を監督し、必要に応じて追加の指示を与える。
・BIMデータは仮想環境と実環境をシームレスに連携させるデータ。
・ROS (Robot Operating System) は、ロボット開発のためのオープンソースソフトウェアフレームワーク
