概要
ロボットをはじめとする人間を支援するシステムは、その観測から状況を正しく理解し、人間が必要とする支援行動を出力する必要がある。特に人間を対象とした支援において、システムがどのような状況理解を行い、どのような動作行動の生成しようとしているかは、言語で表現することが重要である。そこで本研究では、現在の状況からシステムが行うべき行動を予測しその内容を言語で説明する、動作行動予測とその言語化 (captioning operative action) に取り組む。具体的には、ある状況とそこに対して何らかの支援行動が行われた状況の画像を入力とし、どのような支援行動が行われたかを説明する言語化タスクによって動作行動予測を実現するシステムを構築した。この際、行われた支援行動に相当する動作のシーングラフ予測を補助タスクを用いることで、シーングラフのアノテーションが存在しないテストセットに対しても精度高く動作行動の予測・言語化を行うことができることが確認された。
※トークは日本語です。