会話における混乱状態検出と、マルチモーダル会話AIプラットフォームの開発

📝 会話における混乱状態検出と、マルチモーダル会話AIプラットフォームの開発

概要：会話においてユーザがシステムの発話が理解できずに混乱状態に陥ることがあるが、円滑な会話を実現する上で早期に検出し解消することが必要となる。一方で混乱の現象はこれまでほとんど研究されておらず、さらに稀にしか発生しないためデータが非常に少ないという課題がある。本発表では言語心理学の知見をもとにした混乱状態の分類と、各状態を誘発するための実験設計とデータの収集、さらに混乱検出のモデルについて紹介する。また本研究はマルチモーダル会話エージェントInteLLAをベースとしている。InteLLAは約10分間のインタビューを行い、英語能力の評価を行うことができる。InteLLAの開発や、技術的な課題について紹介する。
[動画] [スライド] [論文] (Interspeech 2022)

※トークは日本語です。