研究組織

A01 対話継続関係維持研究グループ

対話の呼吸:非接触呼吸状態推定を用いた人・ロボット呼吸同調による関係構築

研究代表者
船越 孝太郎(東京工業大学)
専門分野:マルチモーダル対話,ヒューマンマシンインタラクション
研究役割分担:研究統括,実験の設計

「息があう」という言葉が示すように,人同士の関係性は呼吸の同調と密接に関係している.また音声対話は呼気の二次的利用により獲得されたもので,呼吸にいやおうなく制約されている.人同士の言語的インタラクションと呼吸の関係はこれまでも研究されてきたが,対話と呼吸の関係を対話知能の実現という観点から扱った研究は見当たらない.本研究は「呼吸同調」を軸に,以下の3点に取り組む.すなわち,

  1. 対話ロボットに,対話相手(人)の呼吸状態を推定する機能と,ロボット自体の擬似的な呼吸を実装することで,ロボットの呼吸を対話相手の呼吸と同調させることで生じさせ得る対話インタラクション上の諸効果を明らかにする.
  2. 1.の過程で,人・人対話と,人・ロボット対話で,呼吸活動にどのような違いが見られるのかを明らかにする.
  3. 1.の一部として,深層学習を用いた非接触型呼吸状態推定手法を開発し,どの程度の性能を得られるのかを明らかにする.そのために,呼吸情報の付随した大規模なマルチモーダル対話データセットを構築し公開する.