P2-34: 日本語Full-duplex対話モデルの拡張による発話と身体動作のリアルタイム同時生成に向けた取り組み
| 発表番号 | P2-34 |
| 発表タイトル | 日本語Full-duplex対話モデルの拡張による発話と身体動作のリアルタイム同時生成に向けた取り組み |
| 筆者氏名・所属 |
津田 太郎 （名古屋大学大学院情報学研究科） 姜 菁菁 （名古屋大学大学院情報学研究科） 東中 竜一郎 （名古屋大学大学院情報学研究科） |
| アブストラクト | 対話ロボットには対話能力だけでなく，自然な身体動作が求められる．しかし，対話内容に適した動作をリアルタイムに生成できるシステムは未だ少ない．そこで本研究では，日本語Full-duplex対話モデルJ-Moshiを拡張し，発話と身体動作を同時に生成するマルチモーダル対話システムの構築を試みる．具体的には，話者の姿勢情報を音声・テキストと同時に学習させることで，発話と同期した多様な身体動作の生成に取り組み，予備的な結果について報告する． |
| 論文 | PDFファイル |
