地図を見ながらしゃべる
−マルチモーダル音声翻訳通信を目指して−





(株)ATR音声翻訳通信研究所第4研究室 ローケン・キム キュンホ、水梨  豪



私たちは、日常の多くの場面で、言葉だけでなく、身振りや手振りを無意識に使いながらしゃべっています。そしてしばしば、そのような言葉以外の仕草は、会話をわかりやすく、効率的にしています。この仕組を、音声翻訳通信システムに適用できれば、異なる言語の間の対話がより柔軟で的確なものになるのではないでしょうか。このような考えのもとに、言葉以外の仕草のひとつである、「指差し」に関する実験と分析を行い、「指差し」と音声を組み合わせて解釈できるマルチモーダル・システムを作成してみました。

本文へ