Suguru MIZUNASHI, Goro TANAKA
Integrated Analysis of Speech and Pointing Gesture
Abstract:本稿では、音声言語情報（聴覚のモダリティ）に加えて、視覚のモダリティであるポインティング・ジェスチャ、すなわち、地図上に指で描かれる点や線の情報を入力として利用できるマルチモーダル・インターフェースについて述べる。はじめに、入力された音声とポインティング・ジェスチャの統合的な意味を同定する枠組みについて述べ、その枠組を応用して試作したマルチモーダル問い合わせシステムについても簡単に言及する。