TR-IT-0213 :1997.3

水梨豪,田中吾郎

音声とポインティング・ジェスチャの統合意味解析

Abstract:本稿では、音声言語情報（聴覚のモダリティ）に加えて、視覚のモダリティであるポインティング・ジェスチャ、すなわち、地図上に指で描かれる点や線の情報を入力として利用できるマルチモーダル・インターフェースについて述べる。はじめに、入力された音声とポインティング・ジェスチャの統合的な意味を同定する枠組みについて述べ、その枠組を応用して試作したマルチモーダル問い合わせシステムについても簡単に言及する。