言葉と手振りでイメージが見えてくる
1．はじめに
臨場感通信会議[1]によって提供される協調作業空間をクリエイティブな発想の場として利用するためには、グラフィックス技術によりつくり出される仮想物体を会議参加者が自由にハンドリングできなければなりません。これは、既成の物体の位置や向きを変えることだけでなく、物体を変形したり組み合わせたりすることができるということを意味します。つまり会議参加者が、頭の中に浮かんだイメージを仮想物体として表現する手段を持つと言うことです。
そのために、会議参加者にグラフィックス処理のための細かなコマンドや数値処理を任せてしまうのは現実的ではありません。そこでここでは、人間が表現手段として普段自然に用いている言語表現と手振りを使ったマルチモーダイルインタフェースのための枠組、いわゆる「What
You Say Is What You See」（WYSIWYS）[2]を紹介し、3次元仮想物体を生成・編集するための技術について述べます。
2．2レベルオントロジーで容易に意図を理解し表現する
言語や手振りによって表現された会議参加者のイメージを3次元仮想物体としてグラフィックスに反映させるためには、発言された内容を最終的には機械が処理できるレベル（機械レベル）にまで翻訳しなければなりません。ここでは、次の2つのレベルの知識、つまり、人間に近い知識表現である「知識レベル3次元形状オントロジー」および機械に近い知識表現である「記号レベル3次元形状オントロジー」を用いてこれを実現する方法について述べます。オントロジーという言葉は、哲学において“存在論”に関することを意味しますが、ここでは3次元形状に関する知識を記述するための“最もプリミティブな概念集合”という意味で用いています。
（1）知識レベルオントロジーで意図を理解
3次元形状を表現する言語的な表現は、表現する人により様々です。たとえば、基本的な形状の一つと考えられている四角錐に対する表現は“四角錐”のほか“ピラミッド”、“屋根”などのように多様に表現されます。その他、球、円筒、直方体などのような基本形状もそれぞれ沢山の表現を持っています。このようなことは、3次元的な基本形状に関する概念というかたちで整理することができます。また、これらの基本形状を組み合わせてできる複合物体に対してひとつの概念が割り当てられる場合があります。複数の基本形状で表現できる自動車、人、家などは良い例です。
言語表現の多様性をカバーし、会議参加者の発言を記号的なレベルの形状の記述や変形操作にまで翻訳するためには、このような概念構造をシステムが知識として持っている必要があります。我々はこのような知識を、“知識レベル3次元形状オントロジー”と呼んでシステムが持つべきデータベースのひとつと位置付けています。
（2）記号レベルオントロジーで形状を表現
記号的なレベルの形状の記述（記号レベル3次元形状オントロジーと呼ぶ）や変形操作にまで翻訳された会議参加者の意図は機械レベルまで、翻訳されなければなりません。記号的なレベルの意図をグラフィックスに的確に反映できるかどうかは、3次元的な形状の記述法と密接な関係があります。たとえば図1に示すように、屋根を“モスク形にする”という意図（知識レベル）を反映させる場合について考えてみましょう。このとき仮想物体が、ポリゴン（3-Dグラフィックスの一般的な要素）のようなもので記述されていたとすると、“モスクの形にする”という操作に関係するポリゴンを事前に指定しておかなければなりません。そこで、我々は形状の記述法として超2次関数[3]（記号レベル）を用いることにしました。超2次関数の主な特徴は次の通りです。
1. 3次元形状を少ないパラメータで表現できる。
2. パラメータの調整により3次元形状を連続的に変化できる。
3. パラメータセットを指定することにより変形や形状の概念を反映させ易い。
このような特徴を考慮して、我々は3次元形状を超2次関数により記述し、形状や変形の概念を超2次関数のパラメータセットとして表現します。これにより、言語的な表現“モスクの形にする”や手振りを使った“この様なモスクの形にする”、“こんな風に尖った球にする”などのような操作を反映させることができるようになるのです。
3．実験システムの構築
我々は、臨場感通信会議システム[4]にマルチモーダルインタフェースとして、音声による言語入力と手振りを用いて“神輿”のデザインを行なう機能を組み込みました（図2）。
このシステムでは、通信回線を介して遠く離れた3ヵ所の会議参加者が協調して神輿のデザインをすることができます。神輿を構成する沢山の部品の指定により多様な表現を用いることができます。また生成・編集に関する操作には生成（例：配置する、置く）、動作（例：回転する、回す）および編集（例：高くする、伸ばす）の3種類があります。これらにより、“屋根を配置する”、“カゴを高くする”などの様に表現しながら神輿のデザインをすることができます。手振りについては現状のシステムでは、単純な指示操作のみ実現することができます。たとえば、“これを（あれを、それを）長くする（持ってくる）”などのようにです。
4．むすび
言語表現と手振りを統合的に用いたマルチモーダルインタフェースとその実現のための技術について述べました。また第一ステップとして臨場感通信会議実験システムを利用して神輿のデザインを行なうシステムを紹介しました。今後は、概念データベースの一般化や手振りの表現の一般化へ向けて研究を進めて行く予定です。
Copyright(c)2002（株）国際電気通信基礎技術研究所
