臨場感通信会議における仮想物体操作
ATR通信システム研究所 知能処理研究室 竹村 治雄
1．はじめに
ATR通信システム研究所では、複数の会議参加者が通信回線を利用して、あたかも一堂に会しているかの感覚で会議を行なえる「臨場感通信会議システム」の実現を目指して研究を進めています[1]。仮想の会議室風景をコンピュータ・グラフィックス（CG）を用いて生成し遠隔地の人々の人物像をもCGで合成表示し、この情景を通信会議の利用者の目前に立体的にかつ見たいところを見たい角度から表示できれば、利用者はこれらの人々と実際に同一空間に存在しているかのごとくの感覚で会議が行なえます。また、CGで生成される仮想空間に会議参加者の他に会議進行に必要な資料、話題となっている対象などを合成表示することで会議の円滑な進行を補助することも考えられます。本稿では、臨場感通信会議システムにおけるユーザインタフェース技術の一つである仮想空間内の対象物操作の研究についてご紹介します。
2．仮想物体操作
私どもは、両眼立体視表示、広視野高精細表示などの技術を用いて、あたかも実際の空間が眼前にあるがごとくに表示構成される空間を仮想空間と呼んでいます。また、この空間に表示される物体に対して実空間と同様に利用者が働きかけ、様々な作業を行なうことを仮想物体操作と呼んでいます。例えば、仮想空間内に立体的に表示されている自動車の模型を、利用者が見たい方向から眺めるために回転させたり、移動させたりする操作は仮想物体操作のひとつです。臨場感通信会議のような、特別な訓練を受けない利用者が想定されるシステムでは、このような作業を自然な感覚で行なえるようにユーザインタフェースを設計することが重要です。そのため、利用者の存在する実際の空間（実空間）と仮想空間が違和感なく同様に取り扱えることが望ましいと考えられます。すなわち、実空間で机の上の書類を持ち上げるのと同様に、仮想空間でも表示されている書類などを手にとることができれば、会議参加者は特別な訓練なしに仮想空間を利用して様々な作業を行えます。仮想物体操作の研究の目的は、ここに述べたようなユーザインタフェースを実現するための基礎技術の確立にあります。また、本研究は「人工現実感」を電気通信分野へいち早く適用した研究として内外の注目を集めています。
図1は仮想物体操作の構想を説明した図です。この図に示すように、利用者の視点と手の位置及び形状を計測し、これをもとにして利用者の手振りを認識することで、表示されている仮想的な空間内の物体をつかむ、移動する、離すなどの操作が可能になります。また、より高度な意図理解を行なうことにより、例えば手振りに意味を持たせることにより手振りだけで操作対象を移動させたり、回転、拡大、縮小などの操作もできると考えています。現在、具体的な研究の一つとして仮想物体操作の有効性、操作性を検証する為に、実際にこのような操作環境を試作して評価を行っています。
図2は実際の試作環境の機器構成を示したものです。このシステムでは、仮想空間の表示には70インチの背面投影型の表示装置を用いています。そして、時分割の立体視画像（左目、右目用の画像を交互に各々毎秒60枚合計120枚）を表示し、これと同期した液晶シャッター眼鏡を用いて立体視を行なうことにより利用者の眼前に3次元仮想空間が提示されます。シャッター眼鏡には3次元位置センサが取り付けられ、このセンサのデータから左右の眼のおおよその位置を得ています。表示される立体画像はこの眼の位置から見た正しい情景となるよう正確に生成されています。このような立体視表示を行なうことで、通常の立体映画などとは違って、立体歪みの少ないまた、運動視差と呼ばれる利用者が動くことで対象の見え方が変化する表示が再現できます。
手の形状の入力はデータグローブと呼ばれる特殊な手袋を使用しています。また、手の位置と向きも液晶シャッター眼鏡に取り付けたのと同じ3次元位置センサによって同時に測定されます。
この試作環境でのジェスチャ認識は各関節の曲げ角と環境の状態（対象物と手のひらの中心の距離、対象物の大きさなど）をもとに行われます。試作したシステムでは、対象をつかむ、はなすなど6種類のジェスチャが認識されます。
図3は、試作された環境で立体視表示される画像を直接手でつかんで操作している様子です。表示画像は視点検出により正しい3次元位置に提示されているため利用者の手が存在する実空間と表示画像の位置関係が常に正しく表されています。そのため写真のように提示画像が見える位置に手を差し伸べて直接つかむ操作が実現できます。カーソルなど間接的な提示子を用いて対象物を指定する手法よりも直接的な感覚での操作ができます。このシステムでは、表示される仮想空間の複雑さにもよりますが毎秒5〜30枚の画像が実際に表示可能です。
この環境で実際の操作を行う実験を実施した結果、このような直接的な操作環境は操作方法の学習と習熟が容易であり、臨場感通信会議におけるユーザインタフェースとして有望であることを確認しました。
本試作環境のような視覚的なフィードバックのみを手がかりとする仮想物体操作では、実際の世界で私たちが手を物に触れたり、持ちあげた時に感じる力の感覚が再現されていません。力覚や触覚のようないわゆる体性感覚情報を再現できればより現実感を伴った操作が可能になることは言うまでもありません。ATR通信システム研究所では利用者が操作している対象物の重さを力として感じることができるように、トルク制御型超音波モータを用いた力フィードバック入力装置についても研究しています[2]。
この他に音による聴覚的なフィードバックや操作対象の色を変化させるなどの視覚的なフィードバックを用いても、仮想物体操作環境の操作性を改善できると考えられます。
また、通信会議に用いるユーザインタフェースとしてはデータグローブのように利用者が器具を装着することはできれば避けたいものです。そのため、データグローブに代わるジェスチャー入力手法として、2台のTVカメラを用いたステレオ計測で操作者の指先位置を実時間計測する手法についても検討を行っています[3]。
3．協調作業環境
仮想物体操作は、臨場感通信会議のみならず遠隔操作、景観操作、意匠設計などさまざまな作業のユーザインタフェースへの応用が考えられます。また、複数の利用者が協調して作業を行える環境を提供することで利用価値をさらに高めることができると考えています。このような研究として、コンピュータの利用者がネットワークを利用して協調して問題解決するための環境（CSCW-Computer
Supported Cooperative Work）に関する研究が行われています。
CSCWが、従来のワークステーション上のアプリケーションの概念の枠内を起点として拡張をめざすのに対して、私どもの研究は仮想作業環境を起点として空間共有の概念を導入するものであり、仮想操作環境で協調作業を実現することで、従来のアプリケーションの枠にとらわれないで柔軟で高度な協調作業空間の構築が可能です。
仮想空間を利用した協調作業環境を実現するために図2に示す構成の装置2台を実際に別々の部屋に設置し、離れた2者間で協調作業の行える環境を試作しました。複数の参加者が行う協調作業の例としては、都市の景観設計、オフィスの什器配置などのレイアウト設計を協調して行なう作業を考えています。レイアウト設計は、通常の平面図上での作業からは、最終状態の理解が困難で直接立体的なレイアウトを取り扱える仮想空間での作業に向いていること、建物の移動、配置を中心とした作業のため既に試作した仮想操作環境に馴染み易い操作であるなどの特徴があります。
図4は二人の利用者が仮想空間を共有している例です。利用者に提示される仮想空間内に図4に示されるように共通の操作対象が表示され、それに対して操作を行ないます。端末間の通信はローカルエリアネットワークを用いています。音声の通信は通常の構内電話回線とヘッドセットを用いて実現しています。
協調作業環境を実現する場合、通信路が間に介在し、また複数の端末からの要求を的確に処理しなければなりません。これらを考慮した上で協調作業環境を試作しました。その結果、本構成は、
1．画像生成のために必要なデータを各サイトに重複して配布することにより高速に画像が生成できる。
2．ジェスチャの判断、仮想空間内の状態の更新などは1ヵ所で行なうことで同じ物体を二人の利用者が同時につかむことを禁止するような排他制御を実現している。
3．事前に各サイトに必要なデータを配布するため使用時の通信量は少ない。などの特徴を持っています。
実際にこの環境を利用している様子を写真でご紹介します。図5（a）は、利用者が図4のように向かい合った状態で、車のCG画像を操作している様子です。図の左上に相手対地での様子が表示されています。この例では、向かい合った利用者の間に車が存在し、利用者は車のボディの前部と後部とをそれぞれ観察しています。次に、図5（b）は、それぞれの利用者が隣り合わせに同じ向きを向いた構成で、部品を組み合わせて馬の形を構成するパズルを協調して組み立てている様子です。この場合はそれぞれの利用者が操作できる範囲以外に背景など他の部分も視覚的に共有できるため、より多くの情報の共有が可能となります。
仮想空間を用いた協調作業環境の利点の一つは、図5（a）、（b）の例のように、作業の内容や協調の必要性に応じて利用者が向き合ったり、隣り合ったり自由に位置関係を変化できることです。
試作した協調作業環境を用いた実験により、離れたところにいる人々があたかも同じ作業空間で協調作業を行なうような感覚で種々の作業を行なえることが実際に確認されました。
4．むすび
臨場感通信会議における仮想物体操作と、これを用いた協調作業環境についてご紹介しました。これらのユーザインタフェースは技術が実用に供されることにより、通信システムはもとより私たちが日常利用する様々な機器の使い易さを向上できるよう、今後さらに研究を進めてゆきたいと思います。
