臨場感通信へのアプローチとして
3次元画像の研究について
ATR通信システム研究所 知能処理研究室 秋山 健二
1．はじめに
近年の技術の進歩にともない「そこに存在するが如く、聞き、見、触れたい」という様な臨場性のある通信への要求が高まってきています。
私たちは、この様な「あたかも自分がその空間に存在する様な環境を人々に提供することができる臨場性のある通信」を臨場感通信と呼んでいます。
臨場感通信システムの実現は、情報通信全般に大きなインパクトを与え、人々の社会生活をさらに豊かなも、より良いものにするものと思われます。
臨場感通信を実現するには、空間を違和感なしに再現することができる技術を開発する必要がありますが、この技術を開発するための第一歩として、
（1）従来の2次元画像よりも臨場感があると考えられる3次元画像の入力・表示装置の構築技術
（2）機械を使用してることを意識させない非接触かつ知的なヒューマン・インタフェースの構築技術、等の知的な技術を確立する必要があります。
ここでは、上記（1）に関してこれまでに検討を進めた以下の技術について紹介します。
（1）電子計算機への物体形状の自動入力法
（2）両眼視差（立体視の主な生理的要因であり、左右の網膜に投影される同一の対象物の像は両眼に距離があるため同一でないこと）を利用した立体表示法
2．電子計算機への物体形状自動入力法
2.1物体形状の自動入力法
物体の3次元形状（奥行き情報）を計測する方法は、以下の2つに大きく分類できます。
（1）能動的方法
物体に光ビーム等を照射し、物体表面で反射した光ビームを別の方向から観察し、三角測量の原理により物体の奥行き情報を求めたり、レーザビームを照射してその反射してくる時間から奥行き情報を求める方法です。
（2）受動的方法
複数の方向から物体を撮影し、撮影した各々の画像中の同一の点を認識し、三角測量の原理により奥行き情報を求める方法です。
前者はある程度複雑な物体の奥行情報を計測できる可能性があります。一方、後者は自然環境のままで計測できるメリットを有していますが、前者に比べて複数の画像中の同一の点を検出するプロセスが複雑であり、それが比較的容易な平面の組合せで構成されているような対象物にしか適用できない状況にあります。
ATR通信システム研究所では、当面商品見本などの複雑な物体の入力を考えており、能動的方法であるモアレ法と光切断法についてまず検討を開始しました。
以下、モアレ法および光切断法について各々の計測原理及びこれまでの検討結果を紹介します。2.2モアレ法による形状入力の検討
モアレ（Moiré）とは、フランス語で“木目”のことを言います。モアレ法の基本的な原理を図2.1に示します。図2.1（a）に示す様に一定の間隔で複数のスリットが平行に並んだ格子パターン（投影格子）をスライドプロジェクタにより物体に投影します。物体に投影された格子パターンは、物体表面の形状に応じて変形し（変形格子像）、乱反射します。物体表面で乱反射した変形格子像を投影格子と同じ間隔の別の格子（観察格子）を通して観察すると、図2.1（b）に示すように、破線で示した奥行きの所で反射した光だけが格子間隔を通りぬけ、さらにレンズの焦点を通り像を結び観察できます（図2.1（b）中の実線で示す反射光）。このようにして観察できた反射光が集まって地図の等高線と同じ様なパターン（モアレ縞）が観察でき、このモアレ縞から奥行き情報を求めることができます。
モアレ法は、（1）物体の奥行き情報を直接モアレ縞のパターンとして得られること、（2）物体の奥行き情報を瞬時に電子計算機入力することができること、等の特徴を有しています。
図2.2にモアレ法による形状入力の処理過程を示します[1]。一般的手法では、前述したように変形格子像を観察格子を通して見ることによりモアレ縞を生成します。ATRでは、物理的な観察格子を用いずに格子パターンが投影されている物体を直接TVカメラで撮影し、この撮影した画像に電気的に作った格子を乗算する方法によりモアレ縞を生成します[2]。これにより、精度の高いモアレ縞の生成や、凹凸の判定を可能にしました[3]。すなわち、物体に投影された格子像は、物体の明るさや形状により濃淡が複雑に変化しており、前述の一般的手法では、精度の高いモアレ縞を生成することが困難です。本手法では、これに対してTVカメラで撮影した画像に各種画像処理を適用し、濃淡の一様な変形格子像を得ることができるため、精度の高いモアレ縞を生成することができます。次に、奥行き情報を正確に検出するためにモアレ縞を細線化し、凹凸判定等の処理を行い奥行き情報を数値データとして抽出します。さらに、複数の異なる方向からのモアレ縞から得られる奥行き情報を合成して、物体の完全な3次元座標を求めます。このようにして抽出したモアレ縞及び細線化したモアレ縞を各々写真2.1（a）、写真2.1（b）に示します。
2.3光切断法による形状入力の検討
光切断法の原理を図2.3に示します。対象物体を回転テーブルの上に置き、スリット光を回転テーブルの回転軸方向に投影します。スリット光発生装置によって物体に投影されたスリットパターンは物体の表面形状に応じて変形します（変形スリット像）。この物体表面で反射した変形スリット像をTVカメラで撮影し、三角測量の原理で3次元座標値を得ます[4]。
光切断法は、（1）死角（物体の形状により格子パターンを観測できない部分）が生じること、（2）計測時間が長いこと、等の問題はありますが、計測精度が非常に優れているという特徴を有しています。物体の形状を得るには、回転テーブルを微少角度ずつ回転し、その時の変形スリット像から3次元座標値を求めます。また、3次元座標データ間を各々直線で結んで物体の形状を表現します（ワイヤフレームモデル）。なお、ワイヤフレームモデル生成時のデータ量の削減を図るために曲線を誤差の少ない折れ線で近似する手法や、物体の平坦部分の認識についても検討を進めています。
写真2.2（a）に生成したワイヤフレームモデルを、写真2.2（b）に（a）のワイヤフレームモデルにテクスチャー（物体表面の絵柄）をはり合わせた写真をそれぞれ示します。
3．立体表示技術
立体表示技術に関する研究は古くからなされていますが、残念ながら真の臨場感を人間を与えるものは実用化されません。以下に、当研究所でこれまでに検討した入力表示方法について紹介します。
人間は、両眼視差、水晶体の焦点調節、両眼の輻輳（両眼で一点を見ること）、陰影等の様々な要因によって物体の奥行きを認識することができますが、中でも両眼視差は立体視の大きな要因です。すなわち、人間の左右の眼球間の距離は約6〜7cmであり[5]、人間はこの左/atrj/ATRJ_03/02/右両眼に写った像の違いから奥行き情報を認識します。これまでに実現されている立体表示装置のほとんどがこの両眼視差を利用しています。
これと同様の現象を電気通信で実現するためには、人間の左右の目に相当する2台のテレビカメラで2つの像を撮影し、遠隔地にいる観察者の右目には右のカメラ像が、左目には左のカメラ像がそれぞれ入るように何らかの手法を用いて表示することになります。
この手法としては、左右の像を時分割で交互に表示し、これと同期して左右が交互に開閉するメガネを用いて観察する方法（時分割方式）や、左右の像を偏光角が90°異なる各々の偏光フィルタを通して表示し、その像を表示時と同一のそれぞれの偏光フィルタを通して観察する方法（偏光方式）等があります。
当研究所では、両眼視差のある2つの画像を偏光方式により同時に凹面鏡に投影した大画面の虚像として見る（凹面鏡の焦点に像を置くと無限遠に大きな虚像が写る。虚像は実像よりも立体感があると言われている。）という新しい立体表示方式を実現し（図3.1参照）、より臨場感のある立体視を実現するための研究を進めています[6]。すなわち、上に述べたような両眼視差を利用する画像通信では、被写体と2台のカメラ間の距離、2台のカメラ間の間隔・収斂角、表示するモニタの大きさ、視距離等の様々なパラメータにより奥行き感の異なった画像が観察されることになりますが、これらの関係は定量的に求められていません。そこで、これら相互の関係を明確にするとともに、違和感の少ない立体視を実現するための手法について研究を進めています。
4．おわりに
物体の３次元形状データの自動入力技術、凹面鏡と偏光方式を組み合わせた立体表示装置等に関する検討状況について紹介しました。
今後は、複雑な物体の自動入力・高精度化を進めるとともに画像認識・理解を伴った物体形状入力技術、自然環境のままで物体形状を入力できるメリットを有する受動的方法、限りなく自然に近い立体感が得られる3次元画像表示技術について引き続き検討を進めます。
参考文献
