TR-C-0138 :1995.3.15

海老原一之,山田正紀,大谷淳,岸野文郎

臨場感通信会議システムにおける実時間表情検出

Abstract:異なる場所にいる人々があたかも一堂に会しているかのような感覚を持ちつ つ、会議や協調作業を行える環境を提供する事を目的とした通信をATR通信システム研究所では、臨場感通信会議とよび要素技術の検討を進めている。従来のテレビ会議システムでは、人間同士の自然なコミュニケーションのために重要な視線の一致や運動視差の再現が困難であったが、臨場感通信会議では3次元コンピュータグラフィック(3Dimension Computer Graphic)技術を用いて生成された 仮想的な共有空間に3次元人物像や物体を配置し、立体ディスプレイに表示する手法を用いることでこれらの問題を解決している[1][2]。 ここで会議参加者については、送信側で表情や動きを検出し、受信側の3次元人物顔モデルにおいて再現する。したがって、参加者の表情検出を実時間で実現し、3次元顔モデル(3D Wire Frame Model:3D WFM)において忠実に再現できれば、会議参加者同士の円滑なコミュニケーションが可能となり、臨場感通信会議の実現に向けて大きな前進となる。また、会議参加者の表情を検出する場合、顔構成要素である目、口等の変形する部分だけではなく、参加者の視線を検出する事も重要となる。 今回、筆者は、会議参加者の顔にマーカを貼付してその軌跡を追跡することにより実現する実時間表情検出と、視線検出の研究を行った。 従来の表情検出プログラムは、高性能のグラフィックワークステーション(WS)上で動作し、また顔画像中のマーカ検出のために人間の皮膚の色と異なる小球のマーカを顔に添付していた。しかし、検出の精度、速度共に満足できるレベルではなかった。そこで、ビデオレートで処理可能な手法の検討を行った。 本稿では、表情検出のためのカメラを顔に対して相対的に同一の位置に保つために、小型CCDカメラを固定したヘルメットを会議参加者が被るようにし、得られた顔画像中から顔に前述のマーカの移動量を求め、表情筋の動きを検出している。(図1)カメラをヘルメットに固定したのは、顔画像が常に一定の画角で撮影されるようにし、処理系の負担を軽減するためである。これによってシステムは顔の向きを考慮した相対的なマーカ位置検出を行う必要がなくなった。ただし、ヘルメットがずれた場合などを想定し、鼻につけたマーカのずれを他のマーカにも反映している。 マーカ追跡はWSから独立したパーソナルコンピュータ(PC)とマーカ抽出用のハードウェアにより実現されており、追跡結果は、無表情時の各マーカの位置との差分による2次元移動ベクトルとして得られる。視線検出法は、前述のヘルメットに取り付けた視線検出用のCCDカメラから入力される目の映像から黒目の重心を算出する手法と、専用のカメラを必要とせず目の輝度情報の変化から白目と黒目の境界を見つけ出す手法の2種類を検討した。 本論文の第2章では、実時間表情検出・再現系の処理概要について、第3章では表情検出系のシステム構成について、第4章ではマーカ追跡部について、第5章では通信プロトコルについて、それぞれ述べる。第6章で、実験結果と今後の課題について述べる。 本稿で提案する手法により、ビデオレートでの実時間表情再現を実現した。