鈴木紀子,大谷淳,岸野文郎,
3次元計測データの重要度に応じた表情再現方法の一検討
Abstract:筆者らは、遠隔地にいる人々があたかも一堂に会するかのような視覚的効果の実現および協
調作業が可能な場の提供を目的とした通信を臨場感通信会議とよび、システムの実現に向けて要素技術の検討を進めている[1]-[4]。臨場感通信会議では、3次元CG技術で仮想的に生成された共有空間に、会議参加者の3次元人物像を配置し、立体ディスプレイに表示する。ここで、会議参加者については、送信側で表情や動きを検出し、受信側の3次元人物モデルにおいて再現する。本稿では、3次元人物モデルの顔における実時間表情再現法について述べる。
筆者らは既に、会議参加者の顔にマーカを貼付し、参加者が会議中に被るヘルメットに取り付けた小型CCDカメラを用いて顔画像でこれをとらえて追跡することによって表情を検出し、あらかじめ定義されたモーションルールに従い実時間で表情再現を行えるシステムを構築している[1]-[3]。この方式では、表情の再現を行う際に、人間の主観に基づいて作成されたモ—ションルールを用いて3次元顔モデル(3D Wire Frame Model : WFM)の各頂点を駆動していたために筋肉の動きを忠実に再現できない、作成されたモーションルールに記述されていない表情が入力された際に当てはまるルールが見当たらないなど、表情再現の忠実性に問題がある場合があった。
本稿では、顔画像中のマーカ追跡結果を用いた、より忠実度の高い表情再現のために、種々
の表情表出時における顔表面の3次元計測に基づいた表情再現方法を提案する[4]。本手法では、
あらかじめ顔料を用いて顔に直接ドットを描き、顔に存在する表情筋の動作を考慮に入れた種々
の表情表出時における各ドットの、無表情状態における位置からの3次元移動ベクトルを測定す
る。このようにして得られた各ドットの3次元移動ベクトルを、顔画像平面に基準ベクトルとし
て投影しておく。表情再現時にはまず、顔画像中で検出されたマーカの移動ベクトルをはさむ2
つの基準ベクトルを見出し、マーカの移動ベクトルをこれらのベクトル和で表現する。各マーカ
のベクトル和の表現に基づき、WFMの頂点を適宜移動することにより表情再現を行う。
次に、各種表情表出時における顔表面上の各ドットの位置と前述の無表情時のデータを用いて、各ドットの無表情の位置からの移動量を求めて移動ベクトルとする。これを、2次元である
顔画像平面に投影して基準ベクトルとする。同様に、CCDカメラで撮影した顔画像を用いて2
次元計測を行い基準ベクトルを作成する。表情再現時には、顔画像から検出されるマーカの動き
を用いて作成される移動ベクトルを前述の3次元計測の基準ベクトルの和で表現し、表情再現ア
ルゴリズムに基づいてWFMの各頂点の3次元移動ベクトルを求めることで実現する。
また、本稿における手法は顔画像中におけるマーカの追跡により表情の検出を実現しているため、マ
ーカの数が多い程、表情再現の忠実度が向上する。一方でマーカ検出系の計算負荷増大
や、CCDカメラのビデオ信号を用いて顔画像の撮影を行っているため、画像の解像度の限界か
ら追跡処理を誤るなどの問題が生じる。そこで、前述の顔のドットの位置にマーカを貼付するこ
とを前提とし、マーカの位置決定において重要度を導入する。その結果を、平均二乗誤差を用い
て移動ベクトルの推定精度を評価し、マーカの最適な数と配置に対する提案手法の有効性を実証
する。
第2章では、臨場感通信会議の概念と表情再現の原理について説明する。第3章では、本稿
で提案する実時間表情再現法における顔画像入力から表情再現画像の出力までの処理の詳細につ
いて述べる。第4章では、マーカの最適な数と配置の実験による検討を行う。第5章では、まず
ドットの位置をマーカの候補位置とし、ドットの重要度を表現する尺度を定義する。さらに、こ
の重要度にしたがいマーカを削減していった場合の再現画像を示す。