小森正美, 大谷淳
3次元顔画像生成に関する研究
Abstract:異なる場所にいる人間同士がコミュニケーションを図る通信手段として，従来は音声による電話が主体であったが，人間同士の意思疎通には視覚も重要な働きをしていると考えられることから，現在は，テレビ電話やテレビ会議の研究開発が進められ，普及しつつある．ATR通信システム研究所では互いに異なる複数の場所にいる複数の人々があたかも一堂に会している感覚で会議を行うことができる通信を，臨場感通信会議と呼び，検討が進められている．臨場感通信会議の目的は，生成された仮想空間に，異なる場所にいる会議参加者の像を配置し，参加者全員が同じ空間を共有する感覚で，打ち合せや協調作業を行なえる環境を提供することにある．
臨場感通信会議システムでは，送信側の人物像の受信側における表示は，3次元ワイヤーフレームモデル（以下，ワイヤーフレームモデルと呼ぶ）にカラーテクスチャマッピングしたものを立体表示することにより行なわれる．従って，受信側で人物像の表情変化や体の動きを実時間で
表現するためには，送信側で人物の時間的変化情報を実時間で検出し，これらを受信側に送り，ワイヤーフレームモデルを駆動して変形させる．この3次元の人物像モデルは，3次元環境データから構成される仮想空間に配置され，受信側の立体ディスプレイに3次元表示される．このようなシステム構成にすることにより，従来のTV会議では困難であった運動視差の再現（例えば，参加者が横に動けば，見ているものの横が見えてくる）や，会議参加者同士の視線一致の実現が可能となる．すなわち，互いに離れた場所にいる会議参加者は，あたかも一堂に会したような臨場感をもって会議を行うことができる．本報告は3次元顔モデルにおける表情生成に関するものである．人間の表情は，顔に存在する表情筋と呼ばれる筋肉の動きにより発生する．従って，3次元顔モデルにおいて表情を生成するためには，各表情筋の時間的な3次元変形の情報が有効である．すなわち，Ekmanらが，表情筋の場所と変形の仕方についてFACSと呼ばれる分類学的なマニュアルを作成しているが，各表情筋の定性的な動作が主にまとめられているだけで，定量的な情報は乏しい．そこで本研究所では，マーカを顔皮膚表面に貼付し，ステレオカメラを用いて，直接的に表情筋の変形を測定し，顔モデルにおいて表情を再現する試みを開始している．この検討では，マーカからの距離に応じた重みを，ワイヤーフレームモデルの各ノードに与え，適宜3次元動きベクトルを求めていたが，各ノードの各時刻における位置計測（推定）という観点からは不十分であった．
そこで，本報告では，マーカの位置に基づき，顔の皮膚表面をB-スプライン曲面近似することにより，ワイヤーフレームモデルの各ノードの位置推定を行う手法を検討する．
本報告は6章から構成される．まず，2章では，臨場感通信会議における人物像処理について概説し，3章では，表情変化の計測すなわち人物の顔に貼付されたマーカの計測方法について説明し，4章では，ワイヤーフレームモデルの各ノードの各時刻における位置推定に用いられるB-スプライン曲面近似について述べる．次に，5章では，実験結果と考察を示し，最後に，6章で，全体のまとめと今後の課題について述べる．