仮想変身システム
−自分の姿を好みの姿に変えられるシステムを目指して−
1．変身願望
@@summary_begin@@
変身は、おそらく誰もが、程度の差こそあれ、いだいている願望だと言えます。例えば、女性はある年齢に達すれば、ほとんど全員が化粧という変身技術を自分自身に施します。（もっとも、最近では、男性でも化粧をする人がいるようですが）。化粧は顔を中心に行いますが、アクセサリー類や服装等を変えることで、気分や雰囲気を変える、というのもしばしば多くの人が行うことであり、自分のありのままの姿を変えたい、という気持ちの表れと言えるでしょう。また、もっと積極的に、「自分の姿を（自分以外の）別の姿に変えたい」という気持ちを反映した行動もしばしば見られます。遊園地や観光地には、図1のように、顔の部分がけが丸く切り抜かれて穴になっている、怪獣やアニメーションのキャラクターの立て看板がよく置いてあります。子供だけでなく大人さえもが喜んで立て看板の裏から自分の顔を穴から見せて、家族や友人のカメラのファインダーに収まっている風景を目にします。言うまでもなく、彼らは自分の姿を別の姿に変えて楽しんでいるわけです。似たようなこととしては、誰もが子供の頃、「忍者ごっこ」、「怪獣ごっこ」といった「○○ごっこ」を経験していると思いますが、これも「自分の好きなキャラクターに変身したい」という子供心の表れでしょう。「○○ごっこ」は子供だけのものかというと、アメリカのユニバーサルスタジオには、テレビドラマ等の番組の場面に、希望するお客さん（ほとんどが大の大人）が番組の役柄として登場できるというアトラクションがあり、大変な人気です。このように、変身願望というのは、世の老若男女を問わず、世界共通の欲求とすら思えてきます。本稿では、誰もが任意の姿に仮想的に変身可能なシステムの実現を目指して行っている筆者らの研究について紹介します。
2．新しいコミュニケーション手段としての仮想変身
離れた場所の人物同士のコミュニケーションの手段は現在でも電話が中心で、映像情報を用いたコミュニケーション手段は、テレビ電話等が研究されているものの、必ずしも積極的に利用されているとは言えません。その理由の一つに、「自分の生の顔が（相手のテレビに）映るのが嫌だ」という意見が根強く存在するようです。と言うことは、映像を中心としたコミュニケーション手段の普及のためには、1．で述べたように、人間の変身願望を満足させる技術の実現がポイントの一つと言えるのではないでしょうか。
第一研究室では、離れた場所にいる人物同士の、映像情報に基づく仮想的な空間を介したコミュニケーション環境の創出に取り組んでいます。このようなコミュニケーション環境のスコープの一つとして、1．で述べた「仮想的な変身」が位置づけられます。仮想変身システムを実現するためには、変身しようとする人物の表情と身体の動きを検出し、別の姿において実時間で再現する必要があります。その一例として筆者らは、誰もが歌舞伎役者に変身できるバーチャル歌舞伎システムを開発しました。以下にその技術的な内容について述べることにします。
3．バーチャル歌舞伎システム
バーチャル歌舞伎システムは、（1）歌舞伎役者の3次元モデルを作成しておく処理、（2）変身しようとする人物の表情と全身の姿勢の、非接触方式による実時間推定、（3）推定された（2）のデータの歌舞伎役者モデルにおける再現、の3つの主要な処理モジュールから構成されています（図2）。
（1）歌舞伎役者のモデリング
歌舞伎役者のモデルを、ワイヤーフレームモデル、即ち、小さな三角形のパッチの集合によってあらかじめ作成しておきます。ここで、衣装や皮膚の色彩情報であるカラーテクスチャをワイヤーフレームモデルにマッピングしておきます。歌舞伎役者のモデルは、人物の動き情報に従って、適宜変形することができます。図2では、歌舞伎役者モデルは、グラフィックスワークステーションOnyx
Reality Engine 2（Silicon Graphics社製）に蓄積されます。
（2）人物の表情と全身の姿勢の実時間推定
歌舞伎役者に変身しようとする人物の表情と全身の姿勢の推定は、従来センサ等を装着することが多かったのですが、動きの妨げになる等の問題があり、非接触な方式により実時間で行えることが望まれます。
顔の実時間表情検出は、筆者らが開発した周波数領域変換に基づく手法[1]を用いて行います。歌舞伎を演じる人物は、カメラが顔に対して常に一定の位置にあるように、小型CCDカメラを固定したヘルメットを被ります。カメラから得られた顔画像における目、口等の顔要素の領域に対して周波数領域変換の一つであるDCT（Discrete
Cosine Transform）を施し、表情特徴として、縦、横、斜め方向のDCTエネルギーを求めます。このようなDCT特徴は、顔要素の形状変化に対応していると考えられます。次に、DCT特徴を、あらかじめ学習により求めておいた変換式により、各顔要素の周囲の代表点の顔画像中における動きベクトルに変換します。一方、人物の全身の姿勢は、赤外線カメラにより獲得される熱画像（図3左）から推定します[2]。ここで、熱画像を用いたのは、人物の体に対応する部分が背景から容易に識別でき、照明条件や衣服の色等のノイズ要因によらず安定に人物のシルエット像が抽出できるからです。人物のシルエット像から、頭頂部や手先等の特徴点をまず抽出します。人物の全身の姿勢を推定しようとする場合、これだけでは十分ではなく、肘、膝といった主要な関節の位置を推定する必要が在ります。このために、前述の特徴点の抽出結果から、学習的に推定する手法を開発しました（図3中。四角が各点の位置の推定結果を示します）。
（3）人物の表情と姿勢の歌舞伎役者モデルにおける再現
（2）で得られた表情検出結果（代表点の動きベクトル）は、歌舞伎役者モデルにおける顔部分の変形に用いられます。顔の変形法としては、種々の表情表出時における顔の形の3次元計測結果を用いる手法[1]を用います。また、全身の姿勢再現に関しては、（2）で得られた熱画像における人体の特徴点の2次元座標を、歌舞伎役者の3次元モデルを変形する3次元データに変換する式をあらかじめ学習的に求めておき、再現時に利用します。図3右に歌舞伎役者モデルにおける動き再現例を示します。
以上述べたように、歌舞伎役者に変身しようとする人物の表情と全身の姿勢が歌舞伎役者モデルで再現されるので、これを図2に示したように、大型のプロジェクタスクリーンに歌舞伎の舞台背景とともに表示します。現在、（2）で述べた表情と姿勢推定処理は、パソコンで20フレーム／秒程度の速度を達成しています。また、（3）の表示処理は、10フレーム／秒程度であり、改善の余地を残しています。しかし、平成8年8月に米国New
Orleansで開催されたコンピュータグラフィックスの分野で世界最大の国際会議SIGGRAPH96[3]のDigital
Bayou（インタラクティブなディジタルデモ展示）で実演デモを行い、極めて安定な動作を実現するとともに、マスコミに注目を浴びる等、好評を博しました。
4．むすび
本稿では、仮想変身システムの一例としてバーチャル歌舞伎システムを紹介しましたが、本仮想変身システムでは、歌舞伎役者以外のモデルも作成しておくことにより、任意の姿に変身可能です。例えば、既に筆者らが開発した図4の怪獣モデルを用いれば、怪獣に変身できます。今後は、遠隔地の人々がそれぞれの役柄に姿を変えてシーンの中に登場し、インタラクティブに映画や演劇が作成できるバーチャルシアターの実現を目指します。また、本稿で述べた仮想変身技術は映像情報を始めとするマルチメディア通信の発展・普及に貢献できるものと期待されます。 @@summary_end@@
Copyright(c)2002（株）国際電気通信基礎技術研究所
