海老原一之，大谷淳，岸野文郎
周波数領域変換を用いた実時間表情検出
Abstract:異なる場所にいる人々があたかも一堂に会しているかのような感覚を持ちつつ，会議や協
調作業を行える環境を提供することを目的とした通信を筆者らは臨場感通信会議とよび，要
素技術の検討を進めている．従来のテレビ会議システムでは，人間同士の自然なコ
ミュニケーションのために重要な視線一致や運動視差の再現が困難であったが，臨場感通信
会議ではこれらの問題を解決するために，3次元コンピュータグラフィックス技術を用いて
生成された仮想的な共有空間に，会議参加者の3次元人物像や物体を配置し，立体ディスプ
レイに表示する．ここで，会議参加者については，送信側で表情や動きを検出し，受信
側の3次元人物モデルにおいて再現する．したがって，参加者の表情検出を実時間
で実現し，3次元顔モデル(3Dimension Wire Frame Modelにより構築．以後，3D WFM)
で忠実に再現できれば，参加者同士の円滑なコミュニケーションが可能となり，臨場感通信
会議の実現に向けて大きな前進となる．仮想空間を共有して協調作業や会議を実現する臨場
感通信会議におれる実時間表情検出・再現は，参加者の表情を実時間で検出し忠実に再現す
る必要はあるが，参加者の感情は参加者が直接判断するため，表情検出は物理的な変化のみ
を検出すればよい．
会議参加者の顔の実時間表情検出を行う場合，顔画像中から非接触な形式を用いて実現す
ることが望ましく，従来から顔画像のみを用いて実時間で顔の表情検出を行う研究は数多く
見られる．例えば，顔全体を均等間隔のライン分割を行いラインの輝度変化により表情を検
出する研究や，顔画像のエッジ検出を行い形状変化を検出して表情変化を捉える研究
がある．しかし，実時間性の問題や，処理の安定性に問題が見らた．また，3次元顔モ
デルにおける表情生成の研究も数多く見られるが，表情検出系
とリンクして実時間で表情を再現した研究としては，音声解析を用いて口の形状を実時間で
再現しようとしたシステムが見られる程度である．
筆者らは，表情検出のためのカメラを顔に対して相対的に常に同一の位置に保つために，
小型CCDカメラを固定したヘルメットを会議参加者が被るようにし，表情検出処理の簡易
化のため参加者の顔に小球状のマーカを貼付して，前述のカメラからの顔画像中で追跡する
システムを構築した（図2)．しかし，この従来システムでは，会議参加者は，顔にマーカ
を貼付する必要があり，マンマシンインターフェースの観点からは望ましいとは言えず，シ
ステムの実用性に課題を残していた．
本稿では，前述のヘルメットに固定したカメラを用いて，マーカを貼付していない状態の
顔を観測することにより獲得される顔両像から，画像処理のみを用いて実時間表情検出を行
う手法を検討する．本方式では，小型CCDカメラから得られる顔画像中において顔の位置
が常に同一になるように，毎回ヘルメットを被ることは困難であるほか，顔画像は周囲の明
るさの変化や映像信号のノイズ等の影響を受けるために，実時間で安定に表情検出を行うこ
とは非常に困難であった．
そこで本稿では，ヘルメットに固定した小型CCDカメラから得られた顔画像を周波数領
域に変換し，周波数成分の変化を捉えることにより，周波数成分の増減から会議参加者の表
情の変化を検出する手法を提案する．ここで，周波数成分の変化は，無表情時からの相対変
化量なので，3次元顔モデルを変形することにより，表情の変化を再現する情報に変換する
必要がある．本稿では，周波数成分の変化量と顔の表情筋の移動量を，GA(Genetic
Algorithm)を用た学習により関連付け，3次元人物モデルの変形情報として用いてい
る．
以下，2章では，臨場感通信会議における実時間表情検出・再現について説明する．3章
では，本稿で提案する実時間表情検出法の処理の詳細について述べる．4章では，実際の適
用例と実験結果について述べ，5章で本稿をまとめる．