「見え方」と「見せ方」から探る次世代
コミュニケーション技術



人間情報科学研究所　視覚ダイナミクス研究室　矢野　澄男


1. はじめに
　人間の視覚機能にかかわるコミュニケーション技術の開発は、基本的には「見え方」と「見せ方」に関することが中心になります。「見え方」がわかれば、その原理や結果を「見せ方」に反映して人間の視覚に合った技術開発が可能です。新たな「見せ方」の技術を確立することにより、これまでとは違った「見え方」を探ることもできます。本稿では、日常環境の中で運動する物体の見え方を調べ、スポーツトレーニングやリハビリテーションに適用する研究開発と、人間の顔を自由自在に生成したり見せ方を変えたりする新技術を用いて明らかになりつつある、対人コミュニケーションにおける顔情報の役割について紹介します。

2．人間の運動物体の予測学習
　私たちを取り巻く環境は時々刻々と変化しています。物体の運動は、この環境変化が大きい例の一つです。運動する物体の見え方は日常の環境条件から強く影響を受け、運動物体の方向の予測は視覚の学習だけで向上することがわかりました。
　図1に示す大画面の立体画像の表示装置を用いて、放物線上に球の運動を表示したバーチャルなボールを人に捕らえさせる実験を行い、重力加速度を変化させた場合に運動物体を捕らえるタイミングがどのように変わるかを調べました。その結果、人間は重力加速度の変化に関係なくほぼ同じタイミングで手を出して球を捕捉することがわかりました。このことは、人間は運動物体の予測をするときに、暗黙のうちに、通常の重力加速度を考慮していることを示唆しています[1]。また、視覚の学習だけでも運動物体の予測が向上すること、予測精度の向上と同時に予測の確信度も向上することもわかりました[2]。
　運動物体を捕らえることは、スポーツトレーニングでは一つの重要な要素と考えられています。通常のトレーニングでは視覚と運動機能を組み合わせて行われますが、私たちの発見は必ずしも両者の組み合わせが必要ないことを示唆しています。
　現在は、学習に伴う運動物体の予測を効率的に向上させるために必要な、効果的なVR画像の表示の仕方、学習の方法、そして、運動予測に関係する大脳部位の同定の研究を進めています。このような研究を推進することによって人間の見え方に合った見せ方ができる技術を創り出し、効果的なスポーツトレーニングやリハビリテーションに役立てたいと考えています。

3．対人コミュニケーションでの顔の情報の役割
　対人コミュニケーションでは、音声言語情報と同時に、性別や年齢などの個人としての属性や表情を表出する顔が重要な役割を果たしていることが指摘されています。私たちはこの顔が語りかける情報について総合的な研究を進めています。
頭・口唇・顎といった顔の各部分は、発話と関係して動いています。図2のように、人間が話している時の頭・顔面の運動を検出し、図2のような抽象化された顔のCGを検出した運動データで動かすことができます。このときに、運動のマッピングデータをいじって頭・口唇・顎の動きが、会話の内容了解度へどの程度影響するかを調べました。その結果、口唇の動きが会話の内容を了解するのに大きく影響していることがわかり始めています[3]。
　また、リアルな顔を生成する道具として、トーキングヘッドアニメーションを自動的に作成するソフトウエアを開発しました。このソフトウエアを用いることにより、誇張した表情や笑いなどの情動を付加した顔に対する人間の知覚を調べることができるようになりました。最も基本的なトーキングヘッドは図3のような構成になります。ある個人の顔データとその発話音声データを収録します。そして、顔データにはメッシュを張って主成分分析を行います。さらに、その主成分を発話音声データを基に線形結合します。このようにして、ある人物に極めて似た顔の動きや発話をするアニメーションを生成できます[4]。ある人の顔データがあれば、たとえその顔が猫や漫画の主人公であっても、その顔を他の人の音声データで駆動することも可能です。現在は、数百人規模の3次元顔データベースを基に、任意の顔に対するトーキングヘッドアニメーションができるように開発を進めています。このように、新たに開発した顔の動きを自由自在に操る技術を用いて対人コミュニケーションでの顔の情報の役割を調べ、人間にとって自然で違和感のない対話型インタフェースの開発につなげていこうと考えています。

4．まとめ
　本稿では、人間の視覚が物体の運動を予測する仕組みと、顔の動きを自由自在に操る技術を用いて対人コミュニケーションでの顔の情報の役割を調べる研究の一端をご紹介しました。いずれも「見え方」あるいは「見せ方」、特に、視覚情報としての「動き」に着目した研究です。今後も、人間の視覚機能をより深く理解するための研究を推進し、そこから得られた新たな知見を生かした新しい技術を創り出す予定です。さらに、これらを利用して、再び視覚機能を調べ、より洗練された次世代コミュニケーション技術の構築を目指します。


参考文献