メディア情報科学研究所
（株式会社エイ・ティ・アール知能映像通信研究所）
メディアの統合とコミュニケーションの研究開発
元 知能映像通信研究所
社長 中津 良平
知能映像通信研究所では、平成7年（1995年）から6年半の期間、マルチメディア技術を活用した将来の通信として、仮想環境の中でのコミュニケーションシステム、コンピュータエージェントが人間のコミュニケーションを支援するシステム、自分の持つイメージを映像や音で表現し伝達するシステムの構築をめざした研究を行ってきました。その際、コミュニケーションにおける顔表情・ジェスチャ・感情などの非言語情報の取り組みに力を入れるとともに、アーティストと工学者との共同研究を実行してきました。
その結果、画像処理、バーチャルリアリティ、エージェント、感性処理などの分野で、約270件の学術論文、約1,300件の国際会議等論文、約200件の特許が成果として得られました。また、これらの成果に対し30件以上の表彰をいただきました。また、アーティストと工学者の共同研究を通して構築された多くのシステムは、国内外の工学やアートの展示会で入賞したり、マスコミで頻繁に報道されました。これらの活動を通して同研究所の名前は、工学の分野のみならずメディアアートなどの新しいアートの分野でも世界的に知られるようになりました。
■コミュニケーションにおける環境生成
現実には異なる場所にいる人物同士が一つの仮想的なシーンを介してコミュニケーションを行うことができる環境の実現をめざし、人物に関する入力の研究、体感を実現できる研究を進めてきました。
人物を捉える観点から、両手による6パターンのジェスチャーを認識し、さらに、複数カメラの制御法の拡張手法を試み、非同期式処理によるカメラ制御を考案し、人物追跡への展開ができました（図1）。
追体験を可能とするコミュニケーション環境として、仮想的シーンに要求される重要な機能の中の歩行感覚提示について研究を進めてきました。歩行感覚提示の研究では、個人差を吸収した適応的な歩行動作追従制御による左右の歩行変換自動追従機能を実現しています。このシステムとして構築したのがスポーツにおける選手の追体験を再現する体感型マラソン中継システムです（図2）。
以上の取り組みは、体験Webとしての五感メディアの入出力の研究に、発展させていきます。
■コミュニケーションを支援する技術
エージェント技術
博物館や展示会などで使われる、来訪者に展示内容を紹介し個人の興味に合わせてガイドするシステムの研究を進めました。デスクトップコンピュータに自分が出向いて状況を逐一入力する従来の手法に対して、歩き回って展示を調査・鑑賞したり、人と出会うという実世界の活動を手軽にコンピュータに知らせることによって、実空間に分散して配置されている知識を効果的に利用するという新しい情報流通基盤システムの構成手法を提案しました。その実現のための要素技術として、平易な操作や自然なインタラクションによる文脈を認識生成する手法と自律的に情報収集提示をするエージェント技術とを組み合わせた「インタフェース・エージェント技術」を開発しました。この技術は、日本人工知能学会の全国大会のオフィシャルサービスとして2度も採用されるなど実績を積み、新規性と将来性において展示業者などからも注目されました（図3）。
イメージ表現支援技術
身体動作、絵画や写真などの画像、映像と音楽の協調などによるイメージ表現を支援する技術について研究を進めてきました。
身体動作に関してはダンスを対象として、ダンス動作の物理的特徴量と心理評価との関係を分析し、踊り手の表現しようとするイメージを推定する手法を確立しました。この手法を応用し、推定イメージに従って踊り手の映像・音楽環境を制御する「インタラクティブ・ダンスシステム」（図4）を開発しました。
絵画や写真に関しては、画像の三大要素である構図・配色・テクスチャ（筆遣い）について適切なガイドを随時提示することで、専門家でなくても良好な絵画を容易に制作できる絵画作成支援システムを構築しました。また、構図ガイドを応用したサブシステムとして、良好な構図となるように主な対象を自動配置する「イメージ・リコンポーザ」（図5）なども試作しました。
■コミュニケーションの人間科学
マルチメディア技術の発展は、人間とコンピュータとの関係に大きな変化をもたらします。顔・身体・声を備えた存在として、コンピュータは単なる情報機械ではなく、仕事においても遊びにおいても人間のパートナーとなっていきます。人間とコンピュータの新しい関係を示す概念として社会的エージェントの概念を提案しました。
人間と自然にコミュニケーションを行う社会的エージェントの実現には、人間同士のコミュニケーションを解明し再現する必要があります。人間同士の自然な対話を記録し、コンピュータを用いた精密な分析を行い、韻律や間などの非言語情報が自然な対話の成り立ちに重要な役割を果たすことを突き止めました。
コミュニケーションの愉しさを人間とコンピュータとのインタラクションにおいて実現することを目標として、人間同士の雑談を再現するCG仮想エージェントTalking
Eye、声の韻律を模倣するMiMIC、コミュニケーションロボット Robovie、人形ロボットMuuを開発しました（図6）。
■アート＆テクノロジー
アートと工学の融合により、人間の感覚・感性に強く訴える感性主体の新しいコミュニケーション環境の創出を進めてきました。より具体的には、アートと工学の融合、すなわちインタラクティブアートと画像・音声処理技術およびヒューマンインタフェース技術の融合により、感性主体の新しいコミュニケーションの手法・手段を実現してきました。
一連のシステムの構築により人間が仮想空間に没入しストーリー体験のできる高度なインタラクティブキャラクタシステムが構築できました。さらにその延長として、コミュニケーション当事者の整理情報をキャラクタのアニメーションで表現することにより無意識レベルのコミュニケーションを可視化した「無意識の流れ」を研究開発しました（図7）。
