中間時試験研究報告を終えて
−マルチメディア技術を用いた新しい通信の創出をめざして−
（株）ATR知能映像通信研究所 代表取締役社長 中津 良平
1．はじめに
ATR知能映像通信研究所は、「知能映像情報通信の基礎研究」を研究テーマとして、1995年から2002年までの7年間にわたる研究プロジェクトです。マルチメディア情報を活用した新しいコミュニケーション方式の確立を旗印として、20世紀から21世紀にまたがって行うプロジェクトです。
コミュニケーションは、本来、人間同士が向かい合って音声・身振り・手振りなど用いて自分の感情・意思を相手に伝える全感覚的なものです。これに対し、従来の通信は利用できるチャンネルが音声・文字を対象とした細いものであったために、人間同士のコミュニケーションのうち、主として言語情報を伝達するものに限定されていたといえるでしょう。最近、電気通信技術、コンピュータ技術の急速な発達により、従来の音声・文字を対象とした通信に加え、大量の映像情報の蓄積・伝送が可能になりつつあります。それに伴い、いわゆるマルチメディアに対する期待が急速に高まりつつあります。本プロジェクトではそれに応えて、マルチメディア技術を用いて来るべき21世紀の知的社会における新しいコミュニケーション方式の創出に向けた基礎研究を遂行しています。
1998年4月、研究期間の中間点である3年を経過した時点で、本試験プロジェクトの最大出資機関である基盤技術研究促進センター(KTC)の規定に基づき、これまでの研究進捗状況を中間時試験研究報告書としてまとめて提出しました。また、これと並行して11月には中間時評価報告書（経済性評価）を提出しました。KTCの技術評価結果は、最終的な目標である総合システムのイメージをより明確にして研究を進めるようにとの指摘もありましたが、全体としては研究の順調な進展や、新しい方向性を生み出す研究体制への取り組みなどが高く評価されたものでした。以下に報告概要を述べます。
2．試験研究の概要
本プロジェクトでは、通信において以下の二つを実現することを狙います。一つは、私たちが種々の情報・感覚を用いて日常行なっているface-to-faceに代表される現実のコミュニケーションに限りなく近いものを可能にすることです。もう一つは、現実のコミュニケーションの限界を超えて新たなコミュニケーションの環境・方式を創出しようとするものです。これらの目標達成に向けて、以下のサブテーマを設定し、研究を進めています。
(1) コミュニケーション環境生成技術
コミュニケーション環境生成では、臨場感あふれるコミュニケーションの場を生成したり、現実にはないようなコミュニケーションの場を生成する技術を研究します。具体的には、眼鏡なしで3次元映像を生成したり、人物像のみならず、背景の複雑な物体をCGで生成・制御する研究等を行います。それと共に、現実とは異なるが人間の感覚・感性に強く訴える環境の生成を試み、このような超リアルな環境によって現実世界では不可能な新しいコミュニケーションの可能性を探ります。
(2) エージェントインタフェース技術
人間同士のコミュニケーションのプロセスをコンピュータが支援することによって、コミュニケーションを促進・活性化し、相互理解の促進を図ります。具体的には、コンピュータの作り出した仮想的な人物（エージェント）を介在させることによりコミュニケーションの支援をさせることを狙います。このために、人間の姿・形をしたエージェントを生成すると共にその動作を制御する技術やコミュニケーションを活性化する技術を研究します。
(3) イメージ表現技術
イメージ表現は、私たちの持つ「イメージ」を言語を介さずにダイレクトに映像や音などのメディアを用いて表現し、相手に伝えようとするものです。日常生活では、言葉で言い表しにくい考えを図などを使って相手に伝えようとすることがしばしばあります。また、感情・色彩などは言葉では伝達が困難である場合がよくあります。このような場合に、音楽・絵画などの手段を用いてイメージ・概念などを相手に伝えることができれば、コミュニケーションはより豊かになると考えられます。これを実現するために、イメージを表現するための種々の映像・音のデータベースの研究、これらを自由に変形・合成する技術の研究を行います。
(4) コミュニケーションの人間科学
以上述べた研究を進めるにあたっては、人間がコミュニケーションをどのように行なっているかを理解することが必要です。その目標に向けて、映像・音と人間のイメージの関連の研究、コミュニケーションの行われる環境が人間に及ぼす影響の解明、コミュニケーションにおける人間の行動原理の解明等を行います。
3．研究活動と成果
今回の報告対象期間は、プロジェクトの期間7年のうち、最初の3年に当たります。この間のプロジェクト運営は以下の点に重点をおいて進めました。
(1) 外部への情報発信
マルチメディアを活用した新しいコミュニケーション手段の創出という学術的にも産業的にも意欲的なプロジェクトであるため、外部への情報発信を積極的に行いました。
学会などでの対外発表を積極的に行ない、学術論文119件、学会・研究会などでの発表526件を行いました。また同時に、一般の人々にも当社の研究活動状況をアピールすることを意識し、各種の展示の場で本試験研究の成果を積極的に展示しました。それらの結果は新聞、テレビ、雑誌などで積極的に取り上げられ、計238件の報道がありました。また、本試験研究の成果などに対して、学会など外部団体から高い評価を受け、計10件の表彰を受けました。
(2) 非言語情報の取り扱い
従来の通信工学の分野ではコミュニケーションでやり取りされる情報のうち論理的情報のみを扱ってきたといえます。しかしながら、人間のコミュニケーションでは論理以外の、感覚、感情、感性などと呼ばれる情報がやり取りされています。そしてこれらの情報が人間のコミュニケーションで非常に重要な役割を果たしていることは明らかです。このような観点から、感性を工学的にいかに扱うかの研究を開始し、「イメージ表現」の研究テーマにおいて、色彩、構図などと人間の感覚の関係を明らかにしたり、マルチメディアデータベースを感性的な表現によって検索する手法の研究を通して感性を工学的に扱う手法の研究を推進しました。
(3) 異分野とのcollaboration（アート＆テクノロジー）
コミュニケーションは人間の種々の側面に関連するため、コミュニケーション研究を進めるにあたっては他の研究領域と協力しつつ境界領域研究に取り組んでいく必要があります。その具体例として、アーティストと工学者の協力による新しいコミュニケーションの創出をめざした研究である、「アート＆テクノロジー」研究を立ち上げました。工学者が新しいコミュニケーションの技術を作り上げることをめざしている一方で、アーティスト特にインタラクティブアートの分野のアーティストは、アーティストと一般の人々との双方向コミュニケーションの実現を狙っています。このように双方の狙いが共通の面を持っているため、共同研究が豊かな成果を生む可能性があるとの考えの基に、数名のアーティストを客員研究員として招へいし、研究者との共同研究を開始しました。3年間で、コミュニケーションに応じて我々の周りの環境が変化する、「インタラクティブ環境」や、人間と感情レベルでのコミュニケーションのできるコンピュータキャラクタなどの具体的な成果が得られました。また、これまでにない新しい試みとして外部から幅広い関心と共感を得ることができました。
4．研究成果の具体例
(1) コミュニケーション環境生成技術
距離を隔てた人物同士の、仮想的なシーンを介したコミュニケーション環境の実現をめざして研究を進め、仮想変身システムを開発しました。仮想変身システムは、自分の姿を任意の別の姿に仮想的に変えることを基本的なコンセプトとし、変身後の姿の3次元モデリング、人物の表情と全身の姿勢の画像処理による実時間推定および変身後の姿における推定された表情と姿勢の再現、の3つの処理モジュールから構成されます。表情推定については周波数領域変換を利用する手法、姿勢推定については熱画像を解析する手法を新たに提案し、有効なアルゴリズムを構築しました。表情再現については美術解剖学の知見をベースに、観察者が自然と感じるデフォルメを加える手法を開発しました。また、構築したシステムは種々の場での実演デモを行い、本コンセプトの有効性をアピールしました。
シーンの認識・生成に関して、現実のシーンをステレオカメラで撮像することにより獲得されるステレオ画像から、アフィン座標変換に基づき、シーン中の任意視点からの見え方画像を生成する手法を提案し、検討を行いました。また、人物とのインタラクションを再現するため、シーン中の樹木等の自然物を実写ステレオ画像を用いてモデリングし、任意視点からの自然な見え方を再現することが可能な手法を提案しました。本モデルに力学的特性を与えることにより、シーンとのインタラクションやダイナミクスの再現が可能です。
人間の視覚特性に合致した仮想空間の実現をめざし、仮想環境内での立体表示手法として広く使われている二眼式立体表示方式の欠点を解消する疲労感のない立体表示方式について検討し、焦点調節補償型立体表示方式を提案し、実験装置の試作を行うとともに、試作装置を用いて焦点調節型立体表示方式の生理学的・心理学的な評価実験を行い、有効性を示す結果を得ました。また、仮想空間内の移動感覚や歩行感覚の生成の検討として、脚部触感覚刺激のための仮想歩行面生成システムを実現しました。
アートと工学の融合、すなわちインタラクティブアートと画像・音声処理技術およびヒューマンインタフェース技術による感性主体のコミュニケーションの実現では、新しいコミュニケーションの手法・手段として「人間と感情レベルでコミュニケーションできるエージェント（感性エージェント）」、対話的にストーリーが変化する「インタラクティブシネマ」、および「人間のコミュニケーションの状況に応じて変化する環境（インタラクティブ環境）」という新しいコミュニケーションシステムのコンセプトを提案しました。また、このコンセプトをベースにシステム作品を発表し、コンピュータアート作品としても高い評価を得ました。
(2) エージェント・インタフェース技術
言語的コミュニケーション支援システムの設計ベースとなるグループ思考モデルを構築し、それ
に基づいた対話支援環境(AIDE)を開発しました。AIDEでは思考空間を可視化して表現するコミュニケーション支援方法を提案し、相互理解、情報精錬化、思考のすり合わせによる対話の仲介などを可能にしました。また非言語領域でのコミュニケーション支援にも取り組み、音楽と映像の演奏と制作における創造的活動の支援を課題として、新しい楽器のパラダイムを提案するとともに、その具体例として全く新しいダンス楽器を開発しました。これらの支援をする実体としてのインタフェース・エージェントについてはキャラクタの振る舞い生成と表現に注目し、非同期階層型のエージェントアーキテクチャ(AHA)をまず設計し、その上にアニメーションデザインツールや、各エージェント指向システムを開発してきました。とりわけ、C-MAP(Context-aware
Mobile Assistant Project)と呼ぶ携帯端末を使ったガイドエージェントプロジェクトではシステムにおけるメッセージのやりとりやエージェントの振る舞い生成に、AHAをベースとしたプログラミング開発を行い、今後のテーマ遂行のためのインフラストラクチャとしてふさわしい、拡張性の高いシステム構築ができました。これらの研究テーマは一貫してMeta-museumと呼ぶ、新しく提案したコミュニケーション環境のコンセプトをベースにしており、仮想世界と実世界を統合しガイドエージェントが仲介をするアプリケーションシステムの構築に実質的な基盤技術となります。
(3) イメージ表現
人の頭の中にあるイメージをマルチメディアを用いて自由自在に表現できる技術の確立をめざし、必要な要素技術について研究を行いました。具体的には、種々のメディアを自由に操作するためのメディアハンドリング技術、表現したイメージに合った素材を検索、利用するためのイメージデータベースを重点項目とし、研究を進めました。また、感性豊かなイメージ表現をめざし、人間の持っている感性に関する研究に着手し、精力的に研究を行いました。研究の進め方として、個々の要素技術や手法の開発と並行して、それらを統合した具体的なイメージ表現支援システムとして、新しいタイプのデジタルスタジオやデジタル編集システムを構築しました。
メディアハンドリングに関しては、映像や音以外に、それらを構成する各要素、具体的には動き情報や奥行き情報、カメラワークもメディアと捉え、それらをマルチメディア部品として抽出し、自由に組み合わせて簡単にイメージを表現する枠組みCOMI&CS
(Computer Organized Media Integration & Communication System) を考案し、プロトタイプシステムを試作しました。個々の抽出法として、自律分散アーキテクチャを用いた動物体追跡法、複数台のカメラによる奥行き情報抽出法、人の立ち位置や動作のリアルタイム認識などを考案・実現しました。
自由にメディアを操作できても、期待通りのイメージが表現できるわけではありません。感性豊かな表現とは何か、表現の専門家が持っている知識とは何かという観点から、感性処理の研究を進めました。感性データを表現技法に関するデータと捉え、画像処理、映像処理により得られる物理的特徴量と印象の関係の解析、プロカメラマンのカメラワークの解析、デザインブックなどに記載された専門知識の利用、データベース化、アーティストとの共同作業による絵画の解析など種々の観点から表現技法のデジタル化を試みました。その結果、非専門家に利用可能なデータ取得が可能であるだけでなく、専門家にとっても有意義なデータが取得できることが判明しました。
(4) コミュニケーションの人間科学
環境と人間との基本レベルでのインタラクションのモデルとして、自律的行動主体の振る舞いを知覚と行動を通じた主体と環境との相互作用に基づく創発と捉えるエコロジカルアーキテクチャの提案を行いました。エコロジカルアーキテクチャに基づき、人間同士の日常的なコミュニケーションの持つ心地よさ・感情的交流を人工的に再現することをめざして「トーキング・アイシステム」を構築し、その上で日常的会話文の解析・生成手法の検討、雑談および漫才の生成システムの実現を行い、アーキテクチャの有効性を検証しました。
また、自律的なコンピュータ・エージェントが遍在する近未来社会を展望し、人間・人間および人間・機械のコミュニケーションを社会的な現象として把握・分析することを目的として、コミュニケーションにおける多様な言語的・非言語的、内容的・非内容的情報の交換過程を新たな研究領域（メタ・コミュニケーション）として設定しました。メタ・コミュニケーションの理論的観点からの研究については、情報意味論の手法を適用して、従来の言語意味論の拡張としてメタ・コミュニケーション現象を情報論的に分析・記述する手法を確立しました.。また、具体的なメタ・コミュニケーションの現象分析については、コミュニケーションとモダリティとの関わりの観点から、コミュニケーション過程観測・分析を進め、言語と音声の韻律的特徴の相互作用および機能の分析、メディア介在型コミュニケーションの特徴分析、集団内コミュニケーション規約の自発的生成分析などを行いました。また、コミュニケーションの社会心理の観点から、人間・機械間での社会的関係の成立・機能を実験的に確認する研究を推進しました。これら分析的研究は、心理的・社会的属性に裏付けられた人らしさを備えたコンピュータのための基本技術の根幹をなすものと位置付けられます。種々の研究領域の開拓・展開を積極的に推進することにより、多くの新たな知見を得ることに成功しました。
5．今後の研究方針と計画
本プロジェクトは、マルチメディア技術を駆使することによって、電話など従来の通信メディアに代わる新しい通信、コミュニケーションのための手段、より広くいえば通信メディアを創出することを狙ったものです。今後21世紀に向けてマルチメディア通信サービスが将来の情報通信産業の中核となり膨大な市場が生まれると予測されています。しかしながら、このような膨大な市場は、なにもしなくとも生まれてくるものではありません。マルチメディア時代にふさわしい通信メディア・通信サービスが生まれて初めてこのような膨大な市場が現実性を帯びてくると考えられます。
現在、多くの企業がこのような膨大な市場を確保することを狙って研究開発を行っていますが、従来の通信技術の延長としての研究開発に止まっているものが多く、将来の通信メディアを作り上げるという明確なビジョンを持って研究を進めているものは少ないようです。これは、マルチメディアが通信に止まらず、放送やさらには映画・ゲームなど我々の日常生活に広く関わるものであり、通信という枠組みから出て広く社会の動向を見ながら目標を定め研究開発を進めていく必要があることと深く関わっています。
本プロジェクトは、あえてそのような困難な問題に挑むこととしました。通信技術を、コミュニケーションのための環境生成技術、コミュニケーションの支援技術という2点に整理し、この研究を推進するとともに、さらにこれらを支える基礎研究としてコミュニケーションの人間科学というテーマを設定して、人間のコミュニケーションにおける行動原理を研究し、その成果を上記の研究テーマの中に生かして行くという方策を取りました。また、具体的なアプローチとしてはコミュニケーションにおける感覚・感情・感性などの非言語情報の取り扱いに重点を置き、これらを進めるために異分野とのcollaborationを積極的に進めることとしました。具体的には感覚・感情・感性などを取り扱うのにたけたアーティストとのcollaborationを積極的に推進しました。このような試みは世界的にも珍しいものですが、幸いにも多くの具体的な成果が得られ、広い分野の人々の間で新しい試みとして高く評価されています。
これらの成果は本プロジェクトにおける研究手法が正しいことを示しています。今後とも本アプローチを基本としつつ、さらに他の分野との協力関係を密接にして研究を進めます。さらに、これまでの成果を集約・応用し、本プロジェクトの最終目標である総合システムの構築をめざして研究を推進していきます。
