1.背 景
インターネットが普及し、大量の情報や知識が地球規模で入手・共有・発信できるようになっている。また、政府のe-Japan重点計画[1]に代表されるように、超高速ネットワークによる情報基盤も整備されつつある。いつでも、どこでも、だれもが必要な情報をやり取りできるユビキタスな情報流通時代が目前に迫っている。一方、電子メール、インターネットの普及によって、政治・経済・文化のグローバル化が加速したものの、同時に、異文化間で対立の先鋭化、デジタル・デバイド、大衆の分衆化、世代間断絶の拡大など新たな問題も起きている。ユビキタスな情報流通を実現するには、グローバル化だけでなく、異文化、異分野の多様性を認めあう視点が必要になる。そのためには、世代、地域、職業、文化、社会を越えたコミュニケーションを実現するための革新的なメディア技術が必要になる。メディア利用形態の時代変遷を見るとメディア研究の方向性が見えてくる（図1）。まず、コミュニティの拡がりという観点からみると、テキストや音、映像を通じて、専門家から大衆へ発信するマス・メディアの時代が起き、携帯電話やメールなどの個人が相互に発信するパーソナル・メディアの時代へ発展した。1990年代にはグループウエアやWebなどによって、個人がコミュニティへ発信するコミュニティ・メディアの時代に移った。そしてその先に、メディアの境界を無くし利用形態の融合を可能とするダイバシティ（多様性に対応できる）・メディアの時代を迎えようとしている。また、メディアの次元という観点からみても、コンピュータで扱えるメディアがテキストから音、映像と発展し、最近では人工現実感（VR）、テレ・イクジスタンス等に代表される、「場」という空間も含めたものに発展してきている。このように、メディアの歴史をみただけでも、体験や感動、意図を相手に伝え、共有したいという人間本来の欲求を満たすために、メディア表現が高度化してきたことがよくわかる。すなわち、メディアは文化形成の牽引役であり、今後、ハイパーテキストよりもさらに豊かなメディアへと発展していくのは自然な流れといえる。現在のWebはハイパーテキストをベースにしたドキュメントの集まりである。今の教科書のように文字や写真で表現したドキュメント形式の知識だけをインターネットを介して、相手に一方向的に伝達してもこちらの感動や意図が相手になかなか伝わらない。すなわち、異文化、異分野を越えたコミュニケーションを実現するにはインターネットで使える現状のメディアでは不十分である。異文化コミュニケーションについては、言語の壁を越える研究として、言語に関する機械翻訳がある。しかしながら、相手と体験を共有するには、言語の翻訳だけでは不十分であり、非言語情報の「翻訳」が必要になってくる。情報を発信する側が持っているメディアと相手のメディアが異なる場合には、メディア変換が必要であり、この処理を、ここでは広義の意味で「翻訳」と呼ぶ。非言語情報特有のメディア変換を伴う「翻訳」をここでは、図1に示すように「メディア翻訳」と呼ぶ。コンピュータによる言語翻訳の研究では、翻訳性能を上げるために音声言語コーパスが有効であることが知られている。非言語情報のメディア翻訳においても、コーパス構築の研究が必要になるが、言語翻訳に比べてデータの種類と量が増えるため、量、質ともにブレークスルーとなる研究課題に挑むことになる。このような背景を踏まえて、次なるメディア研究の挑戦として、非言語情報を中心として、人の体験、創造活動に関する情報を相互共有できる「体験を共有するWeb（体験Webと呼ぶ）」の構想を考える。
2.研究の意義と目標
国語辞書によれば、「体験」とは、（1）実際に自分で経験すること。また、その経験、（2）個々人のうちで直接に感得される経験。知性的な一般化を経ていない点で経験よりも人格的・個性的な意味をもつ、とある[2]。人の体験自体、体験の思考、感情、感動などの人格的、個人的な事象であり、自分の体験をそのまま他人に伝えることは不可能である。しかしながら、ある人の体験をその人の動作、身体情報、心拍などを観測することによって、他人に現実的・仮想的に再現または共有することは可能である。
その場合に、電話や電子メールのやり取りのような気軽な双方向コミュニケーションを基本にして、経験や体験のような具体例を伝えることを考える。相手が感じた体験を電子メールのような感覚である人にフィードバックすることで両者に新たな体験が生まれる可能性もでてくる。また、体験共有は教科書レベルの知識の伝達を越えて、「わざ」や「目利き力」の伝承・習得・創出など、コミュニケーションを通じて、深いレベルで協調的に創造性を高めることにも貢献する可能性がある。この双方向コミュニケーションを実現する場合、同期コミュニケーションでは、たくさんの相手と共感することが難しい。そこで、本研究では、Webに代表されるような蓄積型の非同期コミュニケーションに焦点を当てる。すなわち、Webを基にして、人と人、人とメディア、メディア間でのコミュニケーションを通して、体験を伝え、共感できる「インタラクション・メディア」を研究する。体験Webができれば、子供の時代から、多くの専門家が有する特殊な技能を体験できるようになる。また、新たな技能を習得したい人が今までのコミュニケーション手段では実現不可能だった、多くの専門家の技法を体験できる手段を提供できるという意義がある。現在のハイパーテキストのドキュメントに比べて、体験的に学習できるWeb環境を通して、今までにない、新しい発想・創造力・知性の高い人材を育成できれば、21世紀型の知の流通革命が起きるかもしれない。具体的に、体験Webを通じて、体験を共有して新たな体験を創造する実現イメージを図2に示す。図2では、一家団欒のひと時に、体験Webを通じて少年が学校で体験した授業内容を受け取り、少年の体験データを家族と共有して、家族皆で新たな体験を創出する。ロボットや人形などが理解を深め、新たな発想や創造性を高めるためにインタラクティブな演出を行う。また、少年の父が恐竜の肌触りを擬似的に体験することも可能になる。本研究は、このような体験共有コミュニケーションを実現するために、まずその要素技術を確立することを目標にして、図2に示すような体験Webプロトタイプを構築することをめざす。
3．インタラクション・メディアの要求条件
体験Webの実現につながるインタラクション・メディアを研究するにあたって、ダイバシティ・メディアの要求条件として、次に示す、機能性、操作性、発展性、社会性を備えたメディアの実現をめざす。（1）機能性の追究
体験を伝えるインタラクション・メディアの基本的な機能として、体験や感動、感情を観測し、相手と体験を共有できる必要がある。個人が体験データを発信できるためには、体験を観測して認識・理解する機能が必要になる。その手がかりとなるのは、パターン認識・理解技術とマルチメディア内容検索技術がある。また、体験の再現には、同期コミュニケーションを基本とするテレ・イグジスタンス技術、場表現を含む人工現実感技術などがヒントになる。そこで、これら技術をベースにして、体験に関する五感・生体・身体情報の観測、認識・理解、再現を可能にするインタラクション・メディア（「五感メディア」とよぶ）の研究を行う。
（2）操作性の追究
総務省の通信利用動向調査[3]によれば、インターネットを利用しない人は「気軽に教えてくれる人がいれば」（41.4%）、「気軽に体験や練習できる場所があれば」（36.6%）という要望がある。体験Webの操作についても、現在のパソコン以上に操作が複雑になる問題を解決しなくてはならない。将来のメディアがパソコンに比べてどう変わるのかは、ユビキタスな情報流通時代を迎えるにあって、ヒューマン・インタフェース研究の最大の課題であろう。本研究では、1つの解決案として、ロボット、人形、着衣、家具などの内部に、センサーやアクチュエータをつけて、ユーザとコミュニケーションできるユビキタス・インタフェース（「協創パートナー」とよぶ）に着目する。体験観測の複雑な機械操作をできるだけ協創パートナーに任せることによって、ユーザにとって操作性が良いと感じるインタフェースを実現することを狙う。具体的なイメージとして、協創パートナーがユーザに話しかけ、必要な体験データを観測してくれる。的確な操作と高精度な観測を実現するためにこのインタラクションの演出法が最も重要な技術となる。さらに操作性を向上させるには、ユーザの特性、習慣、反応に応じて的確なアドバイスをいえる適応的なインタラクション制御機能も必要になる。そこで、ユーザとの協調性やネットワークを介して協調的に体験データをやり取りできるインタラクション・メディア（協調メディアと呼ぶ）の研究開発を行う。（3）発展性の追究
体験Webが発展するには、優れた体験コンテンツを創ることが不可欠であり、流通性のよいコンテンツ記述形式を確立する必要がある。また、優れたコンテンツをWeb上の体験データから見つけるには、体験データを比較する評価尺度が必要になる。そこで、まず優れた体験コンテンツを収集し、体験に関する感性情報を分析して、専門家の知識・技法を表現できる感性・技能辞書を作成する。子供達などがこの辞書を用いて体験的に学習する方法、感動や技能が伝わりやすくなる体験の演出方法などを検討する。こうして、相手に感動や技能が伝わりやすくなり、楽しみながら学習できるメディアを提供できる。そこで、感性・技能辞書を構成して、多くの人にこれらの辞書を体験的に学習できるインタラクション・メディア（「知育メディア」と呼ぶ）の研究を行う。（4）社会性の追究
体験Webの技術が社会に普及するには、老人や障害者などを含む誰もが利用可能であり、個人個人のメディア感受性に適応した体験共有ができなければならない。また、プライバシーや著作権など利用者の立場に立った研究が必要である。人間同士のインタラクション・メディアを用いた体験共有コミュニケーションの実証的な分析と、コミュニケーションを支える人間の認知過程の計算モデル構築を通じて個人やグループの特性に適応した体験の変換を可能とするインタラクション・メディアの理論的基盤を確立する。さらに、新しいメディアがもたらす社会の変化を予測し、利用する人間の観点に立ったメディア技術の評価技法を確立する。これらを通じて、メディア技術の開発にフィードバックを行うために、「体験共有コミュニケーション」の研究開発を行う。
4．研究概要と課題
体験Web上でのインタラクション・メディアの基本動作のイメージを協調メディアと五感メディアを使って説明する。図3に示すように、あるユーザAの体験は協調メディアに組み込まれた五感メディアによって観測される。協創パートナーがユーザとのインタラクションに応じて五感メディアを制御し、体験に関する、音、映像、生体情報、身体情報などを観測する。引き続き、認識・理解処理によって、言語情報および非言語情報に関するコーパス（インタラクション・コーパスと呼ぶ）を作成する。複数の協創パートナーによって観測する場合は、それらの観測結果を統合する。また、体験データに欠落部分があるかを調べ、必要に応じて再度観測を行う。この観測処理はユーザに負担をかけないように、できるだけ協創パートナーの処理に任せる。次に、他のユーザBが体験Web上でその体験データを検索し、ユーザAの体験を共有する場合を説明する、この場合、ユーザBとユーザAとの間で、観測できるメディア、生体・身体情報、環境が異なっても、できるだけ同じ感動を共有するにはどうすればよいかという問題が生じる。ここでは、ユーザAとユーザBのインタラクション・コーパスの中に、これらの違いが識別できる属性データを作成することによって、ユーザ間の相互変換が可能になる方法を探る。ユーザBの協調メディアがユーザAとユーザBとのインタラクション・コーパスを比較し、ユーザBのメディア環境で体験共有できるデータを再現する。ここでも、協創パートナーがインタラクションを演出することによって、ユーザBは複雑な機械操作に煩わされることなく体験を共有できる方法を検討する。
もう1つのインタラクション・メディアである、知育メディアの動作も基本的には協調メディアと同じである。唯一の違いは、個人の体験というよりは、芸術家や職人の創作過程における感性情報や技巧などの体験データを計測し、インタラクション・コーパスとして、感性・技能辞書を作成する点にある。また、多くのユーザが、自らの協創パートナーとともに、この感性・技能辞書から専門家や芸術家の体験的知識を効率よく学習することが可能になる。体験共有コミュニケーションの研究では、これらのインタラクション・メディアを用いて、「体験共有コミュニケーションの個人認知モデル」、「体験共有コミュニケーションの協調認知モデル」、「インタラクション・メディアの評価手法」の3つの研究を行う。個人認知モデルでは、インタラクション演出やインタラクション・コーパスについて個人特性を分析し、その背後にある個人認知プロセスの計算モデルを構築する。また、インタラクション・メディア研究の最も重要なテーマの1つである、体験共有に有効なインタラクション単位を明らかにする。また、協調認知モデルでは、協調メディア、知育メディアを用いて、社会的インタラクションやグループ知について社会心理学的手法によって分析し、体験Web技術に関する要求仕様の定式化等を行う。
5．おわりに
メディア情報科学研究所で進めているインタラクション・メディアの研究計画の概要と課題を紹介した。はじめに、人の感動や共感を伝達することを可能にする、体験を共有するWeb（体験Webと呼ぶ）」の構想を述べた。次に、協調メディア、知育メディア、五感メディアのインタラクション・メディアの研究テーマおよびこれらを用いた体験共有コミュニケーションの研究テーマとそれらの課題を述べた。これらテーマについては、これまでATRが蓄積してきた多くのメディア処理技術が利用できる。これら技術をうまく利用して、体験Webに関する革新的原理と概念を創出を加速していきたい。
Copyright(c)2002（株）国際電気通信基礎技術研究所
