1．体験メディア
人間は昔から、紙、本、新聞、ラジオ、テレビといったメディアを次々と発明してきました。インターネットも、今や私たちにとって欠かせないメディアのひ
とつです。インターネットが過去のメディアと大きく異なるのは、誰もが自分の考えや体験を発信することができることと、その検索性の高さです。しかし、そ
れらの優位性は、情報発信者個人による知識や体験の言語化に大きく頼っており、そのために、人々の意識の間に齟齬が生じたり、知識や技能の本質がなかなか
伝達できなかったりといった不具合が生じます。
現在、私たちが言語化された知識に基づいたメディアに頼らざるを得ないのは、私たちの体験をセンシングし、扱うためのメディアが存在していないからで
す。そういった現状に対し、来たる「ユビキタス社会」では、体験をそのまま扱えるメディア、いわゆる「体験メディア」が実現できるのでは、と私たちの研究
グループでは期待しています。体験メディアとはすなわち、体験の記録、解釈、創造を可能にするシステムのことです。
ここでは、ユビキタス技術を用いた体験メディア構築へ向けてのATRでの試みを紹介します。
2．体験を記録する
体験を記録する試みの第一歩として、環境センサと装着型センサを併用した体験記録システムを開発しています。（図1）は、ATRの研究発表会のポスター発表会場を利用して体験記録
システムの実証実験を行っている様子です。各展示ブースの天井には、カメラとマイクが設置されています。また、体験者の一人称的視点の映像を記録するため
に、デモ説明者と希望する来訪者には記録システムを身に着けてもらいました。
また、各カメラの映像に何が写っているのかを実時間で認識するために、赤外線を使ったIDステムを開発しました。個別のIDを発信する赤外線IDタグ
（以下、LEDタグ）を会場内の展示物やポスターに貼り付け、会場にいる人にも身に着けてもらいました。そして、そのIDを認識するビジョンセンサ（以
下、IRトラッカ）
をカメラと組み合わせることで、すべてのカメラ映像に実時間で「写っている対象物（人）」のインデクスを付与することが可能になりました。
3．体験を解釈する
記録された体験データは、その内容を理解し、適切に表現することで、意味のある知識になります。我々は、「体験」の意味を解釈する指標として、人と人、
人とモノの間のインタラクションに着目しました。具体的には、前述のIRトラッカのデータによって解釈される「見つめる」行為と、個人マイクのデータから
解釈される「発話」行為の組み合わせで、人のインタラクションを解釈しました。
例えば（図2）に示したように、「Xの展示ブースに滞在し
た」、「展示物Yをしばらく見た」、「Aさんと会話した」といったような体験の要素を簡単に認識することができます。また、同時に発生している要素を組み
合わせることで、「3人で会話した」、「Bさんと一緒に展示Zについて話した」といったような、より抽象度の高い意味解釈を自動的に行うことが可能になり
ました。
その結果、大量に記録された体験データから、個人にとってのハイライトシーンを抽出したり、複数カメラの映像を切り替えながら臨場感のある体験ビデオを
作製する、といったことが、自動的に、かつ、ほぼ実時間で行うことができました。前述のATR研究発表会では、来訪者ひとりひとりに見学要約のビデオサマ
リを作成し、Webからアクセスできるサービスを提供しました（図3）。
4．体験を創造する
メディアと言うからには、観測された体験を記録・解釈するだけでなく、新たな体験の創造を可能にすることが求められます。我々の試みの特徴として、ただ
人の体験を観測するだけでなく、体験を演出する方法論の開発を進めています。その一例として、コミュニケーションロボットが積極的に体験者に話しかける、
という手法を用いています（図4）。
ロボット単体では、目の前に人がいることを認識するだけでも技術的に困難です。しかし、我々の体験記録システムでは、環境や人に装着されたユビキタスセ
ンサにより、誰がどこで何をしてきたのかを理解することができます。その情報を利用することで、ロボットは目の前にいる初対面の来客者に対して名前で呼び
かけたり、まだ見ていない展示物を紹介したりすることができます。そういった、言わば人間の能力をも超えたスーパーガイドによって、人の体験を演出するこ
とが可能になると考えています。
5．おわりに
言葉の辞書や文法をコンピュータが扱えるようになったことで、Webの検索エンジン、翻訳システム、音声対話システムといった様々な便利な道具が私たち
の社会生活を豊かにしてきました。ここで紹介した我々の試みは、言葉だけでは表現しきれない「体験」をコンピュータで扱うことを可能にするために、体験を
表現する辞書や文法を構築する試みであると考えています。体験メディアが私たちの社会生活や産業に与えるインパクトは計り知れません。これから多くの研究
者が体験メディア実現のための研究開発に参加してくれることを期待しています。
