アート＆テクノロジー研究

－感情、無意識、コミュニケーションのインタラクティブな可視化－

1．はじめに
@@summary_begin@@ 　人間の感覚や感性の技術研究というとらえ方をすると、現在ではバーチャルリアリティや、他のコンピュータテクノロジーが発達して、いろいろなハードウェアやソフトウェアの研究が出現してきてはいます。しかしそれらは、人間が日常生活で営んでいる五感の再現を狙っているものが多いのですが、我々が日常的に感じている五感の方がリアリティーがあり、テクノロジーが再現する感覚では満足できず感性をくすぐらないのが現状です。ゲームによる対話型エンターティメントのアプローチもありますが、まだ人間の情感を引き出すといったところまで至っておらず、消費される娯楽となっています。これらを解決し、情感、しいては感動を引き出すためには、アーティスティックなアプローチを工学に取り入れることが考えられます。

2．言葉を話さない相手とやりとりができるのか?
　本研究は、芸術の創造性を活用した人間の感情の探究や感性や意識の拡張の技術研究ということができます。探究の方法は、工学における、客観的定量化の方法とは異なり、個人の感じる主観に基づいて判断がなされます。感じ方の切り口の深さ、新しい着目点や価値観の発想、時代性を反映する作品で評価されます。その考え方を取り入れることにより、新たな感性インタフェースや、メディア、コンテンツを発想できます。現在はアナログからデジタルへ情報の数値化が進んでおり、感性についてもそれを数値化するシステムを考える時代に突入しています。

3．機械に自分の声の特徴を真似されるとどう思うのか?
　この忙しい情報化社会の中で、人間ほど気をつかわなくて良くて、ペットほど面倒を見なくて良い、ある程度自分自身で判断できる何かを、ふと求めたことはないでしょうか。ニューロベイビー（図1）は、自己の分身のようであり自分に最も近い他者がコンセプトです。ニューロベイビー：ミックは、人間と同じように、言葉の意味を認識しながら、同じに言葉に含まれる感情を認識し、反応することができます。また、音声だけでなく、電子メールにおける感情翻訳（個人差のある感情表現を送り手に的確に伝える）機能もあります。

4．インタラクティブポエム
　我々の古来の文化である連歌形式で、コンピュータ詩人と人間が即興詩を作る「インタラクティブポエム」（図2）は、詩を享受するだけではなく、能動的に人間がコンピュータと創作することにより没入感と、誰がコンピュータと創作するかという個性の違いを実現しました。ギリシャ神話の音楽の女神「ミューズ」は、まるで一緒に歌うようにユーザーに対して、短い詩的な言葉を感情を込めて語りかけます。それを聞いてユーザーは詩の世界に入り、詩的な言葉をミューズに語り返します。この詩的な言葉をやりとりする対話プロセスを通じて、感性コミュニケーションを、ユーザーとコンピュータが一緒に創り上げます。

5．感情で物語りが生成されるインタラクティブシアター（図3）
　さらに深い感情移入生成を実現するためドラマの導入を試みました。人が小説を読み、映画を観る時、それらの対象に深く感情移入することは周知の事実です。しかし、我々がどんなに感情移入しようと、現実と非現実の壁を越えてその世界に直接踏み込むことはできません。本研究ではインタラクションの導入により、この壁をやぶり映画の世界に入る没入感と、その場の雰囲気を堪能したり、感情キャラクターと話してみたり、話す内容によって、ドラマが変ってしまうようなことが可能なシステムを文脈性と創造性をベースに実現しました。複数のユーザーが、モーションキャプチャー、感情認識、音声認識技術を使って映像の世界観に没入します。ユーザーは「ロメオ&ジュリエット」を主観的に演じ、時空間を超えて、共感、感動を体験するという事を目的としています。

6．無意識の流れ
　この作品では、人間の無意識／共感情報を視覚化することを目的にシステムを研究しました。2人の人間が対面した時に表に現れてこないコミュニケーションの共鳴度をコンピュータで分析、表現します。水面を泳いでいるCGの人魚は2人の分身となり、リラックス－緊張度（無意識情報）を心拍情報から、興味度（意識情報）を身体距離から導かれたインタラクティブ共鳴度モデルにより表現します。例えば、人間はお互いにすましていても、人魚は水の中で喧嘩をしたりするわけです。

7．評価
　本研究の成果の一つは感情を介した人間・コンピュータ間のインタフェースの実現です。
　まず、人間の感情を認識し、それに反応するコンピュータキャラクター「ニューロベイビー:ミック」を構築しました。これは感情インタフェースの実現例としては最初のものです。また、「ニューロベイビー:ミック」は国内外の数々の技術展示会・アートの展覧会に展示・招待展示され、実際に体験した見学者から高い評価を得ました。これらの結果から感情インタフェースが文化を問わず極めて有効なものであるという評価をすることができます。
　次に本研究で実現したことは、感情移入の実現です。従来の人間とコンピュータのインタフェースでは「効率」が評価基準でした。しかしながら人間同士のコミュニケーションでは効率が基準ではないように、感情インタフェースにより、人間がインタラクションにいかに夢中になり没入、感動できるかが適切な評価基準といえます。
　人間と詩を連歌的に創作しうるシステム「インタラクティブポエム」は、国内外の数多くのアート展示・技術展示に出展し、体験していただいた多くの人々から「コンピュータ詩人ミューズとの詩の掛け合いに没入した」との感想をいただくなど、国内外の人々に深い感銘を与えることができました。これらの事実から、ノンバーバルインタフェース、バーバルインタフェースの融合が文化を越えて深い感情移入を実現できることを実証しました。
　「インタラクティブシアター」は、国際ベルリン映画祭を始め、ヨーロッパ最大のCG国際会議であるImagina2000等、数々の招待出展を受け、人々の評価を仰ぎましたが、いままでになかったドラマ的な感情移入体験が実現できました。
　「無意識の流れ」は、SIGGRAPH'99アートショウに選ばれ展示を行いました。また世界最大のアート&テクノロジー国際会議Ars Electronica2000では賞をいただき、米国、ヨーロッパ、アジアから招待を受け、無意識情報の可視化という新しいコミュニケーション様式が評価されました。

8．おわりに
　感情情報は「主観性、多義性、あいまい性、状況依存性」といった属性を持つ情報です。また感情には無意識の情報も含まれているので、なぜその感情が生成されるのかという感情発生要因の研究も必要です。以上の理由から感情情報は記号ではなく、個性的、異文化間の幅を解釈する尺度を選べるようにすべきです。
　直観する時に起こる主要な感情の一つが、美的満足感です。美こそ真理であり、真理こそ美です。このように美と調和の感覚が、芸術・科学に活気をもたらしてくれます。感性をコンピュータで分析すること以上にこれらの感性をいかにまとめ上げるかということが、個性の創出につながります。現代は、芸術の方法論をコンピュータを通して工学化することが可能です。この技術は、人にイメージを伝達するための豊かなメディアとして人類に貢献することができます。それは社会システムの構造を変えるほどのインパクトを持ち、現代社会における秩序や情報の連鎖、関係性を変えるものになるでしょう。
〔詳細はhttp://www.mic.atr.co.jp/~tosa/をご覧下さい〕@@summary_end@@