イメージを伝える

1．こんなイメージで…
「こんなイメージで、一つお願いしますよ」「イメージがわかないなあ」なんて会話をすることがあります。こちらの伝えたいイメージを相手に伝える、これこそコミュニケーションの本質ではないでしょうか。従来の電話では、「JR大阪駅前で午後1時に」というふうに、声で用件を伝えていました。しかし声だけでは伝わらない情報も多くあります。たとえば、「顔は丸顔で、目はやさしく…」というように、人の顔を電話で伝えるのは困難です。そのような場合、1枚の写真がイメージを大きく膨らませることができます。動く映像があればもっといいでしょう。
　しかし、電話がテレビ電話になり映像が送れ、映像や音の品質が上がっても、必ずしも自分が伝えたいイメージを相手に伝えられるとは限りません。旅行先のビデオを見せることはできても、その時の感動を人に伝えるのはなかなか困難なものです。

2．イメージを表現するには画家や音楽家は自分の持っているイメージを絵画や音楽の形で多くの人に伝えようとしています。それに共感を覚える人たちが彼らの作品を買っているわけです。写真でなく絵画、自然にある音でなく作り出した音、それらを通じて伝える側のイメージをより鮮明に伝える事ができるわけです。たとえ写真であっても、自然の中のどの空間のどの時間を切り出すかによって、伝わるイメージは異なります。そこには種々のイメージ表現のための技法が存在します。旅行先のビデオをただ見せるのではなく、編集し、タイトルを入れ、音楽を入れることにより、自分が伝えたかったイメージ、空の青さや砂浜の白さを強調することができるわけです。
　映像によるイメージ表現は映画やテレビの世界で即座に実現されている様に見えますが、現状は、イメージを即座に映像として表現できるわけではなく、一枚毎の画像をコンピュータとは縁遠い専門家集団が手作りする世界です。コンピュータも導入されていますが、機器のコントロールが中心であり、そのコンピュータの操作自身、専門家の手に委ねられています。イメージ表現という、人の創造的活動をコンピュータがより積極的に支援できないだろうか。コンピュータや映像の専門家でなくても、もっと簡単に、マルチメディアを駆使して自由に思い通りの作品を作ることのできるシステムはできないだろうか。それが我々の「イメージ表現」という研究テーマです。

3．マルチメディアを駆使してイメージを表現する
マルチメディアというと漠然と、映像や音のことと思われています。しかし、映像や音のどの部分がどんなイメージを表現できるのかを今一度考える必要があります。人が何かを表現するときには、物の形で表現したり、色で表現したり、動きで表現することもあるわけです。我々はそれら1つ1つをメディアと考え、それらメディアを自由に操作（ハンドリング）し、組み合わせる（インテグレート）ことにより、マルチメディアを駆使してイメージ表現できるシステムを目指し、研究、開発を進めています。具体的には、映像から動きや3次元情報などをメディアとして抽出する研究、抽出したメディアを映像や音とともにマルチメディア部品として蓄積、管理するデータベース技術、複数のメディアを自由に組み合わせて新しい表現を作り出すメディア処理技術、そしてユーザの意図を敏感に察知してくれるインターフェース技術の研究などです。また、それら研究を統合するシステムとして、統合メディア操作環境COMI & CS（Computer Organized Media Intergration & Communication System）を提案しています。
　COMI & CSは、ユーザの頭にあるイメージをいくつかのメディアを組み合わせて、多様なメディアの操作ツールを専門的な知識や熟練を必要とせず、簡単に表現できる環境を提供します。図1がその構成です。ここでは、コンピュータミュージックが楽器からの演奏情報で音源や音響効果を制御しているように、形状や動きなどの入力メディアによって、映像源、映像効果を制御します。楽器で音楽を演奏するように、映像やマルチメディアを自由に演奏できる環境を提供しようというわけです。図2は、試作したCOMI & CSの操作例です。この例では、音楽用のキーボードを操作して、音楽を演奏すると同時に、CG（Computer Graphics）で作った文字のロゴを回転させています。音階によって文字が、鍵盤を押す力の強弱によって色や回転速度が変わります。
　入力はなにもキーボードのような装置や機械である必要はありません。映像の中の物体の動きを入力することもできます。たとえばサッカーシーンでのボールの動きを入力メディアとすることもできます。ボールの動きに映像効果と心臓の鼓動音をつけてみました。ボールの位置がよくわかるようにボールの廻りを明るくするような映像処理を施し、また、ボールがキーパーに近づくにつれて「ドクッ、ドクッ、」から「ドクドクドク…」と心臓の鼓動が高鳴るような作品を実現しました。
　一度作った作品はどんどんイメージデータベースに蓄えられていきます。次に作るときには、前に作った作品を変更して、素材を交換したり、入出力の接続を変更できます。これは、ワープロで、一度作った文章を切り貼りしながら新しい文章を作るようなものです。簡単に言えば、ワードプロセッサのマルチメディア版です。しかも演奏できるマルチメディアプロセッサなのです。

4感性豊かな表現を目指して
ところで、マルチメディアを駆使して作品を作ることができるようになっても良い作品、気に入った作品ができるとは限りません。映像と音をくっつけても、合っていたり、合わなかったりします。カラオケで音楽に合っていない映像をみることも多いのではないでしょうか。映像から受けるイメージ（印象）と音から受ける印象が異なるためです。また、同じ素材を使いながら、感性豊かな人はすばらしいイメージを伝えることのできる作品を作ることができます。COMI & CSでは、マルチメディアを駆使する道具を提供するだけでなく、表現の専門家のノウハウや知識、感性を蓄積、管理し、専門家でない人に提供します。そのための感性処理の研究として、いろいろなメディアから受ける印象や人に感動を与える要素、技法についての研究、つまり「感性とは何か」「感性データの収集」「感性豊かな表現」についての研究も進めています。