対位法に基づいた映像合成



1．はじめに
　私は現在、音楽の対位法に基づいて映像を合成する研究を行っています。対位法と言うとコムズカシイ楽曲理論と思われがちなため、私の研究もどういう研究なのか分かり辛いと言われる事が時々あります。そこで今回は、何故私がこういう研究を始めることになったのかという所からご説明したいと思います。

2．映画との出会い
　元々、私は映像制作の専門家ではありませんが、学生の頃からとても映画好きな少年でした。特に映画を良く見たのは中学生から大学生の1960年代後半から1970年代前半の頃でした。フランスのヌーベルバーグやその頃流行っていたアメリカンニューシネマが好きでした。
　ちょうどその頃にはまっていたヌーベルバーグの作品に、アラン・レネの「去年マリエンバートで」があります。この映画はよく難解であると言われますが、それは映画を理屈で理解しようとするからです。その映像が表現するイメージを自分の感性でありのままに受け止めるようにすれば、その映画が持つ豊かな世界は、単なる理屈を超えて強く訴えかけてきます。「去年マリエンバートで」の強烈なイメージは、そのような形で私の脳裏に焼き付けられ、それが現在の映像合成研究へと結び付いたように思います。それがイメージの持つ力であると言って良いでしょう。
　今あらためて見直してみると、この映画が対位法を映像構成技法として積極的に用いた極めてめずらしい事例であることが分かります。「去年マリエンバートで」では、ちょうどフーガのように、同一のイメージが様々に変奏されながら、何度も何度も折り重ねられて行きます。ストーリーを説明することよりも、イメージを表現することが第一義に置かれ、そのための技法として対位法が用いられています。

3．建築、コンピュータ、映像
　私は大学では建築の意匠設計を専攻し、特に設計方法論に興味を持ちました。学部の終わり頃からコンピュータに興味を持ち、修士課程ではCADの研究を行いました。その後、1997年に日本ユニシスからATRに出向するまでは、ずっとCADシステムの研究開発に従事して来ました。建築とコンピュータ・システムと映像とでは、まるで別々の問題を扱っているという印象を持つ人も多いかも知れませんが、私自身は、ずっと一貫して同じ問題を研究して来たと思っています。どのようなものを作る場合でも、それは何らかの構成要素から成り立っています。したがって、それらの要素をどのように構成して全体を形成するかという一般問題としては、建築もコンピュータ・システムも映像も全く同じなのです。
　特に、建築を学ぶ事は、一般的な構成技能を修得するために非常に有効であるように思います。映画監督のエイゼンシュテイン、現代作曲家のクセナキス、MITメディアラボのネグロポンティ、数学出身の建築家クリストファ・アレキサンダー等、建築から始めて他分野の開拓者となったり、あるいはその理論が他分野に大きな影響を与えた人が数多く存在します。 　建築と映像との基本的な違いは、建築が空間を主な構成対象とするのに対して、映像は時間を主な構成対象とする点です。音楽との比較においては、映像は建築と同様に視覚を対象とする一方で、構成においては、時間を対象とする点で、より音楽に近いということが言えるでしょう。

4．対位法的ドキュメンタリーからポリリズムへ
　ATRに出向してから映像合成の研究を行うことになり、まずエイゼンシュテインの「モンタージュ理論」をレビューすることにしました。そこで彼が映像構成における対位法の重要性を強調している点に興味を持ちました。対位法と言うと、2つの対立概念を対照的に表現する構成技法のように思われがちですが、本来の意味はそういうことではありません。ある全体が複数の構成要素から成り立ち、それらの要素が自律的な独立性を並列的に保ちながら、全体としての調和を保っている世界が対位法の世界です。したがって、対位法とは、今で言えば、ちょうどエージェント指向のような、和声法よりもずっと現代的な構成概念です。また、東洋人から見れば、相対性を重んじる仏教思想にも通じる構成概念であり、そのようなものが中世のキリスト教社会の中から自然発生的に生まれて来たのは、非常に不思議なことでもあります。
　エイゼンシュテインの時代は、映画がサイレントからトーキーへ、またモノクロからカラーへとマルチメディア化して行った時代でした。エイゼンシュテイはそのようなマルチメディアの構成技法として対位法に価値を見い出しました。私はその事を知ってこれだと思い、素人ながら対位法の勉強をし出したのですが、そこで次に興味を持ったのが音楽家グレン・グールドです。
　グレン・グールドはバッハの対位法楽曲の演奏家として有名ですが、マルチメディアに関わる先進的な様々な試みを行った研究者でもあります。そのような彼の実験の中でも特に興味深いものが、「対位法的ドキュメンタリー」と呼ばれるラジオ・ドキュメンタリー作品です。これらの作品において、グールドは様々な人々へのインタビューの記録を対位法的に再構成することにより、あたかもそれらの言葉の間に仮想的な会話が存在するかのような独自の世界を構成しました。
　対位法的映像合成において、私がまず行った実験は、人為的に用意した映像素材を対位法的な線形変換により人為的に合成する実験でした。そのレベルでは、映像素材はCGでも何でも良いはずですが、私はそこで実写映像を使用することに何か特別な意味があるように感じていました。グールドの対位法的ドキュメンタリーを知ることにより、その意味が明らかとなりました。
　対位法とドキュメンタリーとを組み合わせることには特別な意味があるのです。映像でも音声でも、記録されたものは自然現象のありのままの写像としての固有の秩序に基づいた特徴を持っています。そのような特徴は何らかのリズムとして人間に知覚されます。このように記録素材に内在するリズムの自律性、普遍性、再現性に着目し、その時間変換によって素材間のリズム的調和関係に基づいた新たな世界を再構築するのが対位法的ドキュメンタリーです。
　このように、対位法的ドキュメンタリーは、複数の並列するリズムを融合させるポリリズムの一形態として捉えることができます。音楽では、クラシック、ジャズ、民族音楽、等の様々な分野において、ポリリズムに相当する概念が存在します。調性がもはや絶対的なものではなくなった現代音楽においては、楽曲を成立させる最も基本的な構成概念としてポリリズムが位置付けられると言っても良いのではないでしょうか。対位法では、ある旋律を時間的に移動して重ね合わせるという操作により、そこに必然的にポリリズム的な関係が生まれることになります。より根本的な構成概念としてポリリズムが存在し、それを実現するためのひとつの構成技法として対位法が存在するということが、リズムという観点からは言えるでしょう。

5．Multimedia MontageとImage Wave
　私の研究の具体的な内容にほとんど触れないうちに紙面が無くなってきてしまいました。私は映像合成の研究としてMultimedia Montageという研究を始め、その中で音楽の対位法に基づいて映像を構成する実験を行いました（図2）。そこで、グレン・グールドの対位法的ドキュメンタリーと出会い、そういうものをコンピュータを使って映像で構成できないかと考えました。そのためには、映像を解析して、そこに内在するリズム情報を自動抽出し、その情報を利用して映像を同期合成するメカニズムを開発する必要があります。そこで、そのために新たにImage Waveという研究を始めました。このImage Waveという言葉は、時間的なイメージをリズミカルな波形情報として捉えること、そしてイメージとはそもそもそういう合成波のようなものであろうという考え方を表しています。
　日頃、分かり辛いと言われる点を説明するためにこの文章を書いたのですが、またかえって分かり辛くなってしまったかも知れません。もし、私の研究に興味を持たれた方がおられれば、MICのホームページからペーパーをダウンロード注１できますので、ご覧になって下さい[1],[2] 。

参考文献

Copyright(c)2002（株）国際電気通信基礎技術研究所