見ているところを見る

1．はじめに
　「この人らどこ見てんねんやろ？」。これがこの研究の出発点でした。私の所属する知能映像通信研究所第3研究室では、絵画や写真、映像等を見たときに、人がどのような印象を持つのか、あるいは特定の印象を人に与えるにはどうしたらよいかについて研究を行っています。私は同研究室に配属されたとき、絵画や写真等の2次元のメディアに対して、見る人がどのような印象を持つのかを推定することを目標にATRでの研究を始めました。まず最初にやったことは、数十人の人に何枚かの絵を見せて、どのような印象を持ったかを主観評価する実験でした。この実験を行った後、「この人らどこ見てんねんやろ？」という疑問を持ったのです。例えば、野に咲く花の写真の印象を聞いたとき大半の人は「かわいい」と答えました。しかし、その写真には“さわやかな”青空も写っていたし、“生き生きとした”草木も写っていました。なのに、なぜ「かわいい」なのか？　それは、写真を見た人は明らかに花に注目していたからでした。このことから、人が注目する領域には、人の印象に影響を与える情報が多く含まれていると考えました。そして、もし注目する領域を特定できれば、その領域の特徴や意味から、人の印象をある程度正確に予測することができるのではないかと考えました。

2．人の目を引き付ける物理的特徴
　一般に、人が画像を見たとき画像中のすべてのものを知覚しているのではないと言われています。人間の初期視覚においては、意味的な情報処理は行われておらず、網膜に入る物理的刺激のみが処理されると考えられています。つまり、まずは領域の物理的刺激により注意を引きつけられ、次にその領域の意味的情報から領域を注目するか否かを判断すると考えられます。よって、物理的刺激が強く、目立つ領域は注目領域となる可能性が高く、逆に、物理的刺激が弱く、目立たない領域は注目領域となる可能性が低いということができます。
　画像から抽出可能な物理的特徴には、色、形、テクスチャ（模様）などさまざまなものがあります。その中でも色が目立つことに寄与する重要な特徴であることがこれまでの研究で明らかとなっています。過去の研究では、1）暖色の方が寒色よりも目立つ。2）混じり気のない色は目立つ。3）明るい色は目立つ。という結果が得られています。また、私達の実験では4）周辺との色差が大きいほど目立つという結果が得られました。この色の特徴と、画像中の領域の大きさに注目して人が注目する領域を抽出することを試みました。
　まず、上記の特徴量を用いて注目する領域とそうでない領域が識別できるかを判断するために、画像の中で注目した領域を指示してもらう実験を行いました。そして、被験者が注目した領域から上記の特徴量を計測し、統計的手法を用いて分析すると、注目した領域とそうでない領域との間に図1に示すような関係があることを発見しました。そして、この関係を用いて画像から人が注目する領域を抽出する手法を開発しました。

3．見るとこ抽出機
　画像から人が注目する手法は、1）画像をいくつかの領域に分割する、2）領域の特徴量を計測する、3）2で示した関係を用いて各領域を評価する、4）評価した結果、目立つと判断した領域を選択する手順から成っています。この手法を用いて人が注目すると思われる領域を抽出した結果を図2に示します。実際に、この手法の評価実験を行ったところ、人間が注目する領域を約83％の精度で抽出することができました。

4．見るところを使ってアートする
　この研究を進めているとき、同研究所に所属する画家（楜沢客員アーティスト）から、絵画の世界では絵をどうゆう順序で人に見せるかが絵の構図を決める一つの要因であることを教えていただきました。また、画家は絵の中で見せたいものを見せたい順に鑑賞者に見てもらうようにさまざまなテクニックを用いて鑑賞者の視点を誘導して描いているか教えてもらいました。そこで私は鑑賞者の視点がどのように誘導されるかを推定することにより絵画や写真の構図情報を抽出できるのではないかと考えました。また、見せたいものとその順序が分かれば、画面がどのように分割されているか、主題と副題との対比によって生まれるリズム等の構図情報を抽出することができ、さらにはその構図情報を用いて例えば素人の絵の良・不良を評価することができると考えました。その第一歩として、現在、図3に示すような、指定した絵の構図情報を使って、入力された絵や写真を再構成する"Image Re-composer"の開発を進めています。

5．おわりに
　このように、私の研究における“見るところ”（目標）は画像の印象推定から構図情報の抽出へと変わりましたが、基本的には人が見るところを追い求めて研究を行っております。この見るところを予測する技術は、画像認識や画像符号化等さまざまな応用が考えられる重要な技術です。今後は、構図情報抽出の研究を進めて行く中で、さまざまな画像に適応して“見るところ”を正確に抽出可能な手法の開発を行う予定でいます。また、上記システムを用いて素人絵画コンテストで入賞することも本気で考えています。"Let's become a professional artist"。これが、今後私の“見るところ”になりつつあります。

見ているところを見る

参考文献