ヒューマンコミュニケーションメカニズムの研究




(株)エイ・ティ・アール人間情報通信研究所 代表取締役社長 東倉 洋一



1.研究成果総括

(1)試験研究の目的

 コミュニケーションの理想は、情報や環境の「共有」による場所、時間、言語、文化、メディアの壁を超えたインタラクションです。その具体的な姿は、ユーザがネットワークやコンピュータの存在を意識することなく、視覚、聴覚、触覚のような五感から表情、ジェスチャーまであらゆる機能(モード)を効果的に動員したマルチモーダルなコミュニケーションの実現にあります。このような前提のもとに、ユーザである人間の優れた機能・行動に学び、人間の情報生成・処理機構と充分な整合性をもつヒューマンコミュニケーションの要素技術を確立することが本試験研究の目的です(図1)。

(2)試験研究の概要
 言語やイメージなどの情報は、どのようにして頭の中に創り出されるのでしょうか。これらの情報は、どのような形で神経を伝わり、どんな仕組みで音声やジェスチャーなどとして表現されるのでしょうか。また、目、耳などの感覚器官からの情報が理解されるためには、どのような形で神経を伝わり、頭の中にどんな情報を創り出すのでしょうか。本試験研究では、これらの問題を解明し、その研究成果を利用したヒューマンコミュニケーション要素技術の確立を目的として、(1)音声言語情報生成機構の研究、(2)視覚情報生成機構の研究、(3)情報生成統合機構の研究、の3つのサブテーマを設定しました。初年度は3研究室、二年目からは6研究室体制で研究を進め、4年が経過しました。本試験研究の研究フェーズは図2に、これまでの成果の具体例は表1に示すとおりです。

2.プロジェクト前期をふりかえって

 ATR人間情報通信研究所を設立し、ATRの5つ目のプロジェクトとして本試験研究「ヒューマンコミュニケーションメカニズムの研究」を実質的に開始したのは1992年度です。研究期間は2001年までの9年間であり、文字通り「21世紀の扉を開く」研究プロジェクトとしてのスタートでした。
 本試験研究の内容は、1993年3月末で研究活動を終了した視聴覚機構研究所が積み上げてきた成果を充分に利用しつつ、さらに発展的な新規分野を開拓することを基本としています。工学、心理学、生理学などの異分野間の壁を乗り超えたトランスディシプリナリ(超分野的)な手法による本試験研究の遂行は、視聴覚機構研究所が行った基礎研究の壮大なる実験の結果、産み出された重要な研究理念です。
 本試験研究では、ユーザである「人の機能・行動に学ぶ」研究の具体的な展開に当って、新しい視点の導入を図りました。第一は1の(1)で述べたように「人のコミュニケーションは本質的にマルチモーダルである」とする視点です。第二は、「情報の生成と知覚の密接な係り」を重視する視点です。例えば、話すことと聞くことの関係が具体例です。第三は、「脳コミュニケーション」として、人の脳の構造や機能に迫る新しい研究アプローチの採用です。進化システムや人工生命を具体的な切り口としています。
 本試験研究では、前述の3つのサブテーマを設定し(1の(2)参照)、研究を実施してきました。1995年5月には、基盤技術研究促進センター(KTC)の規定に基づき、研究内容と進捗状況などをまとめた中間時試験研究報告を提出しました。この報告に対する技術評価結果によれば、研究の進捗、プロジェクト運営共に高い評価が与えられ、今後の研究の一層の進展への強い期待が示されました。本試験研究開始以来4年間の主な研究成果は表1のとおりです。

3.研究所の運営

(1)人材への重点投資

 研究の具体化にあたり、研究期間の前期3年間を新しい研究の視点やアプローチによる研究計画具体化の期間と位置付け、「研究は人なり」の考え方のもとに研究費の人材への重点投資政策を採りました。研究員の流動性を維持しつつ重要テーマおよび研究方針の継承を十分に行うためには、研究室長を含む研究指導層によるプロジェクト期間中の一貫した指導体制が必要です。このため、プロジェクト初期における研究指導層のプロパー研究員としての確保に努めました。また、歴史が浅く研究成果の蓄積が少ない新規開拓分野の効率的な立ち上げを狙い、世界からの適材の確保を積極的に進めました。これが「進化システムと人工生命」の国際的研究チームの結成として実ったわけです。この結果、トランスディシプリナリな研究アプローチに必要なバランスのとれた研究者構成を実現できたことが、その後の活発な研究活動と質の高い成果を生むための原動力となりました。研究者の国際化も一段と進み、海外研究者の比率は通年で約30%に達しています。しかし、これら異質性と流動性に富む研究環境の定着には今後の継続的努力が必要と考えています。3研究室体制、約20名の研究員でスタートした体制は、2年目からは6研究室、研究員60〜70名の定常規模で推移しています。

(2)情報発信基地として
 情報発信基地としての役割を強く意識した運営を行っています(図3)。学会、国際会議、学術誌への積極的な研究発表は、4年間(1996年2月末まで)で総計819件に達しています。しかも、発表数だけでなく、工技院電総研との研究交流による小脳の運動制御機構の研究における理論と生理実験を融合したトランスディシプリナリな成果が英国科学誌ネイチャーに掲載されるなど、質の面でも高い評価を受けています。
 主たる研究テーマに関連するワークショップやシンポジウムなどを積極的に開催することによって、研究の成果を世界に問うとともに広く国内外に研究協力ネットワークの構築を行い、このネットワークを活用した研究の加速的推進に努めてきました。
 「顔と物体認識」に関するシンポジウムを3回に渡って企画・実施しました。視覚の計算理論、認知心理学、神経生理学などの分野で世界的に活躍している第一線の研究者の参加を得て、顔の認知に関する国際的な研究ネットワーク作りに重要な役割を果しています。また、「音声知覚・生成における生物学的基礎」に関するワークショップを企画・実施しました。本試験研究の研究視点の一つである「人間の音声コミュニケーションを支える音声の知覚・生成能力は様々な感覚と密接に結び付いており、人間の総合的環境把握能力の上に構築されている」という考え方を国内外にアピールし、音声の知覚・生成研究に新しい流れを生み出すことに成功しました。更に、「進化的計算論に関する国際会議」及び「第4回人工生命ワークショップ(Artificial Life IV)」への積極的成果発表が国際的な関心と注目を集め、当研究所が進化システム・人工生命研究の世界的拠点の一つであることが国際的に認められた結果、「第5回人工生命ワークショップ(Artificial Life V)」を奈良に誘致することに成功しました(1996年5月開催予定)。

(3)研究活動の評価
 本章で述べた研究所運営上の積極的な施策が、「人が人を呼び、情報が情報を呼ぶ」好循環な環境を実現すると共に、研究員の雇用に関しても買手市場を形成し、プロジェクト前期における研究の進捗に結び付いたものと考えています。結果として、当研究所の研究活動と成果に関する新聞、放送などマスメディアの報道も研究進捗に伴って増加し、1992年3月末から1996年2月末に到る約4年間の新聞報道は231件、TV放送は20件を数えました。また、本試験研究の成果等に対して受けた学会等外部団体からの表彰も、すでに16件(22名)に達しています。主な賞に、平成5年度科学技術庁長官賞(研究功績者賞)、第11回大阪科学賞、1995年度日本文化デザイン大賞などがあります。

4.主要な研究成果

 音声言語情報生成機構の研究

音声言語情報生成機構の研究では、肉声の響を作り出す音声合成技術、人の音声言語認知能力に迫る音声認識技術に向け、鼻腔の精密3Dモデル、「変換聴覚フィードバック」を利用した音声の基本周波数制御における知覚・生成相互作用の基本特性の定量的解明などの成果を得た。

●鼻腔の精密3Dモデル
MRI(磁気共鳴画像法)を用いることにより、未知領域であった生体の鼻腔の3次元形状の精密計測を可能とした。これによって、従来の死体解剖データによる知見を塗り替え、肉声のもつ鼻音の音響特性再現の可能性を明示。

●声の高さと音色が調和した母音生成モデル

人の発声発話器官で行われる声の高さの変化とこれに伴う声道(舌、咽、口蓋で囲まれた声の通り道)の形状の相互作用の基本特性をモデル化し、声の高さに調和した自然な音色をもつ母音を生成できるコンピュータモデルを実現。

●「変換聴覚フィードバック」の開発と声の高さ制御の生成/知覚相互作用モデル
音声の生成と知覚(話すことと聞くこと)に関して、新しい実験とデータ解析の手法「変換聴覚フィードバック」を開発。この手法を使った音声の基本周波数制御における知覚・生成相互作用現象の発見と基本特性の定量的解析に成功。

●音声スペクトル情報の聴覚的表現法
音声に対する聴覚の性質の中で最も重要なマスキング特性の時間周波数的な適応機能を効率良く表現する新しいパラメータを提案し、音声認識性能向上における有効性を検証。

 視覚情報生成機構の研究

視覚情報インタフェースにおいて重要な「自然な立体視」のための要素技術の確立、環境の認識・理解のための視覚基本情報の抽出などを目的とし、運動残効現象を利用した奥行き運動知覚機構の解明、複数の物体の形やその動きが重なり合った多重・多義的視覚情報抽出の統一的な数学理論の提案・体系化、顔認知に関する基本的諸性質の発見などの成果を得た。

●「自然な立体視」に必要な視覚特性の解明
視覚パターンの生成過程では、運動残効現象を利用した新しい実験による奥行き運動知覚機構の解明、両眼融合視での知覚ひずみの定量的把握など、「自然な立体視」のための要素技術に向けた基本モデルの構築と検証。

●顔認知に関する基本的諸性質の発見
顔イメージの形成要因となる顔の形態的特徴に関する実験的検証。顔を見る角度によって同定能力が変化する顔認識の視点依存性に関する基本的性質を発見。

 情報生成統合機構の研究

運動制御の学習の本質に迫る基本モデルの提案とモデルの有効性に関する生理学的、実験的検証、運動制御と学習に関して「見まね」学習(人の動作を見てまねる)モデルの提案とけん玉 学習ロボットによるモデルの有効性検証、さらには、進化システムや人工生命などの未開拓分野への挑戦によるソフトウェア進化とハードウェア進化に関する具体的な可能性を示すことに成功した。

●学習と行動の神経計算モデルの生理学的・実験的検証

未熟な運動と望みの運動との誤差を減少させる学習機能によって逆モデルを習得し、俊敏な運動も望み通りに達成できる逆ダイナミクスモデルの提案とその生理学的検証に成功(通産省電総研との研究協力)。

●筋電位入力による仮想身体運動モデル

表面筋電図から腕の運動軌道を予測する身体運動モデルをニューラルネットワークで構築し、筋電位データを訓練データとして使用する学習によってヒューマンインタフェース要素技術としての有効性を確認。

●「見まね」学習モデルを提案
順モデル(運動神経情報から腕の動きを推定する)と逆モデルの繰り返しによる運動軌道生成のモデルに基づく「見まね」学習(人の動作を見てまねる)の原理をけん玉 学習ロボットによって検証。

●ソフトウェア進化の実験的検証

自己複製機能を基に新しい機能を自律的に生成・獲得するソフトウェア進化の可能性を検討するため、突然変異と自然淘汰をモデル化した仮想環境を超並列計算機上に構築し、計算機シミュレーションによって、新しい機能を自ら生成・獲得するプログラムの進化が、自然淘汰によって可能であることを実証。

●ハードウェア進化の実験的検証
セルオートマトンをベースに、任意のニューラルネットをハードウェアとして発生・成長・進化させる画期的なアイデアCAM-Brainを提案し、動作シミュレーション実験により、原理的な有効性を確認。

5.今後の展望


 本試験研究で積極的に採用してきたトランスディシプリナリ(超分野的)な研究手法が効果的に働き、研究期間前期の研究成果に結び付いたことを評価し、今後のより一層の充実を目指します。
 プロジェクト中期以降の課題である脳・神経系の高次機能の解明に向けて、非侵襲性脳活動計測技術等の研究遂行に必要な技術が成熟に達してきました。したがって、総合的な情報処理過程の神経計算論的アプローチによる大胆な仮説と非侵襲性脳活動計測技術による仮説検証を併用する研究手法が有力と考えています。また、人間の情報生成・処理機構の解明への具体的アプローチにおいて重視してきた3つの視点(マルチモーダル処理、生成と知覚の相互作用、脳コミュニケーション機構)とともに、一見受動的と思われがちな聴覚や視覚の能動的な働き、人間と機械(コンピュータ)と自然(環境)の共生といった視点を重視する考えです(図4)。
 21世紀には、マルチメディア社会のインフラ整備はより一層進展し、コンピュータのハードウェアが人間の頭脳に迫ることが予測されます。インフラ整備の完了とハードウェア技術の成熟に調和するソフトウェア技術、インフラの性能を十二分に発揮させ、人間の感性に訴えるヒューマンコミュニケーション要素技術として、本試験研究の成果を活用することに照準をあわせた研究の遂行に尽力する所存です。


プロジェクト概要

試験研究期間:1992年3月〜2001年2月(9年間)
試験研究費総額:160億円


コラム