志沢雅彦
標準正則化理論の多価関数への拡張(2) — 多価正則化ネットワークとその学習アルゴリズム —
Abstract:本論文では、正則化ネットワーク(Regularization Network (RN)）を1対h写像、すなわち多価関数を近似する様に拡張した多価正則化ネットワーク(Multi-Valued Regularization Network (MVRN)）を提案する。多価関数の近似は、例から多重、多義的な入出力関係を学習するのに有用である。MVRNは、多価標準正則化理論(Multi-Valued Standard Regularization Theory (MVSRT)）に基づいて導出される。MVSRTは、代数方程式による多価関数の直接的表現法に基づいている。未知関数の置き換えにより、線形のEuler-Lagrange方程式が得られる。したがって、MVRNは、入出力サンプルデータの集合からのネットワーク結合重みパラメータの学習を連立一次方程式を解くだけで行うことができ、その際に、データのクラスタリングを行う必要がない。さらに、この連立方程式の次数は写像の多価度に依存せず、サンプルデータ数に等しくなることが示される。従来の正則化ネットワークの場合と同様に、MVRNを特殊化したり、サンプルデータ数よりも少ない基底関数で近似することによって、円形基底関数法（Radial Basis Function (RBF)）、一般化円形基底関数法 (Generalized RBF)、スプライン近似、HyperBFネットワークなどを多価関数の近似に拡張することができる。本稿では、予備実験として、Gaussian RBFネットワークを導出し、そのシミュレーション結果も報告する。さらに、多価ベクトル値関数を学習するMVRNの構成法について述べる。
キーワード：正則化ネットワーク、標準正則化理論、多価関数、1対多写像、写像学習、関数近似、フィードフォワードネットワーク