- 多対h写像を学習する多層ネットワークの理論 - Abstract:正則化ネットワーク(Regularization Network, RN)は、「学習＝関数近似」という立場から、Poggio & Girosiによって提案された学習ネットワークである。RNは、標準正則化理論に基づいて導出される。本論文では、非線形システムの逆モデル学習を可能にするため、RNを拡張し、多価写像を例から直接学習する多価正則化ネットワーク(Multi-Valued Regularization Network(MVRN)）を提案する。MVRNは、多価標準正則化理論(Multi-Valued Standard Regularization Theory(MVSRT)）に基づいて導出される。MVSRTは、テンソル積(Kronecker積）を用いた多価関数の直接表現法に基づく。MVRNでは、教師データからのネットワーク結合重みパラメータの学習が、従来の正則化ネットワークと同様、連立1次方程式に帰着される。本理論では、教師データを1価の要素関数に分離するためのクラスタリングは必要ない。従来のRNと同様、MVRNを特殊化したり、教師データ数よりも少ない基底関数を用いて、円形基底関数法(Radial Basis Function(RBF))、一般化円形基底関数法(Generalized RBF)、スプライン近似、HyperBFネットワークなどが多価関数に拡張される。本理論で用いた多価関数の直接表現法は、RNに限らず、一般のネットワークに多価写像を学習させるための基礎方程式として広く利用可能である。
キーワード：正則化ネットワーク、関数近似、写像学習、正則化理論、多価写像、計算論的学習理論、多層ネットワーク、ニューロコンピューティング、逆問題
The regularization network (RN) is extended to approximate multi-valued functions so that many-to-h mapping, where h denotes multiplicity of the mapping, can be represented and learned from a finite number of input-output examples without hard clustering operations on the training data set. Multi-valued function approximations are useful for learning ambiguous input-output relations from examples. This extension, which we call the Multi-Valued Regularization Network (MVRN), is derived from the Multi-Valued Standard Regularization Theory (MVSRT), which is an extension of standard regularization theory to multi-valued functions. MVSRT is based on a direct algebraic representation of multi-valued functions by using tensor product (Kronecker's product). By simple transformation of the unknown functions, we can obtain linear Euler-Lagrange equations. Therefore, the learning algorithm for MVRN is reduced to solving a linear system. It's rather surprising that the dimension of the linear system is invariant to the multiplicity h. The proposed theory can be specialized and extended into Radial Basis Function (REF) Methods, Generalized REF (GRBF), spline approximation, and HyperBF networks of multi-valued functions. We also describe how the vector-valued function approximations can be extended into the multi- and vector-valued function approximations.
Keywords: Regularization network, Function approximation, Regularization theory, Multi-valued mapping, Computational learning theory, Multilayer network, Neural computation, Inverse problem.