最小二乘算法在rbf神经网络中的应用

《最小二乘算法在rbf神经网络中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据山西电子技术2008年第1期应用实践最小二乘算法在RBF神经网络中的应用曹屹立1葛超2张景春2孙丽英2朱艺2(1．唐山市热力总公司，河北唐山063000；2．河北理工大学信息学院，河北唐山063000)摘要：RBF神经网络构造的关键问题是网络中心的选取，最小二乘算法采用正交化方法，独立计算回归算子对输出的贡献，可以使中心的选择步骤简单有效。文章给出了最小二乘算法及其应用函数逼近的实例，结果证明，由于计算过程中应用了这一算法的正交化性质，所以网络调整时对已有模式的扰动达到最小。这说明最小二乘算法不仅简单有效，而且性能优越，并有较强的实用性，在许多领域有广泛应用。关键词：径向基函

2、数；神经网络；最小二乘算法；函数逼近中图分类号：TPl8文献标识码：AO引言近年来，随着智能技术的发展，神经网络理论已得到了广泛的应用，其中前馈网络和反馈网络是两种典型的网络模型，从学习的观点看，前馈网络(包括BP网络、RBF网络等)是一种较强的学习系统，具有复杂的非线性处理能力。实现映射和函数逼近是前馈网络的共同特点，径向基函数网络(RBF网络)具有较强的输入、输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。因此，RBF网络以其简单的结构、快速的训练过程和良好的推广能力等诸多优点已在许多应用领域取得了巨大的成功，特别是在模式分类和函数逼近方面。RBF网络中

3、心选取正交最dx-乘OLS算法，解决了径向基函数网络构造中的关键问题。OLS算法采用正交化方法独立计算回归算子对输出的贡献，故使中心的选择步骤简单有效。lBI心神经网络的结构原理RBF函数网络从结构上看是一个3层前馈网络(见图1)，包括一个输入层、一个输出层和一个隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高斯型函数：yly2图1RBF网络结构吻：唧{_虹g笋型h_1’2，⋯，^)(1)圹唧{一——霹—一P_1’2’⋯，^¨u收稿日期：2007—09—14修回日期：2007一11一09第一作者曾屹立男“岁

4、工程师煞=∑哟i仍一Oi=咖(2)j=I其中，z=(zI’z2，⋯，岛，)是RBF网络的输入数据向量；u／是第J个隐含层神经元的输出，且哟∈[0，1]，G是高斯函数的中心值，西是高斯函数的方差；h是隐含层神经元数目。输出层节点的激活函数通常为简单的线性函数。式(2)中，wi=(叫“，W2f，⋯，‰，一只)T；中=(，lJ，乒2，⋯，丸，1)rRBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。由于RBF网络中心选

5、取是该网络能否成功用于实际的关键，因此下面我们主要研究径向高斯函数中心的选取算法。2RBF中心选取的正交最dx--乘算法正交最小二乘(0rthogonalLeastSq嗽-ocs)法来源于线性回归模型。令网络的训练样本对为{墨，d(珂)}，，l=1，2，⋯，N。其中，N为训练样本数；x。∈尺’为网络的输入数据矢量；d(咒)∈R1为网络的期望输出响应。根据线性回归模型，网络的期望输出响应可表示为：卫d(咒)=∑A(行)姒+P(行)i=I(，z=1，2，⋯，N；i=l，2，⋯，M)(3)式中，M为隐含层单元数，M

6、为：户i(行)=G(Ilx。一￡i11)(以=1，2，⋯，N；i=l，2，⋯，M)(4)7．0i是模型参数，它实际上是输出层与隐含层之间的连接权；e(竹)是残差。将式(3)写成矩阵方程形式，有：万方数据第1期曹屹立，等：最小二乘算法在RBF神经网络中的应用63d。PW+8d；[d(1)，d(2)，⋯，d(N)]TW=[t‘，l，t￡，2，⋯，tOM]1P=[Pl’P2，⋯，PM]B=[pi(1)，Pi(2)，⋯，A(N)]1’e=[e(1)，P(2)，⋯，e(N)】r(5)式中，P为回归矩阵。求解回归方程式(5)的关键问题是回归算子矢量只的选择。一旦P已定，模型参数矢量就可用线性方程

7、组求解。RBF的中心tf(1≤i≤M)一般是选择输入样本数据矢量集合{xjI开=1，2，⋯，N}中的一个子集。每定一组tf(1≤i≤M)对应于输入样本就能得到一个回归矩阵P。这里要注意的是，回归模型中的残差是与回归算子的变化及其个数M的选择有关的。每个回归算子对降低残差的贡献是不同的，要选择那些贡献显著的算子，剔除贡献差的算子。OLS法的任务是通过学习选择合适的回归算子矢量Pf(1-K