资源描述：
《基于人工神经网络学习问题的简约梯度法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、山西师范大学学报(自然科学版)研究生论文专刊第23卷2009年06月基于人工神经网络学习问题的简约梯度法张倩,金琦(装甲兵工程学院基础部,北京100072)摘要:本文介绍了人工神经网络的学习原理和模型以及简约梯度法的推导过程,并提出了一种利用简约梯度优化理论解决人工神经网络中学习问题的算法,最后进行了仿真计算.关键词:人工神经网络;学习;简约梯度法人工神经网络(ArtificialNeuralNetwork简称ANN)是近些年来迅速发展起来的人工智能科学的一个分支,这几年的广泛应用再度显示了它活跃的生命力.ANN是由人工神经元构成的网络,是一种非线性动
2、态数学模型.每个神经元可记忆、处理一定的信息,并与其他结点并行工作.由它们构成的神经网络具有感知、记忆、学习和联想功能,能模仿人脑处理信息的物理过程,是人工智能研究的一种方法.这种方法体系具有并行分布处理、非线性映射、自适应学习和很强的容错特性,所以在函数逼近、模式识别、控制优化、智能信息处理以及故障诊断等方面有着广泛的应用.在人工神经网络的发展进程中,学习算法的研究有着十分重要的地位.简约梯度法的基本思想是利用问题中的等式约束条件,先把一部分变量用另一部分独立变量来表示,再代入目标函数,便可得到相应的降了维的问题,然后利用简约梯度来构造搜索方向.其中
3、关于独立变量的梯度称为简约梯度.1人工神经网络学习原理人工神经网络在学习中,一般分为有师学习和无师学习两种,本文主要介绍的是有师学习.一个有师的学习分成三个部分:输入部,训练部和输出部(图1).输入部接收外来的输入样本X,由训练部进行网络的权系数w调整,然后由输出部输出结果.在这个过程中,期望的输出信号可以作为教师信号输入,由该教师信号与实际输出进行比较,产生的误差去控制修改权系数w.学习机构可用图2所示的结构表示.其中,X1,X2,⋯,Xn为输入样本信号,w1,w2,⋯,wn为权系数.收稿日期:2009-04-02作者简介:张倩(1982—),女,
4、天津蓟县人,解放军装甲兵工程学院基础部数学教研室教师.·84·山西师范大学学报(自然科学版)2009年输入样本信号Xi可以取离散值“0”或“1”.输入样本信号通过权系数wi作用,产生输出结果u,即u=∑wiXi=w1X1+w2X2+⋯+wnXn(1)再将期望输出信号Y(t)和u进行比较,从而产生误差信号.即权值调整机构根据误差去对学习系统的权系数进行修改,修改方向应使误差变小.2人工神经网络模型设输入的学习样本为n组:X1,X2,⋯,Xn,其中Xi=(Xi1,Xi2,⋯,Xin),期望输出为bi(i=1,2,⋯,n).为了讨论权系数的调整,将人工
5、神经网络学习问题转化为下列随机系数线性方程组问题w1X11+w2X12+⋯+wnX1n=b1w1X21+w2X22+⋯+wnX2n=b2(2)⋯w1Xn1+w2Xn2+⋯+wnXnn=bn式(2)中wi(i=1,2,⋯,n)为未知的随机系数,即人工神经网络的权系数;bi是可观测的.这里约定无测量误差,并假设Xij～U(0,1)且相互独立,i,j=1,2,⋯,n.引进记号X11⋯X1nw1b1X=w=b=Xn1⋯Xnnwnbn则式(2)可用矩阵形式表达为b=Xw(3)从式(2)的实际背景出发,我们讨论w>0时的解,式(4)给出了在简约梯度法下求解
6、式(2)的优化模型.n2minf(w)=∑(w1Xk1+w2Xk2+⋯+wnXkn-bk)k=2(4)s.t.w1X11+w2X12+⋯+wnX1n=b1Tw≥0,w=(w1⋯wn)这里,记Xij～U(0,1),i,j=1,⋯,n;Xij,bi均已知.为了利用简约梯度法求数值化正解的近似解,记w1Xk1+w2Xk2+⋯+wnXkn=yk-12≤k≤n(5)wn=yn由此通过简单变换,可得到与式(4)等价的优化问题,即nn2222minf(y)=y1+y2+⋯+yn-1+∑Cnjyj+∑bij=1i=2(6)s.t.C1y1+C2y2+⋯+Cnyn=b1
7、y≥0T其中y=(y1⋯yn)以及C=(C1⋯Cn)为通过简单变换后产生的系数.显然f(y)为凸函数,即式(6)可视为凸二次规划问题,故可引用简约梯度法.3用简约梯度法求正解3.1简约梯度法kkkk现设y∈Yl是当前迭代点,Yl为式(6)的可行域,记y的最大分量为ymax>0,并记其下标集为Imax.kkk相应地,可记C=(Cmax,Nk).而f在点y处对应于Cmax的简约梯度为kkk-1TkrN=Nf(y)-(CmaxNk)maxf(y)(7)kk+1kkkdmax这里设y=y+tkd,其中tk>0是最优步长.再设d=k,其中dN张倩,等:基于人
8、工神经网络学习问题的简约梯度法·85·kk-ri,ri≤0kkkdN∶di=iImaxkkk
