资源描述：
《人工神经网络简介.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、人工神经网络简介一、人工神经网络的发展⑴Mcculloch（生理学家）和Pitts(数理逻辑学家)1943年首次提出神经网络数学模型；M-P数学模型，神经元的数学模型。⑵VonNeumann冯·诺依曼模型⑶50年代，F·Rosenblatt单层网络，可学习——感知机⑷1962年Widraw提出自适应线性元件网络⑸Hopfield1982和1984年发表论文，将能量函数引入神经网络计算——HNN模型⑹1986年Rumelhart提出PDP理论，解决中间层神经元权的调整问题，并行分布式，——多层网络的反向传播
2、算法。BP——ErrorBackPropagation误差反向传播算法（前向网络的一种）二、神经元的特点⑴神经元是一个多输入、单输出的元件⑵神经元是一个具有非线性的元件⑶神经元具有可塑性，传递强度可变⑷神经元的输出是每个输入综合的结果三、人工神经网络特点⑴分步存储与容错性⑵并行处理⑶信息处理与存储合二为一⑷层次性与系统性四、BP人工神经网络输入层隐含层输出层n个Wijp个Vjtq个a1aian┋┋┋┋┋ij┋┋ty1ytyq1、BP网络的学习过程⑴模式的顺向传播过程⑵误差的逆向传播过程⑶记忆训练过程：⑴、
3、⑵的交替过程⑷学习的收敛过程：E->min2、输入输出变换函数：f(x)①阶跃函数：f(x)=（不可导）②S型函数1Sjf(x)=（可导）③比例函数f(x)=kx④符号函数f(x)=-1/k1/k⑤饱和函数f(x)=⑥双曲函数1-1f(x)=3、M-P神经元模型θf(.)x1x2┋┋xn┋yw1wn输入向量：X=(X1,X2,…,Xn)权值向量：W=(w1,w2,…,wn)阈值：θ输出：y=f()若f(x)为阶跃函数则f(x)=5、BP网络学习算法⑴变量假定：输入：Ak=(a1k,a2k,…,ank)希望
4、输出：Yk=(y1k,y2k,…,yqk)中间层神经元输入：Sk=(s1k,s2k,…,spk)中间层神经元输出：Bk=(b1k,b2k,…,bpk)输出层神经元输入：Lk=(l1k,l2k,…,lqk)输出层神经元实际输出：Ck=(c1k,c2k,…,cnk)中间层神经元阈值：θj(j=1,2,…,p)输出层神经元阈值：γt(t=1,2,…,q)S型函数：f(x)=1/(1+e-x),f'(x)=f(x)[1-f(x)]（中间层两端可取不同函数，但此处相同。）输入层与中间层连接权值：wij(i=1,2,
5、…,n,j=1,2,…,p)中间层与输出层连接权值：vjt(j=1,2,…,p,t=1,2,…,q)⑵模式顺传播过程：中间层神经元输入：Sj=(j=1,2,…,p)中间层神经元输出：Bj=f1(sj)(j=1,2,…,p)输出层神经元输入：Lt=(t=1,2,…,q)输出层神经元实际输出：Ct=f2(Lt)(t=1,2,…,q)误差函数：Ek=->min权值调整：（按负梯度方向变化或梯度下降原则，应使的负值成正比例变化，优化算法中得到。）（wij对所有输出都有影响，与Δvjt不同。）令dtk=(ytk-c
6、tk)f2'(Ltk)=δtkf2’(输出层广义误差,=)则Δvjt=dtkbjk—Hebb规则(—学习率，dt—广义误差，bj—输入)Δwij=令ejk=(广义误差)则Δwij=βejkaik(Hebb学习规则，β学习率)后层误差加权后传向前层误差dtkejk阈值修正值：Δγt=dtkΔθj=βejk6、BP网络学习算法流程图⑴初始化赋予[-1，+1]间随机值⑵随机选取一模式对（Ak,yk）提供给网络⑶计算中间层单元的输入与输出Sj=（i=1,2,…,n）Bj=f1(sj)(j=1,2,…,p)⑷计算输
7、出层单元的输入及输出Lt=(t=1,2,…,q)Ct=f2(Lt)⑸计算输出层一般误差dtk=(ytk-ct)f2'(Lt)(t=1,2,…,q)⑹计算中间层各单元一般化误差ejk=⑺权值修正vjt(N+1)=vjt(N)+αdtkbj(j=1,2,…,p)γt(N+1)=γt(N)+αdtk(t=1,2,…,q)wij(N+1)=wij(N)+βejkaikθj(N+1)=θj(N)+βejk⑻随机选取一个学习模式提供给网络，返回⑶，直到m个模式训练完毕⑼重新从m个模式对中随机选取一个模式对重返⑶，直到
8、全局误差
