资源描述：
《神经网络 第三章前馈神经网络》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第三章前馈神经网络本章主要介绍最常用的两种前馈网络:BP(BackPropagation)神经网络和径向基函数神经网络，以及它的前身感知器、自适应线性单元。前馈神经网络是神经网络中的一种典型的分层结构，信息从输入层进入网络后逐层向前传递至输出层。根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成具有各种功能特点的神经网络。2§3.1感知器§3.2自适应线性单元§3.3BP网络§3.4BP网络变通结构§3.5BP网络学习算法的改进§3.6BP网络设计基础§3.7BP网络应用与设计实例§3.8小结319
2、58年，美国心理学家FrankRosenblatt提出一种具有单层计算单元的神经网络，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对说解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了非常重要的推动作用。单层感知器的结构和功能都很简单，以至于在解决实际问题是很少采用，但由于它在神经网络研究中具有重要意义，是研究其他网络的基础，而且较易学习和理解，适合于作为神经网络的起点。§3.1感知器43.1.1感知器模型j=1,2,…,
3、m5净输入：输出：3.1.1感知器模型6(1)设输入向量X=(x1,x2)T输出：则由方程wijx1+w2jx2-Tj=0确定了二维平面上的一条分界线。ojx1-1x23.1.2感知器的功能7感知器的功能（二维）8wijx1+w2jx2–Tj=0wijx1=Tj-w2jx2x1=(Tj-w2jx2)/wij=-(w2j/wij)x2+Tj/wij=ax2+c9设输入向量X=(x1,x2,x3)T输出：则由方程wijx1+w2jx2+w3j–Tj=0确定了三维空间上的一个分界平面。x2ojx1x3-110wijx1+w
4、2jx2+w3jx3–Tj=0x1=ax2+bx3+c是什么？11设输入向量X=(x1,x2,…,xn)T则由方程wijx1+w2jx2+…+wnj–Tj=0确定了n维空间上的一个分界平面。输出：wijx1+w2jx2+…+wnj–Tj=012一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。3.1.2感知器的功能13例用感知器实现逻辑“与”功能x1x2y000010100111逻辑“与”真值表14例一用感知器实现逻辑“
5、与”功能感知器结构w1x1+w2x2-T=00.5x1+0.5x2-0.75=015例用感知器实现逻辑“或”功能x1x2y000011101111逻辑“或”真值表16用感知器实现逻辑“或”功能感知器结构w1x1+w2x2-T=0x1+x2-0.5=017问题：能否用感知器实现“异或”功能？“异或”的真值表x1x2y00001110111018关键问题就是求193.1.3感知器的学习Perceptron(感知器)学习规则式中，当实际输出与期望值相同时，权值不需要调整。感知器学习规则代表一种有导师学习。20感知器学习规则
6、的训练步骤：(1)对各权值w0j(0),w1j(0),┄,wnj(0)，j=1,2,…,m（m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，dp为期望的输出向量（教师信号），上标p代表样本对的模式序号，设样本集中的样本总数为P，则p=1,2,…,P；3.1.3感知器的学习21(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+η[djp-ojp(t)
7、]Xp,j=1,2,…,m,其中为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。3.1.3感知器的学习22感知器学习规则的训练步骤：（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。23例单计算节点感知器，3个输入。给定3对训练样本对如下：X1=(-1，1
8、，-2，0)Td1=1X2=(-1，0，1.5，-0.5)Td2=1X3=(-1，-1，1，0.5)Td3=1设初始权向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。3.1.3感知器的学习24解：第一步输入X1，得WT(0)X1=(0.
