最新03 前馈神经网络6教学讲义PPT.ppt

《最新03 前馈神经网络6教学讲义PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、03前馈神经网络6第三单元前馈神经网络主要内容：感知神经网络BP网络BP网络学习算法的改进自适应线性元件神经网络的训练1单层感知器网络2多层感知器网络一、感知神经网络（感知机）注意：只有线性可分模式类才能用单层感知器来加以区分。线性可分:如果存在一组权参数ωji,i=1,2,,n和θj,使x∈SA时,yj=1,而使x∈SB时,yj=-1,称样本集是线性可分的,否则是线性不可分的.异或关系：见右图,显然是线性不可分的，因此单层感知器不可能将其正确分类。历史上，Minsky正是利用这个典型例子指出了感知器的致命弱点，从而导致70年代神经元网络的研究低潮

2、。异或关系的线性不可分性有师学习算法能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括Delta规则、广义Delta规则或反向传播算法以及LVQ算法等。感知器学习属于有教师算法。当采用感知器对不同的输入矢量进行期望输出为-1或1的分类时，其问题可转化为对已知输入矢量在输入空间形成的不同点的位置，设计感知器的权值W和偏差B。感知器权值参数设计目的，就是根据学习法则设计一条W*x-θ＝0的轨迹，使其对输入矢量能够达到所期望的划分。网络学习与

3、训练学习规则用来计算新的权值矩阵W及新的偏差B的算法权值的变化量等于输入矢量假定输入矢量P，输出矢量A，目标矢量为T的感知器网络（很详细，对应MATLAB神经网络工具箱）1.如果第i个神经元的输出是正确的，即ai＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变。2.如果第i个神经元的输出是不正确的，有两种情况：①如果第i个神经元的输出是0，但期望输出为1，即有ai＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj：wij=wij+pj；新的偏差bi为旧偏差bi加上1：bi=bi+1。②如果第i个神经元

4、的输出为1，但期望输出为0，即有ai＝1，而ti＝0，此时权值修正算法，新的权值wij等于旧的权值wij减去输入矢量pj：wij=wij-pj；新的偏差bi为旧偏差bi减去1：bi=bi-1。注意:上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序，成为一个名为1earnp.m的函数。只要直接调用此函数，即可立即获得权值的修正量。此函数所需要的输人变量为：输入、输出矢量和目标矢量（P、A和T）调用命令为：[dW，dB]＝learnp(P，A，T)感知器的有教师学习算法A训练思想在输入矢量P的作用下，计算网络的实际输出A，并

5、与相应的目标矢量T进行比较，检查A是否等于T，然后用比较后的误差量，根据学习规则进行权值和偏差的调整重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出A等于目标矢量T或训练次数达到事先设置的最大值时训练结束训练算法对于所要解决的问题，确定输入矢量P，目标矢量T，并确定各矢量的维数、网络结构大小及神经元数目：r，s和q；（1）参数初始化a)赋给权矢量w在(-l，1)的随机非零初始值；b)给出最大训练循环次数max_epoch；（2）初始化网络表达式。根据输人矢量P以及最新权矢量W，计算网络输出矢量A；（3）检查过程。检查输出矢量A与目

6、标矢量T是否相同。如果是，或已达最大循环次数，训练结束，否则转入（4）（4）学习过程。根据感知器的学习规则调整权矢量，并返回（3）感知器学习训练步骤设：p+1维输入向量p+1维权向量实际输出：y(n)期望输出：d(n)学习步长：η<1①初始化：置w(0)为小的随机数②输入x(n)，计算感知器的实际输出③按下式调节权系数：④检查过程。检查输出矢量A与目标矢量T是否相同。如果是，或已达最大循环次数，训练结束，否则转入⑤⑤令n=n+1，返回第2步例1如图所示的单层感知器学习已知：样本单变量样本4个，采用线性阈值单元：第一类：d=1，x1=1，x3=3第二

7、类：d=-1，x2=-0.5，x4=-20d=1d=-1求：经过学习后，4个样本分类器的权系数值解：考虑阈值输入变量：利用感知器学习算法，选=1/2，得：选初值úûùêëé=111x)(输入x(2):输入x(1):输出y=-1与期望d=1不同,需要调节输出y=1与期望d=-1不同,需要调节输入x(3):输入x(4):输出y=-1与期望d=1不同,需要调节输出y=-1与期望d=-1相同,不需要调节直到A=T或达到最大训练次数，结束训练！感知器的有教师学习算法B若输入模式是线性可分的，则可以找出无穷多条直线来对其进行正确的分类。已知输入输出样本xp和

8、dp（p=1，2，…，p），这里xp和dp表示第p组输入向量和期望输出。问题：如何设计单层感知器网络连接权ωi（i=1，2