第5章 典型人工神经网络(BP)ppt课件.ppt

《第5章 典型人工神经网络(BP)ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章　典型人工神经网络感知器1径向基函数神经网络2Hopfield神经网络31第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例2第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例35.1.1感知器模型和用途1.结构和数学模型神经元输入：神经元输出：向量形式：感知器输入输出函数为：45.1.1感知器模型和用途神经元输入：神经元输出：说明：(1)原始感知器模型采用阈值函数类型的激励函数(2)现常用Sigmoid函数作为激励

2、函数(3)针对阈值函数讨论其用途55.1.1感知器模型和用途2.两种理解方式（用途）(1)模式识别器（分类器）(2)逻辑函数解决只有2类模式的识别问题y=1，x属于第二类y=0，x属于第一类只能识别具有线性边界的识别问题二值逻辑元，实现布尔代数的某些运算，包括：“与”、“或”和“非”不能实现“异或”P119图5.1.2P120图5.1.36x1x2xnw1w2wn..X0=1w0M-P感知机是一个多输入单输出的模型，虽然结构简单，但具有一定的计算能力。通过学习（权重），它能够正确地分类样本（二分类），但只能线性分类。单一人工神经

3、元——单层感知机7∧000010100111∨000011101111与逻辑或逻辑分类能力分析8⊕000011101110异或逻辑andorxor9单层感知机通过适当的选择权重，单层感知机能够实现and,or,not布尔逻辑。单层感知机找不到相应的权重来实现XOR逻辑单层感知机不具备非线性分类能力！10第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例11结构特征：在输入层和输出层之间嵌入一层或多层隐含层。隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。分类：含一

4、个隐含层前向传播网络L+1层前向传播网络多层感知器模型结构特点：5.1.2多层感知器模型和学习算法125.1.2多层感知器模型和学习算法………x1x2xniy1y2含一个隐层的感知器模型13隐含层输出：输出层输出：数学描述14………x1x2xniy1y2ynoL+1层前向传播网络15多层感知器模型的功能：5.1.2多层感知器模型和学习算法(1)实现任意的布尔函数；(2)在模式识别问题中，它能划分输入空间，生成复杂的边界；(3)最后，它能逼近从到的任意连续映射。说明：(1)激励函数只要求连续、光滑、单增、上下有界的非线性函数即可(

5、2)为简化计算，输出层常采用线性神经元16前向传播网络实质上表示的是一种从输入空间到输出空间的映射。网络的训练实质上是对突触权阵的调整，以满足当输入为Xp时其输出应为Yd。思想：前向计算得到网络的输出,反向计算得到误差的积累，由梯度下降法调整权值。学习算法5.1.2多层感知器模型和学习算法17学习算法结构图5.1.2多层感知器模型和学习算法18误差的平方和梯度下降法：权值的变化与误差梯度的下降成正比，使误差指标不断减小。正定的、可微的凸函数N个样本性能指标19………x1x2xno1o2om……学习算法20学习算法（续）神经网络输

6、入神经网络输出隐层输出加权矩阵阈值向量非线性作用函数（激活函数）期望输出21第一隐层输出：学习算法（续）第二隐层输出：输出层输出：22第一步：计算梯度学习算法（续）23第二步：计算梯度学习算法（续）24第三步：计算梯度学习算法（续）25选定初始加权矩阵一般给一组较小的随机数。对每个样本重复下述过程，直到收敛：学习算法描述正向过程计算反向过程计算修正权值26第二隐层与第一隐层连接权值及阈值更新：第一隐层与输入层连接权值及阈值更新：输出层与第二隐层连接权值及阈值更新：学习算法描述（续）27初始化加输入和期望输出计算隐层和输出层的输出

7、迭代次数加1调节输出层和隐层的连接权值改变训练样本训练样本终止？迭代终止？NoNoyy算法基本流程28权系数的初值：随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。学习方式:增量型学习方法效果好；累积型学习方法速度快。激励函数：非减可微函数。可通过调节Sigmoid函数的斜率或采用其它激励函数来改善网络的学习性能。学习速率：学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。影响BP学习算法的因素29非线性优化的局部极小，或振荡不收敛；收敛速度很慢；新样本的加入会影响已学习过的老样本。BP学习算法

8、的局限性30选用不同的作用函数、性能指标；解决局部极小问题选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。加快收敛速度采用不同的激励函数；变学习率方法；利用激励函数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。BP