智能控制_06神经网络2

《智能控制_06神经网络2》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、智能控制系统天津大学电气与自动化工程学院六12.2BP网络Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法2.前向网络及其主要算法J.McClellandDavidRumelhart天津大学自动化学院BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。结构：多层前向网络。2.前向网络及其主要算法天津大学自动化学院2.前向网络及其主要算法图3-9BP网络天津大学自动化学院激发函数必须处处可导,一般都

2、使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出输出的导数2.前向网络及其主要算法天津大学自动化学院2.前向网络及其主要算法天津大学自动化学院学习算法学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传算法组成：正向传播+反向传播（输入信息）（误差信号）2.前向网络及其主要算法将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值天津大学自动化学院2.前向网络及其主要算法正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示

3、－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止天津大学自动化学院算法步骤网络结构：输入层有M个神经元，隐含层有q个神经元,输出层有L个神经元。学习样本：设有N个学习样本，每个学习样本包括M个输入和L个输出。通过学习使BP网络符合这些样本。以学习第p个样本为例（输入量为Xp,期望输出为Dp）:2.前向网络及其主要算法天津大学自动化学院前馈计算隐含层第j个节点的输入可写为第j个节点的输出为其中为激发函数，可取sigmoid函数形式，则2.前向网络及其主要算法天津大学自动化学院输出层第k个节点的输入可写为则输出层第k个节点的输出为当实际输

4、出与期望输出不一致时，进入反向传播阶段将误差信号反向传播，修改权值。反向传播对第p个样本，定义二次型误差函数。方便起见，以下省略下标p2.前向网络及其主要算法天津大学自动化学院学习的过程即是调节权值使得E最小的过程，在BP算法中采用一阶梯度法（最速下降法）。输出层权系数的调整：为学习速率定义反向误差传播信号2.前向网络及其主要算法天津大学自动化学院故又有故2.前向网络及其主要算法天津大学自动化学院隐层权系数的调整：定义反向误差传播信号其中2.前向网络及其主要算法天津大学自动化学院又有故有则可得加入样本标号p，可写为2.前向网络及其主要算法天津大学自动化学院BP算法的几个问

5、题：权值初值应设为较小的随机数采用s型激发函数时，期望输出不能设为1或0,应设为0.9或0.1学习速率在开始时可取大值，后期取小值。2.前向网络及其主要算法天津大学自动化学院BP算法直观解释：情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。2.前向网络及其主要算法wijE>0，此时Δwij<0天津大学自动化学院BP算法直观解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。2.前向网络及其主要算法E<0

6、,此时Δwij>0wij天津大学自动化学院例1.见教材P107例2.对于下图所示双输入双输出神经网络，给定样本X=[1,3]TD==[0.95,0.05]T求一步学习的结果。(激励函数,学习效率）2.前向网络及其主要算法天津大学自动化学院BP网络的优点：非线性映射能力。能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力

7、。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。2.前向网络及其主要算法天津大学自动化学院BP网络的缺点：BP算法的学习速度很慢网络训练失败的可能性较大难以解决应用问题的实例规模和网络规模间的矛盾网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾2.前向网络及其主要算法天津大学自动化学院BP网络的改进：增加“惯性项采用动态步长与其他全局搜