化学是一门以实验为基础的学科

《化学是一门以实验为基础的学科》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第6章BP神经网络一、内容回顾二、BP网络三、网络设计四、改进BP网络五、内容小结内容安排2武汉工程大学计算机科学与工程学院一、内容回顾感知机自适应线性元件3武汉工程大学计算机科学与工程学院一、内容回顾感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件4武汉工程大学计算机科学与工程学院一、内容回顾感知机自适应线性元件Adline简介网络结构网络学习网络训练5武汉工程大学计算机科学与工程学院内容回顾:学习算法离散单输出感知器训练算法W=W+X;W=W-XW=W+(Y-O)X离散多输出感知器训练算法Wj=Wj+(yj-oj)X连

2、续多输出感知器训练算法wij=wij+α(yj-oj)xi6武汉工程大学计算机科学与工程学院内容回顾:线性不可分问题ax+by=θ1yx1(0,0)(1,1)线性不可分问题的克服两级网络可以划分出封闭或开放的凸域多级网将可以识别出非凸域隐藏层的联接权的调整问题是非常关键7武汉工程大学计算机科学与工程学院2.1BP网络简介2.2网络模型2.3学习规则2.4图形解释2.5网络训练二、BP网络8武汉工程大学计算机科学与工程学院2.1BP网络简介1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和William

3、s1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。3、优点：广泛的适应性和有效性。9武汉工程大学计算机科学与工程学院反向传播网络(Back-PropagationNetwork，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，

4、它可实现从输入到输出的任意的非线性映射2.1BP网络简介10武汉工程大学计算机科学与工程学院2.1BP网络简介BP网络主要用于下述方面函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类；数据压缩：减少输出矢量维数以便于传输或存储具有强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差11武汉工

5、程大学计算机科学与工程学院2.2网络模型一个具有r个输入和一个隐含层的神经网络模型结构12武汉工程大学计算机科学与工程学院2.2网络模型感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}BP网络经常使用的是S型的对数或正切激活函数和线性函数13武汉工程大学计算机科学与工程学院2.2网络模型BP网络特点输入和输出是并行的模拟

6、量网络的输入输出关系是各层连接的权因子决定，没有固定的算法权因子通过学习信号调节。学习越多，网络越聪明隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数14武汉工程大学计算机科学与工程学院2.2网络模型S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大采用S型激活函数

7、可以处理和逼近非线性输入/输出关系15武汉工程大学计算机科学与工程学院网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………………W(1)W(2)W(3)W(L)16武汉工程大学计算机科学与工程学院网络的拓扑结构BP网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。BP网一般都选用二级网络。17武汉工程大学计算机科学与工程学院网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WV18武汉工程大学计算机科学与工程学院2.

8、3学习规则BP算法属于δ算法，是一种监督式的学习算法主要思想对于q个输入学习样本：P1,P2,…,Pq，已知与其对应的输出样本为：T1,