BP神经网络原理

《BP神经网络原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、BP神经网络原理2.1基本BP算法公式推导基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。………………输出变量输入变量输入层隐含层输出层图2-1BP网络结构Fig.2-1StructureofBPnetwork图中：表示输入层第个节点的输入，j=1,…,M；表示隐含层第i个节点到输入层第j个节点之间的权值；表示隐含层第i个节点的阈值；表示隐含层的激励函数；表示输出层第个节点到隐含层第i个节点之间的权值，i=1,…,q；表示输出层第k个节点

2、的阈值,k=1,…,L；表示输出层的激励函数；表示输出层第个节点的输出。（1）信号的前向传播过程隐含层第i个节点的输入neti：（3-1）隐含层第i个节点的输出yi：（3-2）输出层第k个节点的输入netk：（3-3）输出层第k个节点的输出ok：（3-4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。对于每一个样本p的二次型误差准则函数为Ep：（3-5）系统对P个训练样本的总误差准则函数为：（3-6）根据误

3、差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。；；；（3-7）输出层权值调整公式：（3-8）输出层阈值调整公式：（3-9）隐含层权值调整公式：（3-10）隐含层阈值调整公式：（3-11）又因为：（3-12），，，（3-13）（3-14）（3-15）（3-16）所以最后得到以下公式：（3-17）（3-18）（3-19）（3-20）结束参数初始化：最大训练次数，学习精度，隐节点数，初始权值、阈值，初始学习速率等批量输入学习样本并且对输入和输出量进行归一化处理计

4、算各层的输入和输出值计算输出层误差E(q)E(q)<ε修正权值和阈值YesNYes开始图2-2BP算法程序流程图Fig.2-2TheflowchartoftheBPalgorithmprogram2.2基本BP算法的缺陷BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：（1）学习效率低，收敛速度慢（2）易陷入局部极小状态2.3BP算法的改进2.3.1

5、附加动量法附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。带有附加动量因子的权值和阈值调节公式为：其中k为训练次数，mc为动量因子，一般取0.95左右。附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零

6、时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，di将变得很小，于是,从而防止了的出现，有助于使网络从误差曲面的局部极小值中跳出。根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超

7、过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。训练程序设计中采用动量法的判断条件为：，E（k）为第k步误差平方和。2.3.2自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。为了解决这个问题，人们自然想到在训练过程中，自动调节学习速率。通常调节学习速率的准

8、则是：检查权值是否真正降低了误差函数，如果确实如此，则说明所选学习速率小了，可以适当增加一个量；若不是这样，而产生了过调，那幺就应该减少学习速率的值。下式给出了一个自适应学习速率的调整公式：，E（k）为第k步误差平方和。初始学习速率h(0)的选取范