神经网络学习算法matlab应用分析

《神经网络学习算法matlab应用分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、神经网络学习算法应用分析摘要：为了提高BP神经网络模型运用效果，基于不同方法提出了很多的优化算法算法例如从经典梯度下降法，到复杂的BFGS，LM算法等，然而不同的算法在不同的应用场景有不同的效果，本文以matlab神经网络工具箱为基础，比较各种优化算法在预测分类问题中的应用效果，并分析各种算法优缺点，为神经网络优化算法的选择提供建议。关键词：神经网络，优化算法，语音分类，梯度下降，拟牛顿法一、神经网络基本原理简介近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途

2、径的迫切需要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径。它对传统的计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注。目前，已发展了几十种神经网络[1,2]，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart等的多层感知机模型和Ko

3、honen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。二、神经网络原理2.1最速下降学习算法公式推导基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。………………输出变量输入变量输入层隐含层输出层图2-1BP网络结构Fig.2-1StructureofBPnetwork符号意义：：表示输入层第个节点的输入，；：表示隐含层第i个节点到输入层第j个节点之间的权值；：表示隐含层第i个节点的阈值；：表示输出层第个节点到隐

4、含层第i个节点之间的权值，；：表示输出层第k个节点的阈值,k=1,…,L；：表示输出层第k个节点的输出。：表示隐含层的激励函数；表示输出层的激励函数；（1）信号的前向传播过程隐含层第i个节点的输入neti：（2-1）隐含层第i个节点的输出yi：（2-2）输出层第k个节点的输入netk：（2-3）输出层第k个节点的输出ok：（2-4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。对于每一个样本p的二次型误差准则函数为

5、Ep：（2-5）系统对P个训练样本的总误差准则函数为：（2-6）根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。；；；（2-7）输出层权值调整公式：（2-8）输出层阈值调整公式：（2-9）隐含层权值调整公式：（2-10）隐含层阈值调整公式：（2-11）又因为：（2-12），，，（2-13）（2-14）（2-15）（2-16）所以最后得到以下公式：（2-17）（2-18）（2-19）（2-20）三、改进神经网络学习算法3.1附加动量法附加动量法[3]使网络在修正

6、其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，类似运动中惯性的作用。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。带有附加动量因子的权值和阈值调节公式为：（3-1）（3-2）（3-3）其中k为训练次数，mc为动量因子，一般取0.95左右。附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量

7、因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，di将变得很小，于是,从而防止了的出现，有助于使网络从误差曲面的局部极小值中跳出。此外，该算法是以前一次的修正结果来影响本次修正量，当前一次的修正量过大时，式(3-2)第一项的符号将与前一次修正量的符号相反，从而使本次的修正量减小，起到减小振荡的作用

8、;当前一次的修正最过小时，式(3-2)第一项的符号将与前一次修正最的符号相同，从而使本次的修正量增大，起到加速修正的作用。可以看出，动量BP算法，总是力图使在同一梯度方向上的修正量增加。因子m