神经网络实用教程 教学课件 作者 张良均　曹晶 3.3 小波神经网络.ppt

《神经网络实用教程 教学课件 作者 张良均　曹晶 3.3 小波神经网络.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、3.3小波神经网络3.3.1概述小波神经网络（WaveletNeuralNetwork,WNN）是小波分析理论与神经网络理论相结合的产物Pati和Krishnaprasad提出了离散仿射小波网络模型，其基本思想是将离散小波变换引入神经网络模型，通过对Sigmoid函数的平移伸缩构成中的仿射框架，进而构造小波神经网络。ZhangQinghu等1992年正式提出小波神经网络的概念，其思想是用小波元代替神经元，即用已定位的小波函数代替Sigmoid函数作为激活函数，通过仿射变换建立起小波变换与网络系数之间的连接。3.3.1概述小波神经网络的优点小波变换

2、通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快。3.3.1概述小波神经网络类型松散型小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理融合型小波和神经网络直接融合，即小波元代替神经元,输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数所

3、代替（1）连续参数的小波神经网络（2）由框架作为基函数的小波神经网络（3）正交基小波网络3.3.1概述小波神经网络存在着以下一些不足之处1）在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。2）隐含层结点数难以确定。3）小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。4）未能根据实际情况来自适应选取合适的小波基函数。3.3.2小波神经网络参数调整算法待确定参数连接权值尺度系统平移系数小波神经网络参数调整算法标准BP算法BP算法的改正

4、算法3.3.2小波神经网络参数调整算法设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有个神经元，隐含层有个神经元，输出层有个神经元。3.3.2小波神经网络参数调整算法隐含层选取的神经元激励函数为Morlet小波训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终

5、的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性3.3.2小波神经网络参数调整算法给定组输入输出样本，学习率为，动量因子为目标误差函数式中为输出层第n个结点的期望输出；为网络实际输出算法的目标不断调整网络的各项参数，使得误差函数达到最小值3.3.2小波神经网络参数调整算法隐含层输出为输入层的输入为隐含层的输出为输入层结点为与隐含层结点为之间的权值；为Morlet小波函数。3.3.2小波神经网络参数调整算法输出层输出为为输出层的输入为隐含层结点与输出层结点之间的权值3.3.2小波神经网络参数调整算法隐含层与输出层之间的权值调整式、分别

6、表示调整前与调整后的隐含层结点与输出层结点之间的连接权值；为动量项。3.3.2小波神经网络参数调整算法输入层结点与隐含层结点之间的权值调整式、分别为调整前与调整后的输入层结点与隐含层结点之间的权值为动量项3.3.2小波神经网络参数调整算法伸缩因子调整式、为调整前与调整后的伸缩因子；为伸缩因子动量项。3.3.2小波神经网络参数调整算法平移因子调整式、为调整前与调整后的平移因子；为平移因子动量项。。3.3.2小波神经网络参数调整算法学习算法的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予初始值，并置输

7、入样本计数器。2）输入学习样本及相应的期望输出。3）计算隐含层及输出层的输出。4）计算误差和梯度向量。5）输入下一个样本，即。6）判断算法是否结束。当时，即代价函数小于预先设定的某个精度值，停止网络的学习，否则将计数器重置为1，并转步骤2）循环。3.3.3小波神经网络的MATLAB函数静态非线性回归小波神经网络的创建指令格式THETA=wnetreg(y,x,nbwavelon,max_epoch,initmode,min_nbw,levels)参数说明输出参数THETA小波回归模型的估计参数。输入参数y是一个列向量，x对于单输入为一个列向量；对

8、于多输入，x=[x1x2...xm]，每个xi都是一个列向量。nbwavelon：构建小波网络的小波数量max_epoch：最大训练次数