最新人工神经网络线性神经网络模型和LMS算法幻灯片.ppt

《最新人工神经网络线性神经网络模型和LMS算法幻灯片.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经网络线性神经网络模型和LMS算法第四章线性神经网络模型1.研究背景2.学习规则3.ADALINE网络结构4.Widrow-Hoff学习规则2第四章线性神经网络模型自适应线性神经元ADALINE(AdaptiveLinearNeuron)是在1960年由斯坦福大学教授伯纳德和玛西娅提出的,它是线性神经网络最早的典型代表，其学习算法称之为LMS(leastmeansquares最小均方差)算法或Widrow-Hoff学习规则。感知器学习规则训练的网络,其分类的判决边界往往离各分类模式靠得很近,这使得网络对噪声十分敏感;而LMS学习规则使均方误差最小,从而使判决边界尽可能远

2、离分类模式,增强了网络的抗噪能力。ADALINE网络但LMS算法只适于单层网络的训练,当需要进行多层网络的设计时,需要寻找新的学习算法,如BP算法。ADALINE网络ADALINE网络线性神经元模型，它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。传输函数感知机传输函数是hardlim线性神经元激活函数线性神经网络的结构两输入单层ADALINE网络线性神经元网络模型性能学习学习规则的几种类型：性能学习，联想学习，竞争学习。性能学习目的在于调整网络参数以优化网络性能性能学习的优化分两步骤进行：(1)找一个衡

3、量网络性能的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。(2)搜索减小性能指数的参数空间(调整网络权值和偏置值)。研究性能曲面的特性，建立确保极小点（即所寻求的最优点）存在的条件。ADALINE网络Widrow-Hoff学习规则又称最小均方误差学习算法，即LMS学习算法LMS(LeastMeanSquareError)属于有导师学习算法LMS学习规则定义如下:目标通过调节权值，使mse从误差空间的某点开始，沿着mse的斜面向下滑行，最终使mse达到最小值。LMS学习算法其它评价函数SSE(和方差、误差平方和)：Thesumofsquaresdue

4、toerrorMSE(均方差、方差)：MeansquarederrorRMSE(均方根、标准差)：RootmeansquarederrorR-square(确定系数)：CoefficientofdeterminationAdjustedR-square：Degree-of-freedomadjustedcoefficientofdetermination其它评价函数SSE(和方差)该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。接下来的MSE和RMSE因为和SSE是同出一宗，所以效果一样其它评价

5、函数MSE(均方差)该统计参数是预测数据和原始数据对应点误差的平方和的均值，也就是SSE/n，和SSE没有太大的区别，计算公式如下其它评价函数RMSE(均方根)该统计参数，也叫回归系统的拟合标准差，是MSE的平方根，就算公式如下其它评价函数R-square(确定系数)在讲确定系数之前，我们需要介绍另外两个参数SSR和SST，因为确定系数就是由它们两个决定的(1)SSR：Sumofsquaresoftheregression，即预测数据与原始数据均值之差的平方和，公式如下(2)SST：Totalsumofsquares，即原始数据和均值之差的平方和，公式如下其它评价函数R-sq

6、uare(确定系数)“确定系数”是定义为SSR和SST的比值，故其实“确定系数”是通过数据的变化来表征一个拟合的好坏。由上面的表达式可以知道“确定系数”的正常取值范围为[01]，越接近1，表明方程的变量对y的解释能力越强，这个模型对数据拟合的也较好ADALINE网络线性神经网络的结构LMS学习算法中，前R个元素是关于网络权值的导数值，第R+1个元素则是偏置值的导数令LMS学习算法LMS学习算法可以用于最速下降法，学习速度为ɑ的最速下降法为：LMS学习算法推广到权值和偏置量矩阵线性神经网络的学习算法算法实现步骤第一步：初始化，给各个连接赋一个较小的随机值第二步：输入一个样本，计

7、算连接权值的调整量线性神经网络的学习算法其中表示第次循环中的第个输入向量。则：第三步：调整连接权值根据负梯度下降的原则，网络权值和阈值修正公式如下式中为学习率,当其取较大值时，可以加快网络的训练速度，但是如果其值太大，会导致网络稳定性的降低和训练误差的增加。所以，为了保证网络进行稳定的训练，学习率的值必须选择一个合适的值。线性神经网络的学习算法第四步：计算均方误差第五步：判断误差是否为零或者是否达到预先设定的要求。如果是，则结束算法，否则输入下一个样本，返回第二步进入下一轮求解过程。p1=2.5p2=1