神经网络模型及算法简介课件.ppt

《神经网络模型及算法简介课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络算法简介智能算法之一（1）具有高速信息处理的能力（2）知识存储容量大（3）具有一定的不确定性信息处理能力（4）具有健壮性（5）善于处理非线性的系统的能力神经网络算法的特点（1）模式识别图像识别、语音识别、手写体识别等。（2）信号处理特征提取、燥声抑制、统计预测、数据压缩、机器人视觉等。（3）判释决策模糊评判、市场分析、系统辩识、系统诊断、预测估值等。（4）组合优化旅行商问题、任务分配、排序问题、路由选择等。（5）知识工程知识表示、专家系统、自然语言处理、实时翻译系统等。神经网络的应用领域神经网络的基本思想对于第i个神经元的输入：与第i个神经元连接的相应权值为：神经元本身的阀值为则

2、输出Y可表示为：即输出与输入有兴奋与抑制两种状态，兴奋时取值1，抑制时为0。神经网络的分类主要从网络结构和学习方式两方面分类。1.按网络结构分为：前馈网络和反馈网络。前馈网络反馈网络神经网络的分类2.学习方式：有导师学习无导师学习神经网络的学习规则关键在于如何决定每一神经元的权值。常用的学习规则有以下几种：Hebb规则Delta规则(最小均方差规则)反向传播学习方法Kohonen学习规则(用于无指导训练网络)Grosberg学习方法神经网络常用模型共70多种，具有代表性的有：（1）感知器（Perceptron）（2）多层前馈（BP）网络（3）Hopfield网络(优化)（4）Boltzma

3、nn机（在BP中加入噪声）（5）双向联想记忆网络（快速存储）（6）盒脑态（单层自联想，可用于数据库提取知识）（7）自适应共振网络（可选参数，实现粗分类）（8）对传网络（组合式，可用于图像处理）……BP神经网络模型BP(BackPropagation)网络是一种按误差反向传播的多层前馈网络。输入层隐层输出层基本思想:学习过程分为两个阶段：第一阶段(正向传播过程)；给出输入信息通过输入层经各隐层逐层处理并计算每个单元的实际输出值；第二阶段(反向过程)：若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之间的差值(即误差)，通过梯度下降法来修改权值，使得总误差函数达到最小。BP神

4、经网络模型BP网络算法思想以三层BP网络为例。假设网络的输入、隐层、输出节点数分别为n,q,m个，P个样本点。隐层第k个节点的输出为：输出层第j个节点的输出为：其中函数f(.)为传递函数。又假设理想(目标)输出为tpj。则定义全局误差函数为BP网络算法思想一般的传递函数：1.极限函数(hardlim)2.对称函数(hardlims)3.对称饱和线性函数(satlins)6.竞争函数(compet)4.S形函数(logsig)5.双曲正切S形函数(tansig)BP网络算法思想权值调整公式(梯度下降法)：（1）输出层权值的调整称为学习率，一般取值范围为0.1~0.3。定义误差信号（2）隐层权

5、值的调整BP网络算法思想BP网络的性能分析BP网络的缺陷：收敛速度慢易陷入局部极小网络结构难以确定泛化能力差……BP算法的改进主要分为六个方面：（1）学习率的改进若学习率过大，可以提高收敛速度，但可能导致振荡现象甚至发散；相反地，若学习率过小，可以保证训练能稳定的收敛，但学习速度慢。退火算法：开始时设置学习率高(0.7-0.9),随学习次数增加而减少。或BP算法的改进（2）误差函数的改进一般情形随着学习次数的增加，越来越小，会导致函数逼近速度减慢。BP算法的改进（3）激励函数的改进导致误差曲面出现“平台”现象。或提出一些新型的激励函数：1.高斯函数2.三角函数3.双极性压缩函数4.分段函数

6、（4）网络初始权值的选取BP算法的改进初始权值对于权值学习是否达到最优解和算法收敛快慢关系很大。一般是随机产生。（1）使用Cauchy不等式和线性代数方法得到最优初始权值；（2）利用独立元分析（ICA）方法；（3）采用遗传算法来初始化权值。……（5）优化网络结构BP算法的改进关键是隐层的层数与隐节点的数目。隐节点过少，学习过程不可能收敛到全局最小点；隐节点过多，网络性能下降，节点冗余。（6）改进优化算法主要有共轭梯度法、Newton法、Gauss－Newton法、Levenberg-Marquard法等2004级胡上蔚同学的工作：BP算法的改进1.基于三项BP算法的最优学习参数估计分别为学

7、习因子、动量因子和比例因子。2.修改误差函数新的BP学习算法为标准误差函数，为隐层饱和度，2004级胡上蔚同学的工作：BP算法的改进3.放大误差信号在[0，0.5)上，理论上证明：算例效果图：BP算法的改进2006级孙娓娓的工作：BP算法的改进1.放大误差信号2006级孙娓娓的工作：BP算法的改进1.放大误差信号算例：函数逼近问题标准BP算法改进BP算法2006级孙娓娓的工作：BP算法的改进2.BP网络的联合优化(1)自