资源描述：
《第6章-人工神经网络算法ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、数据挖掘算法、原理与实践王振武六、人工神经网络算法1.基本概念1.1生物神经元模型人的神经系统是由众多神经元相互连接而成的一个复杂系统，神经元又叫神经细胞,它是神经组织的基本单位。六、人工神经网络算法1.基本概念1.2人工神经元模型人工神经元模型就是用人工方法模拟生物神经元而形成的模型,是对生物神经元的抽象、模拟与简化，它是一个多输入、单输出的非线性元件，单个神经元是前向型的。六、人工神经网络算法1.基本概念1.2人工神经元模型在神经元中,对信号进行处理采用的是数学函数,通常称为激活函数、激励函数或挤压函数，
2、其输入、输出关系可描述为式中是从其它神经元传来的输入信号;是该神经元的阈值;表示从神经元i到神经元j的连接权值;为激活函数或挤压函数。六、人工神经网络算法1.基本概念1.2人工神经元模型神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。下面介绍四种常用的激活函数形式：（1）阈值型函数，即为阶跃函数。具有这一作用方式的神经元称为阈值型神经元,是神经元模型中最简单的一种,经典的M-P模型神经元就属于这一类。六、人工神经网络算法1.基本概念1
3、.2人工神经元模型神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。下面介绍四种常用的激活函数形式：（2）分段线性函数。此函数特点是:神经元的输入与输出在一定区间内满足线性关系。这类函数也称为伪线性函数,表达式如下:六、人工神经网络算法1.基本概念1.2人工神经元模型神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。下面介绍四种常用的激活函数形式：（3）Sigmo
4、id函数。Sigmoid函数也叫S型函数,通常是在(0,1)或（-l,1）内连续取值的单调可微分函数，它是一类非常重要的激活函数,无论神经网络用于分类、函数逼近或优化,Sigmoid函数都是常用的激活函数。常用指数或正切等一类曲线表示:或其中又称为Sigmoid函数的增益,其值决定了函数非饱和段的斜率,越大,曲线越陡。六、人工神经网络算法1.基本概念1.2人工神经元模型神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。下面介绍四种常用的
5、激活函数形式：（4）高斯函数。高斯函数(也称钟型函数)也是极为重要的一类激活函数,常用于径向基神经网络(RBF网络),其表达式为:式中称为高斯函数的宽度或扩展常数。越大,函数曲线就越平坦;反之，越小，函数曲线就越陡峭。六、人工神经网络算法1.基本概念1.3主要的神经网络模型目前使用的比较典型的一些神经网络模型主要有以下几类:1.误差后向传播(BackPropagation，BP)神经网络该类神经网络模型是一种多层映射神经网络,采用的是最小均方差的学习方式。2.径向基函数(RadialBasisFunction
6、，RBF)神经网络RBF网络采用3层结构,层间的神经元的连接方式同BP网络类似,也是采用层间全连接、层内无连接方式。六、人工神经网络算法1.基本概念1.3主要的神经网络模型目前使用的比较典型的一些神经网络模型主要有以下几类:3.Hopfield网络Hopfield网络由相同的神经元构成的单层、并且不具学习功能的自联想网络。网络的权值按一定规则计算出来,一经确定就不再改变,而网络中各神经元的状态在运行过程中不断更新,网络演变到稳态时各神经元的状态便是问题之解。Hopfield网络有离散型和连续型两种。六、人工神
7、经网络算法1.基本概念1.3主要的神经网络模型目前使用的比较典型的一些神经网络模型主要有以下几类:4.随机型神经网络随机型神经网络其基本思想是:不但让网络的误差和能量函数向减小的方向变化,而且还可按某种方式向增大的方向变化,目的是使网络有可能跳出局部极小值而向全局最小点收敛。随机型神经网络的典型算法是模拟退火算法。六、人工神经网络算法1.基本概念1.3主要的神经网络模型目前使用的比较典型的一些神经网络模型主要有以下几类:5.Kohonen网络Kohonen网络含有两层,输入缓冲层用于接收输入模式,输出层的神经
8、元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经元，Kohonen网络是一种以无导师方式进行网络训练的网络，它通过自身训练,自动对输入模式进行分类。六、人工神经网络算法1.基本概念1.3主要的神经网络模型目前使用的比较典型的一些神经网络模型主要有以下几类:6.玻耳兹曼机玻耳兹曼机是由Hinton等人提出的，它的思想主要来源于统计物理学。它在本质上是建立在Hopfield网络基础上的,具有学
