神经网络与神经网络集成

《神经网络与神经网络集成》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络与神经网络集成与神经网络相关的研究可以追溯到上世纪中期，然而对神经网络的深入研究和广泛应用是在上世纪八十年代末到九十年代初，标志是Hopfield网络结构和BP学习算法的相继提出。20世纪50年代，F.Rosenblatt提出了感知器模型，这是神经网络最初的雏形，由于它只有一层的权值可调，因此解决不了非线性可分问题。针对感知器在处理非线性问题中存在的不足，Minsky于1969年出版的专著《Perceptrons》一度使神经网络的研究沉寂近20年，同时该书也指出通过加入隐层神经元有可能解决非线性可分问题，但他对加入隐层神经元后能否给出一个有效算法持悲观态度。这一时期，相

2、当一部分人工智能研究者的研究兴趣转向了专家系统这一领域。Hopfield网络的提出，使神经网络相关研究在70年代末期得到了复苏。但真正掀起神经网络研究高潮的是在80年代初期，D.Werbos，D.Rumelhart和D.Parker三人各自独立发明的误差反向传播算法（ErrorBack-Propagation,EBP），使多层前馈神经网络的实现成为可能，并使神经网络的研究前进了一大步。BP网络的提出，极大地激发了人工智能研究者的热情，此后，各种神经网络模型与相应算法纷纷提出，典型如BAM、径向基函数、自组织映射等。神经网络集成的提出主要是针对单个神经网络的不确定性而提出的。§8

3、.1神经网络理论一、神经网络基本理论神经网络是对人脑神经系统的数学模拟，其目的是学习和模仿人脑的信息处理能力。撇开神经网络的具体结构形式和学习算法，一般地认为神经网络的信息处理过程包括学习和工作两个相互独立的阶段。在学习阶段，由学习样本集获得权值向量，权值向量中蕴涵学习样本所包含的知识。设为输入向量，W为权值向量，B为输出向量，则对于监督学习，其过程可表为：(8.1.1)其中是教师信号，如BP网络等。对于非监督学习，其过程可表为：(8.1.2)如用于主成分分析的PCA网络等。在工作阶段，由输入和权值获得输出图8.1神经元结构图(8.1.3)二、人工神经元模型人们对神经系统的研究

4、已经有了很长一段历史，早在19世纪末，人们就开始认识到，人脑包含着数量大约在1010～1012之间的神经元，这些神经元存在着复杂的联接，并形成一个整体，使得人脑具有各种智能行为。191尽管在外观形状上，这些神经元各不相同，然而这些形形色色的神经元都由三个区组成：细胞体、树突、轴突。如图8.1所示。从图中我们可以看出：一般的神经元有多个树突，它们起感受作用即接受外部（包括其它神经元）传递过来的信息。轴突只有一条，与树突相比它显得长而细，用于传递和输出信息。神经元之间通过突触联结，突触是一个神经元轴突的末梢与另一个神经元的细胞体或树突相接触的地方，每个神经元大约有103～104个突

5、触，换句话说，每个神经元大约与103～104个其它神经元有连接，正是因为这些突触才使得全部大脑神经元形成一个复杂的网络结构。依据上述理论，可以画出神经元的等效模型图8.2。图8.2神经元等效模型从图8.2可以看出人脑神经系统的工作原理：外部刺激信号或上级神经元信号经合成后由树突传给神经元细胞体处理，最后由突触输出给下级神经元或作出响应。基于神经细胞的这种理论知识，自1943年McCulloch和Pitts提出的第一个人工神经元模型以来，人们相继提出了多种人工神经元模型，其中被人们广泛接受并普遍应用的是图8.3所示的模型。图8.3人工神经元模型图中的为实连续变量，是神经元的输入，

6、称为阈值（也称为门限），是本神经元与上级神经元的连接权值。神经元对输入信号的处理包括两个过程：第一个过程是对输入信号求加权和，然后减去阈值变量，得到神经元的净输入，即(8.1.4)上式表明，连接权大于0的输入对求和起着增强的作用，因而这种连接又称为兴奋连接，相反连接权小于0的连接称为抑制连接。第二个过程是对净输入进行函数运算，得出神经元的输出，即(8.1.5)通常被称为变换函数（或特征函数），简单的变换函数有图8.4所示的几种。这几种变换函数分别满足如下关系：1)线性函数2)阶跃函数3)Sigmoid函数(S函数)4)双曲正切函数从生理学角度191看，阶跃函数最符合人脑神经元的

7、特点，事实上，人脑神经元正是通过电位的高低两种状态来反映该神经元的兴奋与抑止。然而，由于阶跃函数不可微，因此，实际上更多使用的是与之相仿的Sigmoid函数。有些情况下，也可以结合使用，如在后面介绍的前向多层神经网络中，可能采用的是：隐含层使用Sigmoid函数，输出层使用线性函数。图8.4神经元的几种常用变换函数§8.2前向多层神经网络、BP算法一、前向多层神经网络基于上面介绍的神经元结构，人们又提出了很多种神经网络结构模型，如Hopfield网络、Boltzmann机、ART网络和BAM