人工神经网络理论基础

《人工神经网络理论基础》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络理论基础人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括感知器（前向神经网络）、BPN（反向传播神经网络）和Hopfield网络。1生物神经元2人工神经网络发展简史3人工神经网络结构4神经网络基本学习算法内容安排1人工神经网络发展简史最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提

2、出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数

3、字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反传(backpropagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人

4、工神经网络算法之一。自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。2生物神经元生物神经元突触信息处理信息传递功能与特点一、生物神经元神经元是大脑处理信息的基本单元人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突和突触(Synapse，又称

5、神经键)组成生物神经元网络结构树突是树状的神经纤维接收网络，它将电信号传送到细胞体细胞体对这些输入信号进行整合并进行阈值处理轴突是单根长纤维，它把细胞体的输出信号导向其他神经元一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。二、突触的信息处理生物神经元传递信息

6、的过程为多输入、单输出；神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。三、信息传递功能与特点具有时空整合能力不可逆性，脉冲只从突触前传到突触后，不逆向传递神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间信息传递时延和不应期，一般为0.3～lms可塑性，突触传递信息

7、的强度是可变的，即具有学习功能存在学习、遗忘或疲劳（饱和）效应对应突触传递作用增强、减弱和饱和2、生物神经系统的六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。3人工神经网络结构人工神经网络人工神经元模型常见的神经元激发函数人工神经网络典型结构1.人工神经网络（ArtificialNeuralNe

8、twork-ANN）常常简称为神经网络（NN），是以计算机网络系统模拟生物神经网络的智能计算系统，是对人脑或自然神经网络的若干基本特性的抽象和模拟。一、人工神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成每个神经元只有一个输出，可以连接到很多其他的神经元每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数2.人工神经网络的基本特征(1)结构特征—并行处理、分步式存储与容错性(2)能力