神经网络 第二章神经网络基础

《神经网络 第二章神经网络基础》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章神经网络基础本章简单地介绍生物神经元、神经元模型、人工神经网络模型及其学习算法。第二章神经网络基础§2.1生物神经元模型§2.2人工神经元模型§2.3网络拓扑结构类型§2.4人工神经网络模型§2.5神经网络的学习§2.6小结2§2.1生物神经元模型神经元是脑组织的基本单元，是神经系统结构与功能的单元。据统计大脑大约包含个神经元，每个神经元于大约个其他的神经元相连接，构成一个极为庞大而复杂的网络，即生物神经元网络。生物神经元网络中各神经元之间连接的强弱，按照外部的刺激信号做自适应变化，而每个神经元又随着所接受的的多个激励信号的综合结果呈现出兴奋与抑制状态。大脑的学习过程就是神经元

2、之间连接强度随外部刺激信息做自适应变化的过程，大脑处理星系的结果有个圣经元状态的整体效果确定。3生物神经元基本结构细胞体（Cellbody）树突(Dendrite)轴突（Axon）突触（Synapse）每一个神经元都通过突触与其他神经元联系，突触的“连接强度”可随系统受到训练的强度而改变。生物神经元结构4生物神经元功能兴奋与抑制传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。学习与遗忘由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此

3、神经元具有学习和遗忘的功能。返回5§2.2人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。人工神经元是对生物圣经元的一种形式化描述，他对生物神经元的信息处理过程进行抽象，应用数序语言予以描述，对生物神经元的结构与功能进行模拟，并用模型图予以表达。61943年，McCulloch-Pitts(麦克洛奇－皮兹)根据生物神经元的动作原理提出了神经元模型，即M-P模型，经过不断改进，形成目前广泛应用的形式神经元模型。对于神经元的处理机制，该模型在简化的基础上提出以下6点假设进行描

4、述：1.每个神经元都是一个多输入单输出的信息处理单元2.突触分兴奋性和抑制性两种类型3.神经元具有空间整合特性和阈值特性4.神经元输入与输出间有固定的时滞，主要取决于突触的延迟5.忽略时间整合作用和不应期6.神经元本身是非时变的，即其突触时延和突触强度均为常数7人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。下图显示了一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。人工神经元结构模型8人工神经元输入输出关系可描述为其中xj(j=1,2,…,n)是从其它神经元传来的输入信号wji表示从神经元j到神经元i的连接权值θi为阈值f(·)称为激发函数或作用函

5、数(2-1)有时为了方便起见，常把看成是恒等于1的输入x0的权值，这时式(2-1)的和式可写成9输出激发函数f(·)又称为变换函数，它决定神经元(节点)的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值。函数一般具有非线性特征。下面几个图表示了几种常见的激发函数。(1)阈值函数(见图(a),(b))当yi取0或1时，f(x)为图(a)所示的阶跃函数：10当yi取-1或1时，f(x)为图(b)所示的sgn函数：(2)饱和型函数(见图(c))11(4)双曲函数(见图(d))(5)S型函数(见图(e))神经元的状态与输入作用之间的关系是在(0,1)内连续取值的单调可微函数，称为Si

6、gmoid函数，简称S型函数。当趋于无穷时，S型曲线趋于阶跃函数，通常情况下，取值为1。12(6)高斯型函数(见图(f))在径向基函数构成的神经网络中，神经元的结构可用高斯函数描述如下：返回13§2.3网络拓扑结构类型层次型结构互联型结构网络的学习算法将在今后的小节中介绍。14神经网络的连接模式层内连接本层内部神经元之间的连接，可用来加强层内神经元之间的竞争。循环连接指神经元到自身的连接。用于不断增强自身的激活值，使本次的输出与上次的输出相关。层间连接指不同层之间的连接。这种连接用来实现信号传递。可以是前向的也可以是反向的。返回15§2.4人工神经网络模型人工神经网络是以工程技术手段

7、来模拟人脑神经网络的结构与特征的系统。利用人工神经元，可以构成各种不同拓扑结构的神经网络。就神经网络的主要连接形式而言，目前已有数十种不同的神经网络模型，其中前馈网络和反馈网络是两种典型的结构模型。16(1)前馈神经网络前馈神经网络，又称前向网络。如下图所示，神经元分层排列，有输入层、隐层(亦称中间层，可有若干层)和输出层，每一层的神经元只接受前一层神经元的输入。17目前，大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前