多层神经网络.pptx

《多层神经网络.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第六章多层神经网络6.1引言神经网络定义一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似性：a.神经网络获取的知识是从外界环境中学习得来。b.互连神经元的连接强度，即突触权值，用于存储获取的知识。生物神经元示意图神经元在结构上由细胞体、树突、轴突和突触四部分组成。1.细胞体(cellbody)神经元的主体，由细胞核、细胞质和细胞膜3部分组成。细胞体的外部是细胞膜，将膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不同的通透性，这使得膜内外存在着离

2、子浓度差，从而出现内负外正的静息电位。这种电位差称为膜电位。2.树突(dendrite)从细胞体向外延伸出许多突起的神经纤维。负责接收来自其他神经元的输入信号，相当于细胞体的输入端(input)。3.轴突(axon)由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫神经纤维，末端处有很多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号，相当于细胞体的输出端(output)。4.突触(synapse)一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接，称为突触。人工神经网络神经网

3、络的发展基本功能应用领域神经元模型a.突触权值b.加法器—净激活c.激活函数输入信号突触权值偏置输出求和结点激活函数6.2前馈运算和分类前馈运算定义：a.无反馈，可用一有向无环图表示。b.图的节点分为两类，即输入节点与计算单元。c.每个计算单元可有任意个输入，但只有一个输出，而输出可耦合到任意多个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出相联。d.输入和输出节点由于可与外界相连，直接受环境影响，称为可见层，而其他的中间层则称为隐层。如图。每一个二维输入向量都提供给输人层，而每一个输入单元的输

4、出结果则等于输入向量中对应的那个分量。隐单元对它的各个输入进行加权求和运算而形成“净激活（netactivation）”简称为net。为简单起见，我们增广输入向量和权向量可将净激活写成如下形式下表i是输入层单元的索引值，j是隐含层单元的索引，表示输入层单元i到隐含层单元j的权值，，类比于神经元，这种权被称为“突触”，连接的值叫“突触权”。每一个隐含层单元激发出一个输出分量，这个分量是它激活的非线性函数，常用的激活函数符号函数：netk0netk－0.50.5分段线性函数：Ｓigmoid函数：0最简单的神经网络-单层感知器单

5、层感知器拓扑结构单层感知器仅对线性问题具有分类能力线性问题：简单来讲，就是用一条直线可分的图形。比如：1.逻辑“与”2.逻辑“或”我们可以用一条直线来分隔0和1。逻辑“与”的真值表及二维样本分类图逻辑“或”的真值表及二维样本分类图为什么感知器就可以解决线性问题呢？这是由它的传递函数决定的。这里以两个输入分量x1和x2组成的二维空间为例，此时节点j的输出为所以，方程确定的直线就是二维输入样本空间上的一条分界线“异或”的真值表及二维样本分类图如果要让它来处理非线性的问题，单层感知器网就无能为力了。例如下面的“异或”，就无法用一

6、条直线来分割开来，因此单层感知器网就没办法实现“异或”的功能。解决异或问题的多层感知器输入层隐含层输出层6.2.1一般的前馈运算显然，我们可以把之前的讨论推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x).判别函数如下：6.2.2多层网络的表达能力戈尔莫戈罗夫证明了：只要选取适当的函数，任何连续函数g(x)都呆以定义在单位超立方体上,即可以表示为：可惜的是，上述构造性的描述确实显示任期望函数都可以通过一个三层网络来执行

7、，但它更多的价值在理论方面，而实用意义不大。虽然一个两层网络分类器只能实现一个线性判决边界，如果给出足够数量的隐单元，三层，四层及更多层网络就可以实现任意的判决边界6.3反向传播算法（BP算法）怎样训练输入层到隐含层的权值？反向传播算法允许我们对每一个隐单元计算有效误差，并且由此推导出一个输入层到隐含层权值的学习法则关键问题：根据训练样本和期望输出来设置合适的权值神经元j的输出神经元j的净激活连接权初始化学习模式提供给网络计算输出层的输入输出模式顺传播:对于隐层利用式（11）可得随机反传算法6.3.2训练协议1.随机训练：

8、模式堆积地从训练集中取出，网络权值也根据不同的模式进行更新2.成批训练：所有模式在训练之前全部送往网络中。3.在线训练：每种模式只提供一次，不需要存储器来保存模式目前我们只考虑了训练集中单个模式的的误差，但实际上我们要考虑一个定义在训练集里所以模式的误差。我们可以吧这个总训练误差写成n个单独模式误差的总