《神经网络应用补》PPT课件

《《神经网络应用补》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第7章（补）人工神经网络在智能传感器中的应用7.1神经网络基本知识7.2前向网络7.3反馈网络7.4神经网络在智能传感器中的应用7.1神经网络基本知识7.1.1人工神经网络模型图7-1基本神经元模型神经元的输出可描述为式中：f(Ai)表示神经元输入—输出关系的函数，称为作用函数或传递函数，常用的作用函数有如图9-2所示的三种：阈值型、S型和分段线性型(伪线性型)。这样，就有三类神经元模型。图7-2常见的作用函数形式(a)阈值型；(b)S型；(c)伪线性型一、阈值型神经元阈值型神经元是一种最简单的神经元，由美国心理学家Mc.Culloch

2、和数学家Pitls共同提出，因此，通常称为M-P模型。M-P模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋状态和抑制状态。其数学表达式为对于M-P模型神经元，权值Wji可在(-1,1)区间连续取值。取负值表示抑制两神经元间的连接强度，取正值表示加强。二、S型神经元模型这是常用的一种连续型神经元模型，输出值是在某一范围内连续取值的。输入—输出特性多采用指数函数表示，用数学公式表示如下：S型作用函数反映了神经元的非线性输入—输出特性。三、分段线性型神经元的输入—输出特性满足一定的区间线性关系，其输出可表示为式中,C、

3、AC表示常量。7.1.2神经网络结构一、分层网络图7-3分层网络功能层次二、相互连接型结构图7-4相互连接型网络7.1.3学习与记忆一、神经网络的学习Hebb学习规则可以描述为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。用算法表达式表示为Wji(t+1)=Wji(t)+η［xi(t),xj(t)］式中：Wji(t+1)——修正一次后的某一权值；η——常量，决定每次权值修正量，又称学习因子；xi(t)、xj(t)——t时刻第i个、第j个神经元的状态。误差修正算法是神经网络学

4、习中另一个更重要的方法。像感知机、BP网络学习均属此类。最基本的误差修正学习方法，即通常说的δ学习规则，可由如下四步来描述：(1)任选一组初始权值Wji(0)。(2)计算某一输入模式对应的实际输出与期望输出的误差。(3)更新权值Wji(t+1)=Wji(t)+η［dj-yj(t)］xi(t)式中：η——学习因子；dj、yj——第j个神经元的期望输出与实际输出；xj——第j个神经元的输入。(4)返回步骤(2)，直到对所有训练模式、网络输出均满足误差要求为止。二、神经网络的记忆神经网络记忆包含两层含义：信息的存储与回忆。网络通过学习

5、将所获取的知识信息分布式存储在连接权的变化上，并具有相对稳定性。一般来讲，存储记忆需花较长时间，因此这种记忆称为长期记忆，而学习期间的记忆保持时间很短，称为短期记忆。7.1.4神经网络的信息处理功能神经网络可以完成大量的信息处理任务，正因为这样，其应用涉及相当广泛的领域。归纳起来，神经网络的信息处理任务主要包括：一、数字上的映射逼近通过一组映射样本(x1,y1),(x2,y2),…,(xn,yn)，网络以自组织方式寻找输入、输出之间的映射关系：yi=f(xi)。二、联想记忆联想记忆是指实现模式完善、恢复相关模式的相互回忆等，典型的有

6、如Hopfield网络等。7.2前向网络7.2.1感知机图9-5基本感知机结构感知机的学习算法为i=1,2,…,n式中：η为学习因子，在(0,1］区间取值。期望输出与实际输出之差为输入状态xi(k)=1或07.2.2BP网络一、BP网络模型图9-6一个三层BP网络结构一般选用下列S形作用函数：且处理单元的输入、输出值可连续变化。BP网络模型实现了多层网络学习的设想。当给定网络的一个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为前向传播。如果输出响应与期望输出模式有

7、误差，且不满足要求，那么就转入误差后向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值。(7-10)二、学习算法假设BP网络每层有N个处理单元，作用函数如(7-10)式所示，训练集包含M个样本模式对(xk,yk)。对第p个训练样本(p=1,2,…,M)单元j的输入总和(即激活函数)记为apj，输出记为Opj,它的第i个输入(也即第i个神经元的输出)为Opi,则如果任意设置网络初始权值，那么对每个输入模式p,网络输出与期望输出一般总有误差。定义网络误差为式中，dpj表示对第p个输入模式输出单元j的期望输出。δ学习规则的实质是利用梯度最

8、速下降法，使权值沿误差函数的负梯度方向改变。若权值Wji的变化量记为ΔWji,则而这里，令于是这就是通常所说的δ学习规则。当Opj表示输出层单元的输出时，其误差当O