模式识别第3章人工神经网络及模式识别方案.ppt

《模式识别第3章人工神经网络及模式识别方案.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章人工神经网络及模式识别引言模式识别：研究的是如何用计算机实现人脑的一些功能。人脑：可看作是由大量神经元组成的巨大的神经网络。人工神经网：1943年，McCulloch和Pitts提出了神经元的数学模型1949年，Hebb提出神经元的学习准则，为神经网络的学习算法奠定了基础50年代末，Rosenblatt提出了感知器模型，首次把神经网络的研究付诸工程实践。1982年，Hopfield提出了神经网络模型，设计出用电子线路实现这一网络的方案，开拓了神经网络用于联想记忆和优化计算的新途径，大大促进了神经网络的研究。1986年，Rumelha

2、rt及LeeCun等提出了多层感知器的反向传播算法，克服了阻碍感知器模型发展的重要障碍。现在神经网络的应用已渗透到多个领域，如智能控制、模式识别、信号处理、计算机视觉、优化计算、知识处理、生物医学工程等。2021/10/623.1人工神经元3.1.1生物神经元胞体。是神经细胞的本体（可看成系统）树突。长度较短，接受自其他神经元的信号（输入）轴突。它用以输出信号突触。它是一个神经元与另一个神经元相联系的部位，是一个神经元轴突的端部将信号（兴奋）传递给下一个神经元的树突或胞体；对树突的突触多为兴奋性的，使下一个神经元兴奋；而对胞体的突触多为抑

3、制性，其作用是阻止下一个神经元兴奋。2021/10/63神经元的基本工作机制一个神经元有两种状态：兴奋和抑制。平时处于抑制状态的神经元，其树突和胞体接收其他神经元经由突触传来的兴奋电位;多个输入在神经元中以代数和的方式叠加；如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其他神经元。神经元被触发之后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复兴奋性。2021/10/643.1.2人工神经元(1)输入xi:相当于其他神经元的输出;(2)权值ωi:相当于突触的连接强度(3)f:是一个

4、非线性函数，如阈值函数或Sigmoid函数2021/10/65神经元的动作：当f为阈值函数时，其输出为：也可写为：或：其中：2021/10/66选取不同的输出函数f，y的取值范围也不同则则某些算法要求f可微，此时通常选用Sigmoid函数：若或：若则则或：Sigmoid函数的特性：1）非线性，单调性。2）无限次可微。3）当权值很大时可近似阈值函数。当权值很小时可近似线性函数。2021/10/67如果神经元ui接收来自另一神经元uj的输出，则当这两个神经元同时兴奋时，从uj到ui的权值wij就得到加强。具体到前述的神经元模型，可以将Hebb

5、规则表现为如下的算法：式中是对第i个权值的修正量η是控制学习速度的系数。太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1；人工神经网络首先要以一定的学习准则进行学习，然后才能工作3.1.3神经元的学习算法–--Hebb学习规则2021/10/683.2前馈神经网络3.2.1前馈神经网络(用于监督学习)网络的神经元接受前一级输入，并输出到下一级，无反馈。节点分为两类：输入节点与计算单元。每个计算单元可有任意个输入，但只有一个输出，而输出可藕合到任意多个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层

6、的输出相联。输入节点为第一层。输入和输出节点由于可与外界相连，称为可见层，而其他的中间层则称为隐层。2021/10/693.2.2感知器（Perceptron）也称双层神经网络、单计算层感知器(1)输入层,也称为感知层每个节点接收一个输入信号，n个输入信号构成输入列向量X(2)具有计算单元的输出层有m个神经元节点，均有信息处理能力，m个节点向外部输出信息，构成输出列向量O。(3)两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。感知器模型示意图2021/10/610感知器用于模式识别输入X：样本的特征向量。输出

7、O：每个节点输出为：输出向量O可以用来表示类别属性：例如：若X∈ωj时，应使对应于该类的输出节点的输出Oj=1，而其他节点的输出则为Oi=0（或-1），2021/10/611例:单计算节点感知器(1)设输入向量X=(x1,x2)T则输出为：ojx1-Tx2则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线。(2)输入n维向量，X=(x1，x2,…，xn)Twijx1+w2jx2+…+wnj–Tj=0确定了n维空间上的一个分界平面可见：一个最简单的单计算节点感知器具有分类功能。可实现线性分类器2021/10/612感知器的

8、学习规则可以用已知类别的模式向量或特征向量作为训练集若X∈ωj，应使对应于该类的输出节点的输出Oj=1，而其他节点的输出则为Oi=0（或-1）设理想的输出为：Y=[y1,y2,y3,….,ym