神经网络分类器 ppt课件.ppt

《神经网络分类器 ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、5.1感知器算法一、引言模式识别与人工智能是研究如何利用计算机实现人脑的一些功能。人工神经网络研究的发展：1943年，提出形式神经元的数学模型，人工神经网络研究的开端。1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。50年代，研究类似于神经网络的分布系统。50年代末提出感知模型，把神经网络的实现付诸工程实践。1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。1986年，提出多层感知器的反向传播算法。现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。二、人工神经元

2、1、生物神经元典型的神经元，即神经细胞结构：胞体、树突、轴突、突触胞体：神经细胞的本体，完成普通细胞的生存功能。树突：有大量的分枝，接受来自其他神经元的信号。轴突：用以输出信号。突触：神经元相联系的部位，对树突的突触为兴奋性的，使下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个神经元兴奋。神经元的基本工作机制：神经元的两种工作状态：兴奋和抑制。动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成

3、精确的联接。信号的传递过程：接受兴奋电位；信号的汇集和传导；信号的输出。2、人工神经元人工神经元模型：xi：输入，神经元的输入值ωi：权值，突触的连接强度f：输出函数，非线性函数y：输出神经元动作：常用输出函数：阈值函数：双曲正切函数：非线性，单调性无限次可微权值很大时接近阈值函数权值很小时接近线性函数阶跃函数：f为阈值函数：3、感知器模型则：y=sgn(WTX)即：y=f(WTX)这种神经元没有内部状态的转变，而且函数为阈值型。因此，它实质上是一种线性阈值计算单元。感知器是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。设阈值：θ=-ω0W=(ω1,ω2,…

4、,ωn,ω0)TX=(x1,x2,…,xn,1)T感知器算法能够通过对训练模式样本集的“学习”得出判别函数的系数解。算法描述用样本训练时，若x∈ωi，g(x)>0，则w不变。若g(x)<0，则修改w，直到所有样本都满足条件为止。通过上面的定义，感知器问题变成wi/wj两类问题。因此，感知器的自组织、自学习思想可以用于确定性分类器的训练——感知器训练方法。4、感知器训练算法初始化：给定一个训练模式集{x1,x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。xi＝(xi1,xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1,xi2,…xin,1)ω2类样本乘以－1。权

5、向量w为(n+1)维向量。感知器算法步骤置步数k=1，令增量C为常数，且C>0，分别赋予初始增广权矢量w(1)的各分量较小的任意值。输入训练模式xk，计算判别函数值wT(k)xk调整增广权矢量，规则是：如果wT(k)xk≤0,则w(k+1)=w(k)+Cxk如果wT(k)xk>0,则w(k+1)=w(k)如果k

6、(x1,x2)={(1,0,1),(0,1,1)}ω2=(x3,x4)={(1,1,0),(0,1,0)}使用感知器算法给出区分两类模式的判别函数。5、感知器算法收敛性分析收敛定理：如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量w*若将式中阈值0改为一非负值T，则变为更一般的形式：设：w*为权向量的解，则它具有下式的性质：感知器算法可写成：取C=1（不失一般性，可分入样本中）xk中k为N个训练样本在多次反复迭代中的累积编号。6、感知器算法在多类问题中的应用多类问题分类途径只考虑第三种情况：如果di(x)>dj(x)任意j≠i，则判x∈ωi(1)赋初值，分别给

7、c个权矢量wi(1)（i=1,2,…c）赋任意的初值，选择正常数ρ，置步数k=1.(2)输入符号未规范化的增广训练模式xk,xk∈{x1,x2…xN},计算c个判别函数：di(xk)=wi’(k)xk(i=1,2,…c)(3)调整增广权矢量，规则是：如果xk∈ωi和di(xk)>dj(xk)(任意j≠i)，则：wi(k+1)=wi(k)(i=1,2,…c)算法步骤：如果xk∈ωi和dl(xk)≥di(xk)(l≠i)则：