模式识别2010神经网络.pdf

《模式识别2010神经网络.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别原理华中科技大学图像识别与人工智能研究所图像分析与智能系统研究室曹治国2012-10-61广义线性判别函数一维样本空间xifxaorxb,x1ifaxb,x2显然没有一个线性判别函数2令d(x)(xa)(xb)x(ab)xabifxaorxb,d(x)0,x1ifaxb,d(x)0,x22令yxyxY(y,y,1)'1212d(Y)y(ab)yab12x由一维变换到二维Y,成为线性可分w(1,(ab),ab)'d(Y)w'Y广义线性判

2、别函数{x}n设n维模式特征矢量集i在特征空间X中是非线性可分的，对模式x作非线性变换：ndT:XY,dn,x(x,x,x)',y(y,y,y)'12n12d其中:yf(x)是x单值实函数,选取适当的函数f(x),(i1,2,d),使iiid{y(f(x),f(x),f(x))'}在特征空间Y中是线性可分的,则分类界面是线性的j1j2jdjd(x)wf(x)wf(x)wf(x)w1122ddd1~wywywyww'yd(y)1122ddd

3、1式中w(w,w,w)'12d1y(y,y,y,1)'(f(x),f(x),f(x),1)'12d12dyf(x)(i1,2,d)是x的单值实函数ii广义线性判别函数当d(x)为二次多项式时:nn1nn2d(x)wiixiwijxixjwixiwn1i1i1ji1i1取yf(x)为二次或一次式,可使d(y)为线性函数ii上式第一项的项数为:n2n!n(n1)上式第二项的项数为:Cn(n2)!2!2上式第三项的项数为:nn(n1)n(n3)d

4、(x)的总项数为:nn1122n(n3)去掉常数项:变换后的特征空间维数为:2多层神经网络线性分类问题“与AND”和“或OR”是线性可分的，可以很容易找到决策面。5非线性分类问题XOR异或问题xxXORClass12000B011A101A110B一条直线不可能将其分离成两类6两层感知器–直观上看，对于“异或”问题，可以用两条直线进行分离，两条线之间的阴影部分为类别A，而阴影以外的部分为类别B7–分两个步骤实现上述分类.•步骤1:根据输入矢量，确定两条决策线，可以用感知器的思想来实现g(x)g(x)012

5、感知器的输出为：0yif(gi(x))i1,21每条线都对应一个感知神经元•步骤2:基于y1,y2的值，实现分类决策.8步骤1步骤2xxyy1212000(-)0(-)B(0)011(+)0(-)A(1)101(+)0(-)A(1)111(+)1(+)B(0)•步骤1等效于将输入向量映射到新的向量Txy[y,y]129步骤2是基于转换数据实现决策g(y)0这个可以通过画第三条线来完成，也可以通过神经元来实现.10–步骤1的映射将非线性可分问题转化为线性可分问题.–上述两个步骤可用如下感知器结构表示11•该结构

6、称为两层感知器或两层前馈神经网络。第一层的两个神经元完成步骤1的计算，它们构成隐含层，第二层的单个神经元实现步骤2，构成输出层，激活函数为0f(.)1•图中两层感知器确定的决策线是：1g(x)xx011223g(x)xx021221g(y)y2y012122两层感知器的分类能力–上面描述的隐含层神经元是将输入空间的x映射到二维空间中单位边长的正方形顶点上.–更一般的情况如下,lxRT13xy[y,...y],y0,1i1,2,...p1pi–用阶跃激活函数将l维输入空间映射到p维

7、空间中单位边长的超立方体H的顶点上p–输入空间到超立方体顶点的映射是通过创建p个超平面实现的，每个超平面由隐含层中的一个神经元实现，根据输入向量与对应超平面的位置，每个神经元的输出是1或0.–这个隐含层的神经元将输入l维空间拆分为多面体，这些多面体由超平面的交集构成，位于这些区域的所有向量都映射到单位Hp超平面的特定顶点上。–输出神经元实现另一个超平面，它将超立方体分为两个部分，使一部分顶点位于超平面一侧，其余位于另一侧。14可以分离的类：类A:000,001,011类B:010,100,110,111不可分的类：类A

8、:000,111,110类B:001,100,101,01115结论：–两层感知器可以对多面区域组成的并集进行分类，但并不是所有的并集都能成功分类，它依赖于立方体顶点的相对位置，以及他们的线性可分性。16三层感知器–结构–两个隐含层，一个输出层17–结论：三层感知器