第4章 非线性分类器(精简)

《第4章 非线性分类器(精简)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第4章非线性分类器4.1引言n前一章讨论了由线性判别函数(超平面)描述的线性分类器的设计。通过两类的简单情况可以看出，只要这两类是线性可分的，那么感知器算法就可以计算线性函数的权值。对于非线性可分的类别，线性分类器设计的最优设计方法是使平方误差最小。n本章将解决不是线性可分的问题，并研究为什么线性分类器设计即使在最理想的情况下，也不会产生令人满意的性能。现在必须要设计非线性分类器。l人工神经网络由两个基本组成部分组成，一是结点、二是网络、也就是结点之间的连接。作为人工神经元网络的结点是仿照生物细胞结构

2、而造出的。人工神经元网络的总的特点——结构的网络化。由结点作简单运算，网络实现复杂运算；参数通过学习方式确定.l人工神经网络体现出来的非线性映射以及联想记忆等功能,可以实现多种复杂的计算，可以实现的功能比传统的模式识别要多一些，如实现输入输出是非线性关系，其中相当多的计算与传统的模式识别要解决的问题是相同的。它的起源是感知准则函数(或称为感知器),在学习人工神经元网络的多种功能时，可以联想到前几章学习过的一些重要概念。l人工神经元网络的两个最主要特点是，(1)网络由大量结构简单的结点联接而成。由结点实

3、行简单的运算。一般为输入量的线性求和与非线性映射两部分组成，而整个网络可实行复杂度很高的运算，如对高维特征空间进行非线性划分，高复杂度的非线性映射等。而复杂的运算由大量简单的运算组合而成。网络的结构一般简单而有规律性，如分层的前馈网络，不分层的全互连结构等。ART网络是一个例外，它的结构比较复杂。l人工神经元网络与传统模式识别处理方法在解决问题的方法上有很大区别。主要不同点有，在人工神经元网络中，计算是体现在一种网络结构中实现的，不同的网络结构可以实现各种很不相同的功能，因此要掌握网络结构的计算方法。

4、另一个不同点是该网络结构中的参数是通过学习而逐渐修正的。这种学习是类似于感知准则函数中提倡的学习，即利用错误提供的信息来修正当前的参数，直至网络结构及其参数实现优化。应该说这两者都是模式识别的组成部分。由于各自有优缺点，因此不同场合下要考虑其特点而选用。4．2异或问题异或布尔函数是该问题的典型例子。将布尔函数理解为分类任务：输入不同的二进制数，输出为0或1，二维空间中，，根据每个可能的两种取值，得到四种结果．反映到－平面上为正方形的四个顶点，可用两条直线将其划为A(1)或B(o)的两类中的一种，如下表

5、图4.1类A和类B的XOR问题从图中明显看出，一条直线不能将这两类分离.图4．2　类A和类B的AND和OR线性可分.问题图4.3实现OR门的感知器现在最重要的是先处理XOR问题，然后将该过程扩展为非线性可分离类的一般情况。这里从几何结构开始。4．3两层感知器l按传统线性分类画和两条直线。位于两条线之间的阴影区域，形成一个包含A类的区域；阴影两侧的区域包含B类。l用两层感知器解决x0R问题分两个阶段对问题进行处理，1.第一阶段―――计算特征向量相对于每一条决策线的位置．在计算的第一阶段，两条决策线和是通

6、过输入和连接权的两个感知器来实现的。对应的输出是，1，2，即用以描述“或”的关系；用以描述“与”的关系。其中激活函数是具有电平O和1的阶跃函数。可以根据0或1来确定输入向量在两决策线中任何一条的相对位置。换一个角度来看第一阶段是计算输入向量到向量的映射,将非线性可分问题转换为为线性可分问题。　　　图4．4在XOR问题中两层感知器实现的决策线　表4.3XOR问题的两个计算阶段的真值表1.第二阶段―――根据计算出的，确定，坐标上的点，实现决策，即画出第三条线就可将A,B两类分离，该线可以通过第三个神经元来

7、实现。由此生成两层感知器或两层前馈神经网络。第一层的两个神经元(节点，它们构成隐层)完成第一阶段的计算。第二层的单个神经元实现最后阶段的计算，并构成输出层。输入对应于输入数据的(未处理)节点，因此，输入节点的数量等于输入空间的维数。注意，在输入层不对节点进行处理（不算一层）。由图中的两层感知器确定的决策线是：------对输入实现“或”运算――对输入实现“与”运算（输入向量到向量的映射）――对输入实现“异或”运算（将非线性可分问题转换为为线性可分问题）　　　　　　　　　　　　　　　　　　　　　　　　　

8、　　　　　图4．5在XOR问题中由第二层的神经元形成的决策线图4.6用两层感知器解决x0R问题4．3．1两层感知器的分类能力l两层感知器，隐层神经元的作用是将输入空间映射到二维空间中单位边长的正方形顶点上(图4.5中点（0,1）可看作虚拟顶点)。l对于更一般的情况，我们将考虑维空间中的输入向量，以及隐层中的p个神经元。用隐层节点的阶跃激活函数将输人空间映射到p维空间（）中单位边长的超立方体的顶点上，由表示，定义为　　　　　　根据输入向量与对应超平面的位置