模式识别——非线性分类器.ppt

《模式识别——非线性分类器.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、1第5章非线性判别函数实际问题经常不是线性可分的，即决策面是非线性函数。常用方法：①分段线性函数，见P83图5-3，采用距离为分类标准，一般要求对样本的分布有所了解。关键是子类数目，权值确定也比较复杂。②直接使用非线性判别函数，如神经网络方法。③非线性支持向量机，公认是比较好的分类器设计方法。异或(XOR)问题x1x2XORClass000B011A101A110B不存在决策线将两类分开.2而与和或问题是线性可分的两层感知器对于问题,可以划两条线，而不是一条线。见下页图形3B类位于阴影区域之外，而A类位于阴影区域之内。分类器可以采用两阶段的设计方法。阶段1划两条线（超平面）每条线由一个感知器

2、实现阶段2根据y1,y2的值确定x相对两条线的位置1stphase2ndphasex1x2y1y2000(-)0(-)B(0)011(+)0(-)A(1)101(+)0(-)A(1)111(+)1(+)B(0)等价地:阶段1实现如下影射4决策在变换后的数据y域进行:可以再划一条线，将两类分开，该线用一个感知器实现。阶段1实现了一个映射，将线性不可分问题转化为线性可分问题。神经网络的结构如下图所示。5这是一个两层感知机，包含一个隐层和一个输出层。激活函数为图中的神经元实现以下直线（超平面）误差反向传播算法迭代计算连接权值的算法程序，使代价函数最小化6优化过程需要计算导数，不连续的激活函数存在问

3、题可以采用下面的连续函数近似，也可以采用其他函数函数中的a决定了函数的近似程度。有两种训练方法批量训练方法：所有样本一起计算误差，统一调节权值单样本训练方法：每个样本误差调节一次权值78主要问题:算法可能收敛到局部极小值9过拟合问题网络把噪声的信息也学来了，推广能力差10广义线性判别函数回忆异或问题，映射激活函数把非线性问题变换成线性问题。一般情况，是否存在函数与合适的k，通过映射把分类问题转换为线性的？如果是这样，得到则存在超平面w∈Rk，得到如下分类器因此，可以把判别函数近似表示为11径向基函数网络RadialBasisFunctionNetworks(RBF)选择非线性函数为径向基函数

4、径向基函数示意图12等价于激活函数为RBF函数的单层神经网络13例:用RBF网络解决异或(XOR)问题定义RBF函数的中心和宽度为隐层神经元输出为x1x2XORClass000B011A101A110B14RBF网络的分类结果15RBF网络训练固定中心:在数据点中间随机选择中心，宽度σi心也是固定的，那么变成典型的线性分类器设计问题中心训练是非线性优化问题，可以采用监督学习和非监督学习相结合的方法进行分类器设计。RBF网络具有局部性质，收敛速度快但推广能力弱。多层感知器与RBF网络比较采用聚类分析方法确定中心，再用监督学习方法进行线性分类器设计。多层感知器具有全局性质，收敛速度慢但推广能力强

5、。16非线性支持向量机特征向量的维数增加可以增大样本线性可分的概率。采用下面的非线性映射在Rk空间采用支持向量机分类需要在高维空间计算内积，计算复杂性增加解决方法：高维空间内积表示成低维空间内积的函数17Mercer定理则对任意函数H空间内积定义为下式成立（5-50）反之若（5-50）式成立，则K(x,x’)一定对应某个空间H的内积K(x,x’)是对称的，称为核函数。常用的核函数多项式核函数RBF核函数Sigmoid核函数18非线性支持向量机分类步骤Step1:选择核函数。隐含着一个到高维空间的映射，虽然不知道具体形式。Step2:求解优化问题s.t.C≥ai≥0，i=1,2,…,N(5-4

6、8）结果得到隐式组合Step3：对给定样本x进行分类19非线性支持向量机结构2021决策树DecisionTreesThisisafamilyofnon-linearclassifiers.Theyaremultistagedecisionsystems,inwhichclassesaresequentiallyrejected,untilafinallyacceptedclassisreached.决策树属于非线性分类器。它是多阶段的决策系统，决策过程顺序拒绝一些类，一直达到最终接受的类为止。Thefeaturespaceissplitintouniqueregionsinasequent

7、ialmanner.通过顺序划分方法将特征空间分解为唯一的区域（属于唯一的一个类）。Uponthearrivalofafeaturevector,sequentialdecisions,assigningfeaturestospecificregions,areperformedalongapathofnodesofanappropriatelyconstructedtree.对于未知类别的特征向量，通过顺序