非参数判别分类方法(I)

《非参数判别分类方法(I)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章非参数判别分类方法非参数判别分类方法是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。学习指南非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。本章最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最核心的内容。7/18/20211中国矿业大学计算机科学与技术学院学习这一章要进一步体会模式识别中确定准则函数并实现优化的计算框架。由于决

2、策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此确定分界面方程包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。7/18/20212中国矿业大学计算机科学与技术学院数学是模式识别中不可缺少的工具，希望大家学习时，遇到的数学方面的内容要通过再学习、复习等进一步掌握，如线性代数、矩阵的特征值分解与特征向量等概念的运用上起到很重要的作用。通过这门课学习，加深对

3、这些数学工具的理解与运用熟练程度是会终身受益的。对于数学推导理解程度的要求，对增强同学分析问题解决问题的能力有好处。7/18/20213中国矿业大学计算机科学与技术学院通过本章学习掌握模式识别中最重要的非参数判别分类法的原理。学习目的掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用的机器学习这个词已涉及更为广泛的内容。学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模式识别、人工神经元网络以及统计学习理论。用近邻法进行分类。通过相应数学工具的运用进一步提高运用数学的本领。7/18/20

4、214中国矿业大学计算机科学与技术学院本章重点1、非参数判别分类器的基本原理，与参数判别分类方法的比较。2、线性分类器的三种典型方法——以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法，以及支持向量机代表的统计学习理论。3、近邻法的工作原理及其改进。4、线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法。7/18/20215中国矿业大学计算机科学与技术学院1、Fisher准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较

5、深理解。2、感知器准则函数提出利用错误提供信息实现叠代修正的学习原理。3、支持向量机方法设计约束条件为不等式的极值优化问题。本章难点4、三种不同典型方法的优缺点比较。5、近邻法的改进。7/18/20216中国矿业大学计算机科学与技术学院1、机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成分?2、机器学习过程中有教师吗？谁是教师？3、什么叫线性分类器？按照基于最小错误率贝叶斯决策，什么条件下才能用线性分类器？课前思考题7/18/20217中国矿业大学计算机科学与技术学院§3.1引言按贝叶斯决策理论设计分类器的步骤

6、非参数判别分类方法设计分类器的步骤7/18/20218中国矿业大学计算机科学与技术学院非参数判别分类方法的两个过程设计者确定使用什么典型的分类决策方法利用训练样本集提供的信息确定这些函数中的参数7/18/20219中国矿业大学计算机科学与技术学院线性判别函数的一般形式3.1.1线性判别函数的基本概念其中w0是个常数，称为阈值权，x是维特征向量，w称为权向量，分别表示为：7/18/202110中国矿业大学计算机科学与技术学院在线性判别函数条件下它对应d维空间的一个超平面。相应的决策规则决策面方程7/18/202111中国矿业

7、大学计算机科学与技术学院向量W的意义假设在该决策平面上有两个特征向量X1与X2，则应有上式表明向量W与该平面上任两点组成的向量(X1-X2)正交，因此W就是该超平面的法线向量。w0则体现该决策面在特征空间中的位置，当时，该决策面过特征空间坐标系原点，而时，则表示了坐标原点到该决策面的距离。7/18/202112中国矿业大学计算机科学与技术学院向量W的意义7/18/202113中国矿业大学计算机科学与技术学院3.1.2广义线性判别函数线性判别函数是形式最为简单的判别函数，但是它不能用于稍复杂一些的情况，例如，欲设计这样一个一

8、维样本的分类器，使其性能为：相应的决策规则为：设计一判别函数:7/18/202114中国矿业大学计算机科学与技术学院广义线性判别函数基本思想：g(X)不再是x的线性函数，而是一个二次函数，此时通过选择一种映射X→Y，即将原样本特征向量X映射成另一向量Y，从而把二次函数转换成线性函数。7/18/20211