基于K近邻的支持向量机多模型建模ppt课件.pptx

《基于K近邻的支持向量机多模型建模ppt课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于K近邻的支持向量机多模型建模主讲人：刘振15721534支持向量机多模型建模K近邻分类算法支持向量机基于KNN-SVM具体建模步骤实例分析基于K近邻的支持向量机的多模型建模支持向量机多模型建模在化工生产中,软测量技术被广泛用于估计那些由于传感技术或经济成本的限制而不能直接测量得到却又直接影响生产的质量和成本。软测量技术的核心是建立工业过程对象的精确可靠的模型,其最显著的特点是能够通过建立主导变量与辅助变量的数学模型,进而估计出主导变量的值。因此,建立软测量模型是软测量技术的重要部分。软测量建模方法主要有两大类，一类是基于过程反应机理的机理建模方法，另一类是基于数据的“黑箱”建

2、模技术，如神经网络建模，支持向量机建模等。通过机理建模方式虽然可以清晰的了解化工过程的本质，但是由于建模过程涉及大量的化工动态学知识和不确定因素，使机理模型的建立十分复杂和困难。支持向量机多模型建模支持向量机（SupportVectorMachine，SVM)作为一种新兴的基于统计学理论的学习机，相对于神经网络的启发式学习方式和实现中带有很大的经验成分相比，SVM具有更严格的理论和数学基础，可以克服局部最小问题,解决小样本学习的泛化能力,不过分依赖样本的数量和质量，所以它特别适用于解决小样本、非线性、高维数、局部极小点等问题。鉴于化工领域中大部分过程建模数据属于小样本、不适定问题

3、，因此，支持向量机在化工过程建模中得到了广泛的应用。但是,由于实际工业过程往往具有多变量、非线性、工况范围大等特点,很难用单个全局模型精确描述。近年来,一些学者逐渐开始重视对支持向量机多模型的研究与应用。K近邻分类算法K近邻法(KNN，k-NearestNeighbor)是由Cover和Hart于1968年提出的,其核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。kNN方法在类别决策时，只与极少量的相邻样本有关。K近

4、邻分类算法实现步骤准备数据，对数据进行预处理选用合适的数据结构存储训练数据和测试元组设定参数，如k维护一个大小为k的的按距离由大到小的优先级队列，用于存储最近邻训练元组。随机从训练元组中选取k个元组作为初始的最近邻元组，分别计算测试元组到这k个元组的距离，将训练元组标号和距离存入优先级队列5.遍历训练元组集，计算当前训练元组与测试元组的距离，将所得距离L与优先级队列中的最大距离Lmax进行比较。若L>=Lmax，则舍弃该元组，遍历下一个元组。若L

5、元组的类别。8.测试元组集测试完毕后计算误差率，继续设定不同的k值重新进行训练，最后取误差率最小的k值。K近邻分类算法其优缺点缺点：1.分类速度慢；2.各属性的权重相同，影响了准确率；3.样本库容量依赖性较强；4.K值不好选取；优点：1.简单，易于理解，易于实现；2.当有新样本要加入训练集中时，无需重新训练（即重新训练代价低）；3.对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。4.特别适合于多分类问题(对象具有多个类别标签)，比SVM的表现要好。K近邻分类算法其改进策略1.从降低计算复杂度的角度⑴在使用该算法前对样本的属性进行约简，删除对分类结果影响较小

6、的属性。⑵删除与分类相关不大的样本，在剩下样本中选取一些代表样本作为新的训练样本。⑶通过聚类，将聚类所产生的中心点作为新的训练样本。2.从优化相似度度量方法的角度在度量相似度的距离公式中给特征赋予不同权重，特征的权重一般根据各个特征在分类中的作用设定。3.从优化判决策略的角度可采用均匀化样本分布密度的方法进行改进。4.从选取恰当K值的角度通过反复试验调整。支持向量机支持向量机(SupportVectorMachine，SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其

7、他机器学习问题中。支持向量机为一种小样本学习理论，根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折衷，实现经验风险和置信范围的最小化，从而在统计样本量较少的情况下获得良好的规律和更好的泛化能力。针对工业过程，可采用支持向量机估计工业过程中的一些不可测变量，在一定程度上替代价格昂贵并且效果不尽如人意的在线检测仪表，实现软测量建模。支持向量机用于分类的SVM:支持向量机是统计学习理论基本思想的实现，SVM最初提出是用来处理线性可分问题的，以二值线性可分问题为例，假定训练数据可以