《大规模支持向量机分类算法与应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
＾Ｎｏｒｔｈｅａｓｔｅｒｎｖ＾ＪｋａｓｖＵｎｊｉｖｅｒｓｉｔｙ硕士学位论文ＴＨＥＳ＇ＩＳＦＯＲＭＡＳＴＥＲＳＤＥＧＲＥＥ论文题目大规模支持向量机分类算法与应用研究作者刘亚新学院中荷生物医学与信息工程学院专业生物医学工程指导教师张耀楠教授备奸二零一六年十二月 分类号级密ＵＤＣ学位论文大规模支持向量机分类算法与应用研究作者姓名：刘亚新指导教师：张耀楠教授东北大学中荷生物医学与信息工程学院申请学位级别：硕士学科类别：工学学科专业名称：生物医学工程论文提交日期：：年／＞月论文答辩日期年仏月１学位授予日期：１纟年＞月答辩委员会主席＞：猶评阅人￣：召隻避东北大学２０１６年１２月 ＡＴｈｅｓｉｓｉｎＢｉｏｍｅｄｉｃａｌＥｎｉｎｅｅｒｉｎｇｇ－ＴｈｅＲｅｓｅａｒｃｈｏｎＬａｒｅｓｃａｌｅＳｕｏｒｔＶｅｃｔｏｒｇｐｐＭａｃｈｉｎｅａｎｄｔｈｅＡｌｉｃａｔｉｏｎｓｐｐＢＬｉｕＹａｘｉｎｙＳｕｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＺｈａｎＹａｏｎａｎｐｇＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙＤｅｃｅｍｂｅｒ２０１６ 独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过一的研究成果，也不包括本人为获得其他学位而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：０蝴日期：少学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年Ｙ：？学位论文作者签名导师签名：Ｍｉｌ：錄Ｉ）签字日期：签字日期：￣－Ｉ 东北大学硕士学位论文摘要大规模支持向量机分类算法与应用研究摘要随着信息化的发展，人们在生活中产生的数据量正在迅速增长，这些大数据有着取一之不尽，，用之不竭的价值可以被挖掘。和其他科学大数据样，在生物医学领域数据也面临着爆发式的增长。由于仅依靠人类的大脑无法处理海量的数据，因此怎样实现数据的智能化处理并且充分挖掘数据中蕴含的知识，成为了研宄者们的共识，通常数据处Ｓｕ一理过程离不开机器学习的知识。支持向量机（ｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）作为种针对小样本的机器学习方法，不仅是机器学习领域重要的理论，而且在大数据应用领域具有重要作用。近年来，ＳＶＭ相关算法己经逐渐被应用到医学文本和医学图像等数据分类。但是算法需要大量反复的迭代和复杂的计算，而且随着数据量的增多，运算占用的内存空间也大幅增加。有时计算机的内存无法满足算法的运行，这限制了ＳＶＭ的使用。传一个大的凸优化问题转化为一系列小的凸优化问题统的解决思路是将。但是基于这种思路而衍生出的算法在处理大规模数据集时运行缓慢。一本文构造了种基于代理函数的ＳＶＭ分类算法，这种算法利用代理函数迭代求解ＳＶＭ中的凸优化问题。引入代理函数不仅可以实现并行化运算，而且能够保证成本函数单调递减，降低了迭代的复杂度，节省运算成本。迭代公式通过代理函数的三条性质一推导获得，并且在ＭＡＴＬＡＢ中实现。因为在凸二次规划问题中，全局最优解定满足ＫＴ条件１＃１，所以对全局收敛性进行了证明。把经典的ＬＩＢＳＶＭ和ＳＶＭ两种算法原理做了描述，重点介绍了软件包配置、使用以及参数设置。在实验阶段，使用数据发生器生成的ＮＤＣ数据集及ＵＣＩ数据库中的大规模数据集对算法进行测试，并将基于代理函数的Ｗｈ１ＳＶＭ分类算法与ＬＩＢＳＶＭ和ＳＶＭ的结果进行对比。经三组实验最后得出结论：面对大规模数据时基于代理函数的ＳＶＭ分类算法能够对大规模数据高效的分类。最后，一组医学大规模文本数据，通过处理和数据转换后三种算法上我们选取，应用到，经实验对比一，进步验证了基于代理函数的ＳＶＭ算法的实用性和优越性。关键词：医学大数据机器学习；支持向量机；代理函数分类算法；；－－ＩＩ 东北大学领士学位论文Ａｂｓｔｒａｃｔ－ｔＴｈｅＲｅｓｅａｒｃｈｏｎＬａｒｇｅｓｃａｌｅＳｕｐｐｏｒＶｅｃｔｏｒＭａｃｈｉｎｅａｎｄｔｈｅＡｌｉｃａｔｉｏｎｓｐｐＡｂｓｔｒａｃｔＷ’ｉｔｈｔｈｅｄｅｖｅｌｏｍｅｎｔｏｆｉｎｆｏｒｍａｔｉｚａｔｉｏｎｍａｓｓｉｖｅｄａｔａａｒｅｒｏｄｕｃｅｄｒａｉｄｌｉｎｅｏｌｅｓｐ，ｐｐｙｐｐ－ｍｅｄｖｅ．Ｔｈｅｖａｌｕｅｏｆｉａｔａｉｓｉｎｅｘｈａｕｓｔｉｂｅｉｔｉｎｔｏｂｅｅｘｌｏｒｅ．Ｉｎｔｉｃａｉｅｌｌｉｂｇｄｌ，ｗａｇｐｄｈｅｂｉｏｌｆｄ，ｔｈｅｄａｔａｉｓｒｏｗｉｎｉｎａｎｅｘｌｏｓｉｖｅｗａ．Ｒｅｓｅａｒｃｈｅｓｓｈｏｗｔｈａｔｔｈｅａｎａｌｓｉｓｔｏｍｅｄｉｃａｌｂｉｄａｔａｇｇｐｙｙｇ！ｃｏｍａｒｅｓｔｏａｎｅｘｅｒｉｅｎｃｅｄｄｏｃｔｏｒ．Ｂｅｃａｕｓｅｈｕｍａｎｃａｎｔｈａｎｄｌｅｈｕｇｅａｍｏｕｎｔｓｏｆｄａｔａｔｈｅｐｐ，ｙｎｅｅｄｔｏｒｅｓｅａｒｃｈｈｏｗｔｏｒｅａｌｉｚｅｔｈｅｉｎｔｅｌｌｉｇｅｎｔｄａｔａｐｒｏｃｅｓｓｉｎｇａｎｄｍｉｎｅｔｈｅｋｎｏｗｌｅｄｇｅｉｎｄａｔａｆｕｌ．ｗｅｕｓｅｔｈｅｋｎｏｗｌｅｄｔｔｌｙＵｓｕａｌｌｙｅｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｉｎｄａａｒｏｃｅｓｓｉｎ．Ｓｕｏｒｖｅｃｔｏｒｇｇｐｇｐｐｍａｃｈｉｎｅｓ（ＳＶＭ）ｉｓａｔｈｅｏｒｙｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｆｏｒｓｍａｌｌｄａｔａｓｅｔｓａｎｄｌａｙｓａｎｉｍｏｒｔａｎｔｐｐｒｏｌｅｉｎｔｈｅｆｉｅｌｄｏｆｂｉｇｄａｔａａｌｉｃａｔｉｏｎｓ．Ｉｎｒｅｃｅｎｔｅａｒｓ，ｔｈｅｔｅｘｔｃａｔｅｏｒｉｚａｔｉｏｎａｌｏｒｉｔｈｍｓａｎｄｐｐｙｇｇｍｅｄｉｃａｌｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｈａｖｅｂｅｅｎｒａｄｕａｌｌｇｙａｐｐｌｉｅｄ．Ｂｕｔｕｓｕａｌｌｙｔｈｅａｌｇｏｒｉｔｈｍｓｎｅｅｄａｌｏｔｏｆｒｅｐｅａｔｅｄｉｔｅｒａｔｉｏｎａｎｄｃｏｍｐｌｉｃａｔｅｄｃａｌｃｕｌａｔｉｏｎ．Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｉｎｏｆｔｈｅａｍｏｕｎｔｏｆｄａｔａｔｈｅｍｅｍｏｉｓａｃｅｉｎｃｒｅａｓｅｓｒｅａｔｌｇ，ｙｐｇｙ＇ａｎｄｓｏｍｅｔｉｍｅｓｃａｎｔｓａｔｉｓｆｔｈｅｏｅｒａｔｉｏｎｏｆｔｈｅａｌｇｏｒｉｔｈｍｗｈｉｃｈｌｉｍｉｔｓｔｈｅｕｓｅｏｆＳＶＭ．Ｔｈｅｙｐ，ｔｒａｄｉｔｉｏｎａｌｓｏｌｕｔｉｏｎｉｓｔｏｃｈａｎｇｅａｌａｒｇｅｃｏｎｖｅｘｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｉｎｔｏａｓｅｒｉｅｓｏｆｓｍａｌｌｃｏｎｖｅｘｏｐｔｉｍｉｚａｔｉｏｎｒｏｂｌｅｍｓ．Ｂｕｔｔｈｅａｌｏｒｉｔｈｍｓｒｏｏｓｅｄｂａｓｅｄｏｎｔｈｉｓｔｈｅｏｒｉｎｄｅａｌｉｎｐｇｐｐｙｇ－ｗｉｔｈｌａｒｇｅｓｃａｌｅｄａｔａｓｅｔｓｒｕｎｓｌｏｗ．ＡｎｅｗＶＭｍｅｔｈｏｄｂａｓｅｄｏｎｓｕｒｒｏａｔｅｕｎｃｔｉｏｎｗｈｉｃｈｗｏｕｌｄｓｏｌｖｅｉｔｅｒａｔｉｖｅｌｕａｄｒａｔｉｃＳｇｆ，ｙｑｒｏｒａｍｍｉｎｏｔｉｍｉｚａｔｉｏｎｒｏｂｌｅｍｂｃｏｎｓｔｒｕｃｔｉｎｓｕｒｒｏａｔｅｆｕｎｃｔｉｏｎｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｈｉｓｐｇｇｐｐｙｇｇ，ｐａｐｅｒ．Ｉｎｔｒｏｄｕｃｉｎｇｓｕｒｒｏｇａｔｅｆｕｎｃｔｉｏｎｃａｎｎｏｔｏｎｌｙｒｅａｌｉｚｅｔｈｅｐａｒａｌｌｅｌｃｏｍｐｕｔａｔｉｏｎ，ｂｕｔａｌｓｏｇｕａｒａｎｔｅｅｔｈｅｍｏｎｏｔｏｎｅｄｅｃｒｅａｓｉｎｏｆｃｏｓｔｆｕｎｃｔｉｏｎａｎｄｒｅｄｕｃｅｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｇｔＴｈｔｔｔｔｔｉｅｒａｔｉｏｎ．ｅｕｐｄａｔｅｒｕｌｅｗｏｕｌｄｂｅｄｅｒｉｖｅｄｆｒｏｍｈｒｅｅｐｒｏｐｅｒｉｅｓｏｆｈｅｓｘｏｒｒｏｇａｅｆｕｎｃｉｏｎａｎｄｒｅａｌｉｚｅｄｉｎＭＡＴＬＡＢ．Ｉｎｄｅａｌｉｎｇｗｉｔｈｔｈｅｃｏｎｖｅｘｕａｄｒａｔｉｃｐｒｏｇｒａｍｍｉｎｒｏｂｌｅｍｔｈｅｒｏｏｆｑｇｐ，ｐｏｆｇｌｏｂａｌｃｏｎｖｅｒｇｅｎｃｅｉｓｐｒｅｓｅｎｔｅｄｂｅｃａｕｓｅｔｈｅｇｌｏｂａｌｏｔｉｍａｌｓｏｌｕｔｉｏｎｍｕｓｔｓａｔｉｓｆｙｔｈｅＫＴｐ－ｃｏｎｄｉｔｉｏｎ．Ｉｎｔｈｅｅｘｅｒｉｍｅｎｔａｌｓｔａｅｕｓｉｎｔｈｅｌａｒｅｓｃａｌｅｄａｔａｓｅｔｓｆｒｏｍｄａｔａｅｎｅｒａｔｏｒａｎｄｐｇ，ｇｇｇＵＣＩｄａｔａｂａｓｅｔｏｔｅｓｔｔｈｅＳＶＭｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｏｒｉｔｈｍｂａｓｅｄｏｎｓｕｒｒｏａｔｅｆｕｎｃｔｉｏｎＬＩＢＳＶＭｇｇ，ｌｉｇｈｔｔａｎｄＳＶＭ．Ｂｙｔｈｅｔｈｒｅｅｇｒｏｕｐｓｏｆｅｘｐｅｒｉｍｅｎｔｓｗｅｆｉｎａｌｌｙｄｒａｗｈｅｃｏｎｃｌｕｓｉｏｎ：ｗｈｅｎｄｅａｌｉｎｗｉｔｈｂｉｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎｔｈｅＳＶＭａｌｏｒｉｔｈｍｂａｓｅｄｏｎｓｕｒｒｏａｔｅｆｕｎｃｔｉｏｎｓｈｏｗｓａｎｇｇｇｇ－－Ｉｌｌ 东北大学碩士学位论文Ａｂｓｔｒａｃｔ＂ｅｆＦ－ｔｔｔｆｉｃｉｅｎｔｌｒｅｓｕｌｔ．ｉｎａｌｌａ〇ｕｏｆｍｅｄｉｃａｌｌａｒｅｓｃａｌｅｅｘｄａａａｆｔｅｒｒｏｃｅｓｓｉｎａｎｄｙｙ，＾ｐｇｐｇｔｒａｎｓｆｏｒｍａｔｉｏｎｗａｓｃｈｏｓｅｎｔｏｔｅｓｔｔｈｅｔｈｒｅｅａｌｇｏｒｉｔｈｍｓ．Ｂｙｅｘｐｅｒｉｍｅｎｔｃｏｎｔｒａｓｔ，ｔｈｅｐｒａｃｔｉｃａｌｉｔｙａｎｄｓｕｐｅｒｉｏｒｉｔｙｏｆｔｈｅＳＶＭａｌｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｓｕｒｒｏａｔｅｆｕｎｃｔｉｏｎｗａｓｆｕｒｔｈｅｒｖｅｒｉｆｉｅｄ．ｇｇＫｅｗｏｒｄｓ：ＭｅｄｉｃａｌｂｉｄａｔａＭａｃｈｉｎｅｌｅａｒｎｉｎｇｕｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓＳＶＭＳｕｒｒｏａｔｅｇ；Ｓｇｙ；ｐｐ（）；ｆｉｍｃｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎａｌｏｒｉｔｈｍ；ｇ—－ＩＶ 东北大学硕士学位论文目录独创性声明ＩＭＷＨ：Ａｂｓｔｒａｃｔｉｌｌ第１１章绪论ｕ研究背景及意义１１２．国内外研宄及发展现状３１．２．１支持向量机分类算法４１２２．．支持向量机扩展算法５２１．．３支持向量机在医学领域应用７１组织结构７．３本文的第２章支持向量机理论９２１．统计学习理论基础９２１１Ｖａｎ－ｅｖｏｎｅｎｋｓ．．ｐｉｋＣｈｉ理论９２１经验风险最小化１．．２０＇２．１．３结构风险最小化１１２．２从感知机到支持向量机１２２．２．１线性支持向量机１５２．２．２非线性支持向量机１８２１＃１３ＳＶＭ２０．ＳＶＭ，ＬＩＢ２１甽．３．１ＳＶＭ方法２０２．２ＬＩＢＳＶＭ．３方法２１２２４．４本章小结第３章基于代理函数的大规模ＳＶＭ设计２５３２５．１３．１２．１代理函数设计流程５３１．．２代理函数的性质２７３．２构造基于代理函数的ＳＶＭ２８３２１．．代理函数的构建２８３．２．２迭代过程及推导３３－Ｖ－ 东北大学硕士学位论文３．３收敛性分析３５３．４Ａ存处理３７３．５本章小结３８第４章实验说明及结果分析３９４．１实验环境３９４．２实验过程４０蚺１４置．２．１ＳＶＭ４０配４．２．２ＬＩＢＳＶＭ配置４２４．２．３实验参数设置４５４．２．４实验过程与分析４６４．３生物医学领域应用实验５４．４４本章小结５７５第章结束语５９５．１本文工作总结５９５．２研究展望６０参考文献６３致谢６７研究生期间发表论文情况６９－Ｖ－Ｉ 东北大学硕士学位论文第１章绪论第１章绪论１．１研究背景及意义近年来，互联网科学技术、ＣｌｏｕｄＣｏｍｐｕｔｉｎｇ技术不断进步，使得大数据（ＢｉｇＤａｔａ）越来越引起人们的重视。互联网的出现和发展缩短了人们之间的距离，而伴随着互联网科技的迅速发展，、数据库等相关技术的普及、高性能硬件设备的出现人们在生产生活“”中产生的数据量正以指数形式增长，而且数据的结构越来越复杂，大数据问题在这样的背景下产生了。如此海量的大数据有着取之不尽，用之不竭的价值，等待被挖掘。“”■被誉为大数据预言家的维克托迈尔－舍恩伯格教授曾经说过，大数据的价值可以比一一作汪洋大海中的座冰山，远远眺望只能看到冰山角，然而大多数的价值都深藏在海中，，。古往今来人们对于了解、记载、分析世界有着强烈的渴望这就是大数据发展不竭的动力和源泉。数据，可以从最不可能的地方提取出来。“”⑴一对于大数据的定义，可以概括为４Ｖ，定的规模性（Ｖｏｌｕｍｅ）特征即具有、２－５ａｒｉｅ［］多种类（Ｖｔｙ）、更新速度快（Ｖｅｌｏｃｉｔｙ）和最重要的价值密度低（Ｖａｌｕｅ）。结合生物医学领域，，分析以上四个特征。首先随着大数据在生命科学研宄过程中的应用和深入探索，生物医学领域的数据往往具有大规模特性：数据量大，种类多。例如，在基一因工程方向，通常对于个样本的人体基因组和转录组测序数据量会分别超过１００ＧＢ３０ＧＢ一和，考虑到次试验中通常会涉及到数百个甚至上万个人体样本，相关的数据量６一［］产出十分巨大。在医学成像领域，光学仪器曰臻进步，早在十几年前，幅ＣＴ存储量才１０ＭＢ，现在的ＣＴ则含有３２０ＭＢ，甚至６００ＭＢ的数据量，标准的病理图数据量５ＧＢ一。用这些数据量乘以人口数量和平均寿命近，仅个社区医院相应的图像存储量可以达到ＴＢ甚至ＰＢ级别高速性主要体现在两个方面一，其是数据产生的高速性，其二体现在数据处理方面，，医疗数据对处理结果处理速度有较高要求数据以极快的速度产生，需要进行实时处理，否则，数据将稍纵即逝或者延时的处理机制得到的结果价值低甚至无用，，。在种类繁多方面以人体为例，生理指标众多采集的信息从非生物电信号层面文本记录信息，到生物电层面的心电及脑电信号，还有医学成像层面的计算机断层成像及核磁共振成像等一。而这些海量的数据中包含了定的价值信息，需要深入挖“”掘，基于生物医学领域典型的４Ｖ特征，因此我们应该转变思维方式，依靠数据分析策略和机器学习手段，对生物医学大数据进行深入挖掘。一一此外样，生物医学大数据计算问题不仅仅是，和其他科学大数据个数据处理与－－１ 东北大学硕士学位论文第１章绪论一９［］分析的问题，还是个复杂系统与数据共同建模与计算的问题。生物医学研宄目标和过程的复杂性包括：不同数据的系统性整合需求、不同样本的对比需求、结果的统计等８［］等。这些均需要基于大数据进行数据建模并归纳规律。而且在样本的采样方式上，处理算法的不同均会使得研宄过程出现不确定性。科学大数据往往来自实验的获取，生物医学大数据亦是如此，在采集数据过程中有些差异性不可避免，这也均决定了生物医学大数据具有高度的不确定性。临床医疗卫生监测ｊ？优选诊疗方法？扩大疾病检测范围＾健康医学大数据ＶｙＸ細鋪药物研发ｉ｜Ｉｊ？利用可穿戴设备？优化临床试验’？加强个性化健康管理？辅助药物疗效定位图Ｉ」健康医学大数据应用Ｆｉｇ．１．１Ｂｉｇｄａｔａａｐｐｌｉｃａｔｉｏｎｓｉｎｈｅａｌｔｈａｎｄｍｅｄｉｃａｌｆｉｅｌｄｓ从计算机辅助医疗角度，对大数据进行挖掘和分析会带来创造性的价值。通过对大，：在辅助医疗量历史数据的整合分析医生在做诊断时就有了可靠的依据。研宂表明、新药品研究试验、疾病检测控制，、公众健康管理等方面健康大数据发挥了重大作用解决了医学领域广泛存在的信息分散，、片面化等问题提高了系统化分析和解决问题的能力，大幅度提升了医疗诊治的综合水平和规范性，创造极大的价值。由于仅依靠人类的大脑无法处理海量的数据，因此，如何实现数据的智能化处理并且充分挖掘数据中蕴含的知识，成为了研究者们的共识，通常离不。在进行数据处理时开机器学习的知识，但是传统的机器学习理论是针对小规模样本提出，难以用于大数据处理。针对此种情况，必须深入研究大数据背景下的数据挖掘算法和机器学习理论。本一文以机器学习中的支持向量机理论为基础，设计了种基于代理函数的大规模ＳＶＭ分类算法，旨在对医学领域大数据问题进行快速准确的处理。－２－ 东北大学硕士学位论文第１章绪论１．２国内外研究及发展现状５０一机器学习于２０世纪年代随着第代计算机的发明而被提出，在随后的十年间受到了广泛的关注，在２０世纪６０年代以后进入了冷静时期，在２０世纪７０年代重新受到人们的关注。传统的机器学习理论一般包含以下几个方面（１）理解并模拟人类的学习过程；（２）计算机和人类用户自然语言之间接口的研究；（３）不完全的信息进行推理的能力，即自动规划问题；（４）构造可发现新事物的程序。目前国内外常用的机器学习分类算法有支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，简称１２ＫＮＮ以及ＢＰ［］），ＳＶＭ、决策树神经网络下面我们对这几种常用方法做简单的介绍。决策树是比较直观的分类方法，利用决策树方法进行分类首先要从树的根节点幵始，对数据的特征进行分类，并按照分类的结果选择分支，在叶子节点处存放标签值作１３【］为最终的输出结果。Ｋ－ｒｅｓｔｎｅｉｏｎｅａｒ，ＫＮＮ）是经典的模式识别统计学方法近邻法（ｋｇｈｂ，将原始的最近邻方法（ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ，ＮＮ）进行了改进。ＮＮ方法用类向量的中心表示类别，当有新样本Ｄ加入时，求出Ｄ到类向量中心的距离，新加入的样本Ｄ的类别即为距离最近的中心代表的类别。最近邻方法简单且容易执行，但是分类的精度不高，为了解决这个缺点，提出了Ｋ近邻算法。ＫＮＮ算法能够保持简单有效的优势，如果训练集文本数量为ｍ那么采用ＫＮＮ方法的时间复杂度为０（ｎ）。算法以训练集的分类为基础，计算新加入样本到训练集内样本点的距离，然后根据距离选择Ｋ个近邻，如果新加入样本与训练集中某个近邻匹配，那么直接用训练集中的样本类别做为新加入样本的类别。如果类为离散型取值，那么这Ｋ个样本中属于哪个类最多，测试样本就属于那个类。反，之，如果类为连续型取值输出取平均值。Ｋ近邻算法实际上是推迟了计算处理，训练过程时间复杂度低，是因为它仅仅是保存了训练集，直到有新的文本加入时才建立分类器，ＫＮＮ的计算开销都推迟进行。这样也会导致，也就是说对每个新样本进行分类时一严重的问题：如果训练样本的数量很大，对于每个待分类样本，都要计算它到全体已知样本的距离，计算成本很大。神经网络算法通过模拟生物的神经元网络进行分类，经输入层、隐层与输出层的非Ｍ线性连接达到分类的目的。与支持向量机不同的是，它基于统计学理论中经验风险最－３－ 东北大学硕士学位论文第１章绪论小化原则。在大多数研宄领域里，人工神经网络多采用反向传递方式ＢａｃｋＰｒｏａａｔｉｏｎ，（ｐｇ）然而从ＢＰ算法的搜索策略来看，虽然可以逼近大多数非线性函数，但是也难以规避的一些缺陷存在，负下降梯度法导致迭代复杂、优化速度慢，也容易陷入局部极小值，当搜索空间范围扩大，如果出现多峰值、不可微的情况就不能找到模型的最优解，也可能造成过学习等现象。这些缺陷在支持向量机理论中能够被很好解决。１５一［２０世纪６０］理论由Ｖａｎｉｋ等人最早提出来年代，支持向量机ｐ，是种具有潜力的分类技术。支持向量机在小规模样本的处理上成效颇丰，此外通过引入非线性核函数以及高维空间映射函数使得很多问题能够得到很好的解决。到了９０年代，统计学习理论和人工神经网络等机器学习理论迅速发展，支持向量机在众多应用中得到逐渐完善。支一持向量机有着强大的理论基础，发展至今，已成为种较成熟的机器学习模式识别方法，并且越来越受到国内外研究人员的重视，研究内容包括算法本身的改善以及实际应用领域的性能研究。１．２．１支持向量机分类算法虽然传统的ＳＶＭ算法在理论基础上较完备，但算法在实际应用方面，会存在样本的训练速度慢以及时间复杂度高等问题。所以，在ＳＶＭ的研究中，如何提高分类速度一些亟待解决的问题。对小数据问题可以转化为二次规划和分类精确度仍是，但对于较大数据量时，算法在运行时，就会出现内存溢出而失效，也需要针对此问题的算法改进。国内外学者已经提出多种方法来优化大规模二次规划问题。经典的算法有以下几种：（１）块选算法（Ｃｈｕｎｋｉｎｇａｌｇｏｒｉｔｈｍ）１５？Ｃｈ皿ｋ［］ＢｏＶｉｎｇ算法由ｓｅｉ和ａｐｎｉｋ提出。原理是分类过程中忽略拉格朗日乘子为０的数据点，这样不仅不会影响最终的分类结果，还有效的提高了支持向量机的训练速度。所以分类时可以仅考虑支持向量（ＳｕｐｐｏｒｔＶｅｃｔｏｒｓＳＶｓ），，而忽略其它非支持向量。但是，由于在分类开始前ＳＶｓ是未知的，所以需要将整个数据集分成训练集和测试集。使用训练集训练，然后用训练生成的模型对测试集进行测试，再将测试集中被误分的样本一与训练集中的ＳＶｓ重新组成个训练集，其它的向量组成测试集，继续执行迭代过程，当所有向量都达到最大程度划分，迭代终止。支持向量的数量少是使用ｃｈｕｎｋｉｎｇ算法的一个前提，，导致算法；若支持向量的数量过多迭代过程中，训练集的数量会逐渐增多运行缓慢，从而失去算法的优势和价值。（２）分解算法（Ｄｅｃｏｍｐｏｓｉｔｉｏｎａｌｇｏｒｉｔｈｍｓ）ｃｈｕｎｋ一Ｏｓｕｎａ等人提出的分解算法与ｉｎｇ算法类似，将处理所有数据转化为处理部一４— 东北大学硕士学位论文第１章绪论分数据。首先将数据集划分为训练集和非训练集，保持训练集中元素数量不变，在解决每个子问题时一一，将训练集中个数据替换为个非训练集中被误分的数据，重新进行优１６［］化。Ｏｓｕｎａ的算法与ｃｈｕｎｋｉｎｇ算法的不同之处在于Ｏｓｕｎａ的算法中训练集有固、迭代定的元素数量此外，在Ｏｓｕｎａ的算法优化过程中，非训练集里的数据的拉格朗日乘子；一固定为前次迭代的结果一，不像块算法，除训练集以外其他样本的拉格朗日乘子律置０。但Ｏｓｕｎａ的算法的训练集选择策略采取的是随机方式，限制了算法的应用。＿（ａ）ＳＶＭ文献在Ｏｓｕｎａ提出的方法前提下对训练集的选择作了改进。利用最大速度下降法选取工作集，即训练集。通过采用可行方向法可以提高工作集的选择效率，将不符合－Ｔｕｃｋｅｒ条Ｋｕｈｎ件且在下降方向上的数据构成工作集，在这个工作集上求解ＱＰ最优解。一ＶＭ１＃１Ｈｇｈｔ，ＳＶＭ作为对比算法之这就是Ｓ算法思想的来源，其原理将在第二章介绍。（ｂ）ＳＭＯ１８Ｍ［］ｅｕｅｎｔｉａｌｉｎｉｍａｌＯｔｉｍｉｚａｔｉｏｎ，ＳＭ０由Ｐａｔｔ序列最小优化算法（Ｓｑｐ）ｌ提出。该算法实质上也属于分解算法，是在求解拉格朗日算子过程中，将含有Ｍ个变量的求最优解一一问题转化为多个仅包含二变量的优化问题，其中个变量可以用另个变量线性表示出来。ＳＭ？算法相比于ｃｈｕｎｋｉｎｇ算法和Ｏｓｕｎａ算法在运行速度上更具有优势，因为它不需处理大矩阵，所以计算速度有较大提高，也是目前流行的ＳＶＭ算法。虽然ＳＭＯ算一，与此同时，就会需要更多的迭代次数法将训练集规模缩减了，所以实际上这过程并没有节约运算成本，具有重要的意义可以围绕。但是转换思想的提出，因为后续的研宄１１＃迭代过程研究快速算法，从而提高整体运算效率。ＳＶＭ和ＳＭ０是支持向量机中的经典算法，，在本课题中将二者与新提出的ＳｕｒｒＳＶＭ方法进行多角度对比具体实验方法、配置以及实验过程将在第３章和第４章中介绍。１２２．．支持向量机扩展算法近年来，随着国内外研宄者们对ＳＶＭ研究的逐渐深入，新的ＳＶＭ算法层出不穷。早期的支持向量机是针对于二分类的情况提出的，但是很多实际问题二分类ＳＶＭ无法解决，因此需要不断对ＳＶＭ扩展。针对多分类情况提出的多分类支持向量机是二分类一个多分类一支持向量机的推广。通常构建ＳＶＭ有两种方式：第种方式将大的分类问ＶＭ－－－－二ｔ题分解，构造多组分类Ｓ，性能较好的常用算法有ｏｎｅａｇａｉｎｓｔａｌｌ和ｏｎｅａｇａｉｎｓｏｎｅ方法二二种一个更大的二次规划问题虽然这种方法思想简，叉树算法等；第方式构造，单，所，但是算法比较复杂以效率方面明显低于前面的方法。－－５ 东北大学硕士学位论文第１章绪论一ｏｎｅ－ｓｔ－ａｍｅｔｈｏｄ（１）对多方法（ａｇａｉｎｌｌ）一类数据当作集合Ａ这种方法是把多分类中的，剩余其他类别的样本构成的整体９［１］作为集合Ｂ，这样就可以将多分类变为两分类。然而这种算法在对样本进行训练时，一时间成本与样本集类别数有关，旦训练集规模增大，则时间消耗过多。此外，ｏｎｅ－ａａｎｓｔ－ａｍｅｔｈｏｄ方法会造成Ａ与数据集合ＢＡｇｉｌｌ数据集合元素数量相差过多，集合的元素数往往远小于集合Ｂ的元素数，会降低对大数据中小样本数据识别精度。—一－－（２）对方法（ｏｎｅａｇａｉｎｓｔｏｎｅｍｅｔｈｏｄ）该方法的原理是在Ｍ类数据中任取两类：集合Ａ与集合Ｂ，将多分类转换成为多二值Ｍ－个二分类问题，再利用分类器进行分类运用这种方法需Ｍ（ｌ）／２个超平面，从数学角度分析，训练集数据的种类数与分类的次数是二次函数的关系，使得一－－ｏｎｅ－ａａ－ａｏｎｅａａｉｎｓｔｏｎｅ方法的分类次数超过了ｇｉｎｓｔｌｌ方法。但是，相比于对多方法，ｇ一一Ｂ一对对方法每次分类时很少出现集合Ａ与集合元素数量相差过大的情况，使得一一对多方法方法对小样本数据的分类准确度优于。二叉树分类法是决策树分ＶＭ的融合思想是首先构建一类问题与Ｓ，算法的个二叉２４［］树，将非叶子节点用支持向量机进行分类，用叶子节点表示数据的类别。这种方法既一一一克服了对方法中当数据的种类数增加时，分类次数大幅增加的问题，又克服了对一多方法对大数据中小样本数据识别精度过低的问题，。但是这种方法会产生连锁错误次分类错误有可能会导致后续的分类均产生错误的结果，因此这种方法对非叶子节点中ＳＶＭ的分类准确度要求高。总之，目前的多分类算法主要研究方向包括提升多分类ＳＶＭ的推广能力、分类精准度以及算法的运行速度，减少分类时间。在进行ＳＶＭ分类时，实际问题中可能会遇到样本的数量不平衡的情况，根据统计学特性以及支持向量机训练样本集的显著倾向性可知，当样本集里数据量较大时，分类。误差小，数据量小时，分类误差相对较大所以，为了解决由于样本数据量不同导致的２５一分类误差问题［］，吴洪兴等人提出了遗传交叉运算方法，将方法运用到样本少的类别。中，王娜，李霞，通过计算生成新的样本最终目的是让两类样本数据量尽可能的持平一ＶＳＶＭ种类加权的双，当Ａ类和Ｂ类中样本数不平衡时等人设计了，分别为两类样本集取不同的惩罚参数，这样可以调整最优决策面的位置，从而提升分类适用性能。一２１２２２３［］［］［］：、、Ｒ此外，有些新型的支持向量机分类算法被提出ＧＳＶＭＳＳＶＭＳＶＭ等，这些算法通常从优化二次规划问题着手，改变约束条件，使得问题更易求解。从２６ｍｏｏＶＭ模型［ＳＶＭ的模型角度，Ｌｅｅ等人提出了ＳｔｈＳ，用光滑函数ＳｉｇｍｏｉｄＭｔ替二次－６－ 东北大学硕士学位论文第１章绪论一规划中非光滑、不可微部分，将目标函数转为个二阶光滑函数，可以更易求解。在解决非线性问题时，对核函数参数优化调整的常用准则有交叉验证（ＣｒｏｓｓＶａｌｉｄａｔｉｏｎ，ＣＶ）、一－－留法（Ｌｅａｖｅｏｎｅｏｕｔ）等。总而言之，提升运算效率和减少运算时间，找到更好的凸一直是研宄者们探索的方向函数以解决二次规划问题，。１．２．３支持向量机在医学领域应用（ｓｔａｔｔｅａｒｎｎｔｈｅｏｒ，ＳＬＴ）作为有效的基于统计学习理论ｉｓｉｃａｌｌｉｇｙ的机器学习算法之一ＳＶＭ主要被用在模式分类和回归两方面，，并在很多领域发挥优势如信息检索和，２７［］，，。，文本分类，人脸或语音识别社交网络疾病识别等在医学领域当采用传统分析２８［］不能得到较好的预测时，利用支持向量机能够达到良好的预测效果。例如，张晓丹等２９一３Ｑ［］［］人构造了种光滑支持向量机模型，应用于心脏病模型诊断献；文以乳腺肿瘤数据ＪＣ一为应用背景，基于特征值进行病理分类，Ａａｍｐｏｕｒａｋｉ等人开发种基于ＳＶＭ理论的３１－［］ｅｄｏｃｔｏｒ应用程序，通过有监督的学习，构建模型，再用来进行自动化诊断。通过输入病人信息－ｄｏｃｔｏｒ软件自动诊断和预测病人的健康状况。，ｅ随着数字化医疗的快速发展与信息化建设系统的普及，国内外各医疗机构积累了大量患者临床数据信息和电子病例等，这些大量复杂的数据里蕴藏着很多有价值的信息。，临床采集的数据越来越全面，也越来越复杂此外，，高精度医学医学影像设备不断更新怎样更好的处理、分类、分析健康医疗大数据，整合碎片信息等问题是计算机辅助医疗方面研宄的重要方向。因此，深入研究数据挖掘算法中的大规模数据分类之后，本课题一一ＳＶＭ分类算法设计了种全新的基于代理函数的大规模。通过第４章系列实验数据表明，该算法在大规模数据分类中有明显的优势，最后通过实际的医疗数据文本分类实验，ＳｕｒｒＳＶＭ算法可以更好地解决医学领域的大规模数据，表明与现存的经典算法相比分类问题。１．３本文的组织结构尽管在很多领域中，支持向量机的应用都很成功，但在处理大规模数据时，仍然存在运算速度和分类精度相矛盾的问题，因此本文深入研究了大规模支持向量机数据分类ＶＭ１＃Ｌ问题ＳＶＭ。和ＩＢＳＶＭ，研究全新的、适用于大数据背景下的与经典算法Ｓ相比一，本课题设计的是种基于代理函数的大规模支持向量机分类算法。经过多角度、多组的对比实验证明新提出的算法具有准确性和优越性。本文的组织结构如下：“”第１章为绪论。介绍了生物医学大数据的４Ｖ特点及大数据背景下的机器学习算－７－ 东北大学硕士学位论文第１章绪论法的重要性。国内外研宄领域在支持向量机分类算法方面的研宄进展，在二分类、多分类以及数据不平衡情况下的支持向量机研究现状，举例说明在医学领域支持向量机的应用前景，并说明了大数据背景下本课题的研宄意义。第２章为支持向量机基本的理论。首先介绍了支持向量机理论的ＳＬＴ基础，然后介绍了ＳＶＭ的发展过程：从感知机算法到支持向量机过渡，以及超平面和最优超平面的原理，通过线性可分、近线性可分及线性不可分这三个方面介绍支持向量机的基本理论。１＃％最后介绍的本课题用到的两种作为对比的经典ＳＶＭ方法：ＳＶＭＬＩＢＳＶＭ。第３章为大规模支持向量机分类算法设计。首先引入代理函数，介绍了它的定义和性质，针对二次规划模型构造ＳＶＭ中的代理函数，利用非负矩阵分解的思想，同时结合代理函数的性质求解出ＳＶＭ迭代公式并将迭代算法在ＭＡＴＬＡＢ中实现。其次，由于二次规划的全局最优解一定要满足ＫＴ条件，所以对全局收敛性以及ＫＴ条件的判定进行了说明。最后，为了避免中间值对内存的损耗，对迭代中间变量做了处理，避免大规模矩阵的产生。第４章实验说明与结果分析１＾。首先对实验环境和数据集的选择以及ＳＶＭ和ＬＩＢＳＶＭ的配置过程做了详细说明，然后对三种算法的实验参数进行选择，再对实验过，ＳｕｒｒＳＶＭ程做说明将新算法与两种经典算法进行多个维度的实验对比，并对实验结一组医学文本数据果做了详细分析，对ＳｕｒｒＳＶＭ算法的。最后选取实际应用性能进行验证。第５章总结。总结全文的工作内容和创新点，对大规模支持向量机的分类算法研究以及医学领域应用进行总结，并展望未来的研究工作。－８－ 东北大学碩士学位论文第２章支持向量机理论第２章支持向量机理论間支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅＳＶＭ是由Ｖａｎｉｋ教授在２０世纪９０年代，）ｐ提出的用以解决小样本问题的机器学习理论，自提出以来，在解决非线性和高维模式识别等方面展现出明显的优势。ＳＶＭ模型实际上是求二次规划最优解的过程，与其他的机器学习算法比较，ＳＶＭ有泛化能力强和小样本学习等特点，能有效的克服局部极小点、过学习等问题，而且通过核映射有效的克服了维数灾难，对于非线性问题有更好的解决能力。ＳＶＭ发展至今，具有强大的数学理论基础，在多学科领域均有理想的表现。通过３３［对ＳＶＭ的不断深入研宄］，总结出主要以下特点：（１）在实际问题中，样本数量有限，所以ＳＶＭ的二次型规划问题针对的是在小样本集下进行训练并找到全局最优解，很好的避免了局部极小点等问题。（２）在解决非线性问题时，ＳＶＭ通过建立非线性映射把样本集从原空间转换到高维特征空间中，，然后在这个高维特征空间中建立线性判别式这样就把原空间中的不可“”分类问题，很好地避免了维数灾害。，在高维空间里分离开（３）ＳＶＭ与其他常用的机器学习方法最大的不同是，它采用结构风险最小化ＳｔｒｕｃｔｕｒａｌＲｉｓｋＭｉｎｉｍｉｚａｔｉｏｎ，ＳＲＭ）原则，避免了过学习和局部极小值现象，而不是经验（风险最小化ＥｍｉｒｉｃａｌＲｉｓｋＭｉｎｉｍｉｚａｔｉｏｎＥＲＭ，ｐ，原则，因而具有更好的泛化能力关于两（）种风险问题将在２．１节中详细介绍。２．１统计学习理论基础２－．１．１ＶａｐｎｉｋＣｈｅｖｏｎｅｎｋｉｓ理论３４［］在支持向量机的统计学习理论（ＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎＴｈｅｏｒｇｙ，ＳＬＴ）中，最重要的一ａｎ－概念之是ＶＣ维（ＶｐｉｋＣｈｅｖｏｎｅｎｋｉｓＤｉｍｅｎｓｉｏｎ），用它来衡量机器的学习能力。以＋１－线性分类器为例，如果将样本集中的数据分为类和１类，那么样本数为ｎ的样本集ｎ可以有２种分类方式，也就是说，该学习机器可以完成样本数不大于ｎ的二值分类问题，这个线性学习机器的ＶＣ维是ｎ＋１。通常来说机器的ＶＣ维较大表明机器越复杂。对于任意给出的学习机，如何计算它的ＶＣ维尚未解决ＳＬＴ以有监督的学习理论为基础，有监督学习的定义是预先知道输入和输出存在某种映射，样本集在进行训练的过程，实际上是缩小实际映射与机器映射间差异的过程，如图２．１给出了有监督学习系统的结构。－－９ 东北大学硕士学位论文第２章支持向量机理论２．１．２经验风险最小化假设学习机产生的映射为／，损失函数；（ｘ，ｗ）；）定义为由于用／（Ｘ，ｗ）对７进行预测而造成的损失，其中Ｗ代表映射的广义参数。＇学习机器？（ｘｖｒ）Ｉ／，１／ｒｎＩ，、＼ＶＪＩＩ？现实系统￣￣？；；Ｉ｜图２．１有监督学习系统的基本结构Ｆｉ．２．１Ｔｈｅｂａｓｔｈｌｅｉｉｃｓｒｕｃｔｕｒｅｏｆｔｅｓｕｐｅｒｖｉｓｅｄａｒｎｎｇｓｓｔｅｍｇｙ通过求：．Ｖ）的总体期望值得到期望风险的泛函Ｒｗ＝ＬｘｗｄＦ（ｘ（２．１）（）（ｙ，（，）．ｙ）ｆ），Ｊｗ）即最小化期望风险，由式（２．１）可计算。用及（ｗ表示学习机器的映射巩）／和现实系统之间差异，然而是无法确定的联合分布，因此在实际解决问题时，巩ｗ）不能通过运算得到。．Ｙ．Ｋｈｉｎｃｈｉｎｅ根据Ａ大数定理能够推出结论，，若总体中的样本独立同分布那么在Ｍ，样本量足够大时，经验风险表示为训练集的平均出错率。所依概率收敛到如下定义的）经验风险凡’丄＝１．２ＸＷ（．２）〇）文（兄，／（，，））７７＝１／在实际工作中，通常把作为期望风险的估计值，两者的计算关系式为式（２．３）。机器学习算法要尽量使得经验风险凡最小，这就是经验风险最小化原则（ＥｍｐｉｒｉｃａｌＲｉｓｋＭｉｎｉｍｉｚａｔｉｏｎ，ＥＲＭ）。根据统计学理论中的相关知识，兄—（ｗ）和穴（ｗ）之间以不小于－＾１／７（〇＜？７）的概率满足以下关系：＜ＲＲｗｗ＋ｈ／ｌ（２．３）（）ｅｍｐ（）＾）３３［］ＶＣ，Ｖａｎｉｋ等人证明，对二值分类问题，依据维理论ｐ有下式成立：－／；ｌｎ２／／／；＋１ｌｎ７４（（）（７／））＾／／（２．４））＾／其中／，。ｚ是ｘｗ的ＶＣ维／是样本数／（，）－－１０ 东北大学碩士学位论文第２章支持向量机理论通过式（２．２）可以用经验风险最小化替代期望风险最小化，但是实际问题中这种估计缺少充分的理论依据，因为样本数量通常是有限的，导致有些情况下ＥＲＭ准则会引一起过学习现象，。般的学习方法是基于凡最小，比如神经网络需要满足对已有训０练数据的最佳拟合。通过增加算法的规模可以使得不断降低以至于为。，Ｃ维Ａ增加，从而舛／但是这会使得算法的复杂度增加即Ｖ；／／增大，导致实际风）一险增加。这样来学习机器的泛化性能（Ｇｅｎｅｒａｌｉｚａｔｉｏｎｃａｐａｃｉｔｙ）会变差。这就是一过学习问题或过拟合现象，如图２．２所示。其中泛化性能是用来衡量个学习算法好坏的标准，指的是学习机除了对训练集样本以外的其他样本准确分类的能力。＊＊＊＊？＊＊＊氺＊氺〇〇＊＼〇〇：。１丨卜Ｉ图２．２最佳拟合与过拟合Ｆｉｇ．２．２Ｇｏｏｄｆｉｔａｎｄｏｖｅｒｆｉｔｔｉｎｇ２．１．３结构风险最小化ＶＭ一Ｓ的重要特征之是利用了结构最小化原则而不是经验风险最小化原则，这是（２．３）与其他数据挖掘算法相比最大的不同，。由式两种风险的关系需要引入置信范围的概念。外／＂／）仅和算法的ＶＣ维以及数据量的大小有关。从理论上看待过学习问题：当样本数量少时，如果构建的学习机复杂，那么对样本．．集训练时误判的几率低，由式（２３）和（２４）可知这样造成了置信范围的增大，从而导致泛化性能降低。以多层前向神经网络为例，如果隐层神经元较多，那么ＶＣ维较大，／／／在小样本的情况下，置信范围中７，２．３（较大即便经验风险很小，由式（）得到的期）一望风险仍然很大，，这样就无法是两种风险达到致最小。所以在保证ＥＲＭ原则的前提下，需要降低学习算法的ＶＣ维，即学习算法的复杂程度，尽量让期望风险得到控制，一换句话说就是在训练误差和置信范围之间做个折衷。以二分类学习机器为例，找到个，使得样本错分个数最少，以保证经验风险最小分类面；还要使得分类的间隔尽可能大，■１１ 东北大学硕士学位论文第２章支持向量机理论Ａ，，ＳｔｒｕｃｔｕｒａＲｉ以保证最小进而使得实际风险最小这就是结构风险最小化（ｌｓｋＭｉｎｉｍｉｚａｔｉｏｎ，ＳＲＭ）原则。牛欠拟合过拟合一＾ＲｅｍｖＩｐ（｝）ＩｉｉＩｈ１？图２．３结构风险最小化准则Ｆｉ．２．３Ｓｔｒｕｃｔｕｒａｌｒｉｓｋｍｉｎｉｍｉｚａｔｉｏｎｒｉｎｃｉｌｅｇｐｐ由此可见，构建合适的学习机器，对于风险的控制有很大影响ＶＣ维选择的。如果太小会形成欠拟合（Ｕｎｄｅｒｆｉｔｔｉｎｇ），如果ＶＣ维太大又会导致过拟合问题。如图２．３所一示，根据ＳＲＭ原则，构造合理的学习机器就可以实现致风险的最小化，对应的ＶＣ维是最合适的。２．２从感知机到支持向量机感知机（Ｐｅｒｃｅｔｒｏｎ）在１９５０ｓ由Ｒｏｓｅｎｂｌａｔｔ，是支持向量机的基础ｐ提出。感知机是一二－＋１１种分类的线性分类器，它的输入ｘ代表样本特征，输出为样本的标签，用和＿ｙ代表。这样就可以通过样本的特征区分类别。感知机应用的前提条件是特征空间线性可＋１－１分，，也就是说所有的样本只属于｛｝这两类。一＝在感知机的定义里，线性方程ｗｘ＋６０对应个超平面（二维空间中为直线），两类样本分别位于超平面的两侧。超平面将样本集分为正类和负类，坐，求得模型参数ｗ，标是每个样本的特征，６后一即确定了感知机模型。在平面中，如果样本空间线性可分，则可以用条直线将正类和－－１２ 东北大学硕士学位论文第２章支持向量机理论，，。负类分开，如果线性不可分则无法用感知机处理这时引入损失函数损失函数可以Ｓ．＝定义为误分类点到分类面（〇；ｘ＋６０）的总距离。距离有以下两种概念：（１）几何距离（２．５）丨ＩＨＩ一－＝Ｍ？ｘ，１１０设样本点，／，ｘ＋６（（〇ｙ（））ｙ（〇代表类别或任样本点到这个分类面Ｓ（ｗ）．的距离为几何距离。（２）函数距离Ｕ）ｕＴｉ（）ｄ＾ｘｗ＋ｂ（２．６）ｙ＼）函数距离用来表示为分类的正确程度，如果ｍｒ＋６＞０时，表示该样本点Ｍ在超平面，，分类面不会改变位置，Ｗ上方成比例的改变模型参数。但是＾会随之成比例增减保持不变。，根据距离公式计算全部的误分类点到分类面的总距离：＿＋ｂ〇）（２．７）Ｍ为误分类的集合，是固定的。得到感知机的损失函数：＊ｍｉｎＬ〇）ｂ＝ＶＸ（２８）（．，）＾－／／￡ａ／随机选取误分类点，对ｗ和６更新：。经过上述分析可知感知机的数学模型＋ｘ＝？＝ｆｓｉｎａ）ｘ＋ｆｔ｝（２．９）（）ｇ（）｛—１其中Ｘ属于特征空间，ｗ和６为感知机参数，ｖｖ为权值，６为偏置。感知机的算法流程如下：（１），如设初值Ｗ；（２）计算函数距离找到所有的误分类点（３）更新ｖｖ，６４２，（）回到过程（）继续计算直至没有误分类点。一当采取的初值不同，通，如图２，过感知机算法会得到不同的超平面．４所示即当个样本被误分类时，就调整ｗ和６使得超平面发生改变，减小误分点到平面的距离。所以，感知机的分类超平面可以有很多条，他们均能够保证两类数据得到正确划分，但是可以发现的是，两类样本点到超平面的距离随着超平面位置的变化而改变，所以针对线一性空间，确定个最优的分类超平面，从而可以确定ＳＶＭ的数学模型。－－１３ 东北大学硕士学位论文第２章支持向量机理论＼＼、＼、、、＼、、分类超平面Ｖ—．７＊１、＊〇、￥＊＊°、〇＼、＼＊、、。、、、＊。：＼＜、、〇、、、＼、、°、〇、、、、、、＼、＼、°〇＼＼、°、＼、、＼＼＼＼＼＼图２．４感知机超平面不意图－Ｆｉ．２．４Ｔｈｅｈｅｒｌａｎｅｏｆｅｒｃｅｇｙｐｐｔｒｏｎｐｐ直到所有点都被正确划分，所以感知机追求的是最大程度正确划分，最小化错误，一，２．４但是这样来容易造成过拟合。在线性空间，感知机分类超平面有很多条如图虚线所示，最大化ｍａｒｉｎ，如图２．４实线所示，。而支持向量机是在大致正确分类的同时ｇ这在一定程度上避免了过拟合问题。＼＼最优分类超平而＊＊＊＇：於、、、。、。；￥丨。Ｖ％ｊＩ图２．５最优超平面示意图Ｆ－ｉｇ．２．５Ｔｈｅｏｐｔｉｍａｌｈｙｐｅｒｐｌａｎｅ即图２．５中所示的Ｈ不仅要保证样本分类准确，同时还要达到间隔ｍａｒｇｉｎ最大化，，如果是在高维空间，就可以得到最优分类超平面在二维空间内就可以得到最优分类线。－１４－ 东北大学硕士学位论文第２章支持向量机理论５－＝图２．中用圆和星号表示两类样本，Ｈ是分类面，对应的方程是：ｗ乂ｙ０。位于分类线两侧平行于分类线的氏和１１２，叫做辅助超平面。位于辅助超平面上的数据叫做支持＝＿（ＳｕｏｒｔＶｅｃｔｏｒｓ）。ＨＨ－－Ｊ－＝ｌ向量ｐｐｉ和２对应的函数分别是ｗｖｌ／ｙｌ和ｗ／ｙ，其中儿？４＝Ｘ代表输入样本，Ｗ为权值，６为常数偏置，．．．Ｘ，。｛〇＾／）（２Ｊ２），Ｃ／Ｗ｝＂ｘｅｉ？ｅ＋１－１。将乩和Ｈ２之间的距离记作Ａ则定义：，，｛丨；％－＿．．．ｈ４ｙ．ｙ｜．卜４｜…八、————２＾ｎ＋（．１０）ｉｍｉｎｉｍｍｏ．．－＝＝】＇ｋ．），．１｝ＩＨＩｋ，｝ＩＭＩ若存在超平面可以分开数据，，并且算法收敛那么这种情况称为线性可分，否则就是线性不可分。２．２．１线性支持向量机首先介绍线性ＳＶＭ，在所有保证分类结果准确的超平面中，找到分类间隔最大的，即最佳分类超平面（ＯｐｔｉｍａｌＳｅｐａｒａｔｉｎｇＨｙｅｒｐｌａｎｅ，ＯＳＨ）。线性可分时的两类样本满足的条件如下所示：－＝（〇■＞Ａ＼对于＋１ｙ，＿ｙ，ｉ—－－＝－ｔｙ幺１对于ｌ尸，＿ｙ４ｊ（２．１１）．一＝＇似１／１２．（．．／少／２，，，，艮，為）ｐ（２１２）１所以，根据公式２．１），（计算得到线性可分的情况下，辅助超平面乩到０３１１的＝距离是同理，Ｈ２到Ｈ的距离也是＆。所以，分类间隔的大小想要使得２？间隔最大，相当于让卜最小。上为了便于运算，将代表样本标签Ｖ，，用矩阵表示．｜ｘ－Ａ，代表／／的对角矩阵，对角元素为＋１或者１，对应的是输入样本矩阵Ａ的类别。ｍａｘ（＾）ＨＩ？—＞＝ｓ１．ｔ．ＤＡｉ１２．．．Ｎｈ（ｆ／），，，，（２１３）满足约束条件式（２，．１３）并且使得ｄ最小化的分类平面就是线性支持向量机的最优分类超平面－＝。确定最大间隔分离超平面的核心问题是找出超平面羔％７０的法向量ｗ和偏置。ｙ一＝－－＝－式（２．１１）等效成在数据所在空间中找出对辅助超平面ｗｄ，１与ｗｊ１，ｙｙ并保证二者几何距离最大，：２１；同时，对于所有数据点来说满足Ａ，，即两超。平面之间没有数据点，图２．３表示的即线性可分下面介绍近线性可分的情况：－－１５ 东北大学硕士学位论文第２章支持向量机理论式２．１３）等效为：（丄ｍｉｎＫ（）１１１１２（２．１４）ｓ－－＞＝ｔＡ．ｃｏ＼．．Ｄｙｉ１２．．．Ｎｕ（，，，，，）２．６＝但是，图所示的数据分布仅会在个别的情况下发生１，有时在两个超平面凡一－—与羔＾产丨之间仍会有些数据点，这种现象称为近线性可分。＼＼小１，产｜＊＼＼＊＊＼＊＼＼ｎ＼＊＼＊＼＊，＼＼＼＼＼＼、、＊、、。。、＼＊、＊＼＊Ｉ。＼、、。八。＼＼、、。、＼、°＼＼＼〇、＼＼■－＝－Ａ．〇）／！＼＼，、＼］、图２．６近线性可分Ｆｉｇ．２．６Ａｌｍｏｓｔｌｉｎｅａｒｌｙｓｅａｒａｂｌｅｐ，２．６所示为解决近线性可分问题如图，引入间隔松弛变量惩罚因子的概念，一一个样本都有个松弛变量与之对应一每。设ＭＸ１维向量Ｃ，Ｃ中元素表示每个数据点的松弛变量，松弛变量的大小决定了算法的容错性。惩罚因子＾是可以调整的参数，用于控制目标函数中寻找间隔最大的超平面和保证所有数据偏差量最小之间的权重，也具有防止出现过拟合的作用。在二分类里面，通常用ｆ表示对正类样本划分错误的惩罚参？一，表示负类的惩罚参数数用。这样约束条件在定程度上放宽，式（２．１４变为：）（２１５）ｓ＋＞＝＾．ｔ．０／１２Ａ－＾，，，，，３５表示所有数据的偏差量总和［］，越小越好，转化为矩阵表达形式为：＇〇）〇＞＋５ｅ￡（，）－＞ｓＤ－＞０．ｔ．Ａｃｏｅ（／）＋＾，＾（２．１６）－－１６ 东北大学硕士学位论文第２章支持向量机理论５？式（２，．１）属于凸优化问题，引入拉格朗日算子ａ，在处理最优化问题时，每个样？些＝■＞本都有和它对应的ａ，，那＆０的样本对分类没有影响，只有ａ，０时的样本点即支持向量对分类有影响。引入拉格朗日算子后，目标函数写成：－？－－－Ｌ〇）ａａ－？１＋？｛，，，＾ｉ＾（４ｒ）ｉｒｆＡ＃，｝Ｍｉｉ＼ＥＺｚＭ＝＝，ｉｍｉ＜（２１７）．ｒ＝其中”．．。，，，（ＡＡ＾）－Ｔｕｃｋｅｒ，由Ｋｕｈｎ定理计算最优解：＝－？＝？０（２．１８）／，死．＾＝－－－＝？．Ｄｃｙ）ｌ＋０Ｖｉ，（＂（為ｒ＃）｜，ｄａ＇（２．１９）Ｖｌ（２．２０）＝〇Ｖｉ（２．２１）＇＝２２０Ｏ．＜１．＜由式（２．１８）和（．）可Ｓａ／１２．．．，．７ａ８知０，，，由（２）可知如果，！Ｊ，贝，，ｊＧ为零。再通过（２．１９）可以求出乂若采用矩阵表示可以得到对偶形式關：＼＼（｝｝ｒｍ－ＤＡＡＤｕ－ｉｎＵｕｅｕＪ＇ｓ＜ｕ＜Ｄｕ＝．ｔ．０３ｅｅ０／（２２２）原始形式和对偶形式包含了过多的约束条件，导致计算机会做过多的运算。一＞ａＬ．Ｍａｎｇａｓａｒｉａｎ等人将作勺次方改成了二次方，省略了约束项（０，并在ｗＶ后加上２３６Ａ［］，原始形式变为：２２２ｍｉｎ＋；１＋？（（）／，）去｜—｜奋ｓＡ－－＞＝Ｎ．ｔ．Ｄ（ｄ）＾ｌ〇ｉ１２．．．），，，ｕｒｒ，（２．２３）一３６］［般形式引入惩罚因子后，对偶形式为将数学模型的：＇＇＇＇－－－ｍｉｎＭ＋ＤＡＡ＋ｅｅＤｗｅｗ［）＾＾｜｜ＳＬｕ￣°－（２．２４）同时可得到：－７－１ 东北大学硕士学位论文第２章支持向量机理论＇＇ｗ＝ｕ＝—＝－ＡＤｙｅＤｕ，，／＾（２．２５）在对偶形式中，引入了拉格朗日乘子ｗ，它直接决定了分类平面的ｗ和ｙ，从而将，以及〇的值变为确定ｗ的值优化的核心问题从确定ｗｙ，将问题由求解式２．２３中三个（）２一．２４个未知数，２．２５未知数变为求解式（）中。确定ｗ的值后通过（）式，求得ｗ和ｙ，得到超平面。用这个超平面分类时，分类结果Ａ／由公式求出。２．２．２非线性支持向量机在线性空间里，不是所有的样本集都线性可分或者近线性可分２．７左，，如图图所示这时采用线性支持向量机无法将数据分类。〇ｃ。牛牛°°°〇〇〇〇〇０°°°°°８ＯＯ〇°〇°°°００〇＊＊￥〇〇〇氺氺＾＾氺＊＊氺〇＊＊＊°°〇〇〇１＿、图２．７二维空间中的点映射到三维空间的半球体上Ｆｉ－．２．７Ｐｏｉｎｔｓｉｎｔｗｏｄｓｏｎａｌｓａｃｅａｉｇｉｍｅｎｉｐｒｅｍａｐｐｅｄｔｏｔｈｏｓｅｎｔｈｒｅｅ一解决问题的办法是首先确定个非线性函数，将二维空间里分布形式不可分的问题一，通过个非线性函数，，即核函数将样本从左侧的特征空间投放到新的特征空间，在新的特征空间中，２样本可以用线性支持向量机进行分类如图．７右侧所示。图２．７中的数据用到的映射方式：￣ｘ—＞ｘｘ－ａ＋—ｂ（２．２）（，，，６ｙ）（ｙ（）｛ｙｙ）＾原理是将平面上的点映射到三维半球体上一，在新的空间里，可以找到个平面将两组数据分开，这样就把不可分问题转换成了线性可分或近线性可分。当样本线性不可分的时候，ＳＶＭ采用了核函数的概念，用以实现转换。通过引入，既避免了高维数问题，又不会提高复杂度非线性映射。在机器学习方法中，用提前定－－１８ 东北大学硕士学位论文第２章支持向量机理论义好的核函数代理内积运算，因为不论是对偶形式的目标函数，还是决策函数，都不需要具体求出映射／／Ｘ的形式，仅仅需要求内积／／（ｘ，＞／／（ｘ。通常对核函数的选择决定了（）／）３７［］。ＳＶＭ的类型。随着ＳＬＴ和非线性ＳＶＭ的日益发展，核函数法越来越受到重视＊非线性映射氺＊ｉ〇＊〇＼〇＼ｙ丨图２．８核空间理论Ｆｉ．２．８Ｔｔｈｅｏｒｏｆｋｅｒｎｅｌｆｕｎｃｔｏｎｓａｃｅｉｇｈｅｙｐ数据从空间Ｒ经过非线性函数Ｈ映射到Ｆ空间，这样原本不可分的样本集可以在一２，所以采用核高维的空间Ｆ里进行分类．８的空间Ｆ里般无法直接找到分类面。在图不输入向量在特征空间中的像。函数：表使用ＳＶＭ算法时常用的核函数（Ｘ、ｙ为己知矩阵或向量，维度任意）有：－ｘ＝．义＋（１）：ＡＭｙ线性核，）４ｒｆ＝．ｘ２ｘ＋ｙ（）多项式核：々ｍ，）（為）Ａ／＝－－Ｚ（３）：Ｕｅｘａ）高斯核）ｐ（（４｜ｆ＂＝．：ｙ４Ｊｙ（４）ｓＩｔａｎｈ４Ａ＋ｙｉｇｍｏｉｄ核：Ａ（，〇（）；：引入核函数后，ＳＶＭ的对偶形式变为＇＇＇ＸＤ－ｉｎｊ＋ＤｋＡｋＡＸ＋ｅｅｕｍ（｛，，）ｊ［）（）］／ｊｐ〇７）＞ｓ．ｔ．／／０。引同时，原特征空间中的超平面被新特征空间中的超平面所取代。虽入核函数的好处是不需要知道映射的形式，只需要知道采取的是哪种核函数即可然ＳＶＭ，二分类问题是的基础，但是随着数据结构越来越复杂实际问题中存在很多非线，性的情况，这时避免不了使用核函数所以核函数己经成为将非线性不可分问题变换为线性可分问题的通用技术，但是在实践过程中，核函数的选择以及核参数的确定还没有充分得理论依据。－＿１９ 东北大学硕士学位论文第２章支持向量机理论ｕｇｈ２．３ＳＶＭ４［ＪＬＩＢＳＶＭＳＶＭ理论在各个应用领域不断被提出新的算法，传统的ＳＶＭ在训练时存在着占用内存大、训练速度慢等问题。所以人们对ＳＶＭ的快速算法进行了不断探索，同时收获ｕｈｔｇＢＳＶＭ了不少成果，在ＳＶＭ领域，两种快速有效的经典算法有ＳＶＭ＆ＬＩ。虽然ＳＶＭＬＢＳＶＭ１＾和Ｉ都属于分解算法，但是算法本身的特点不同，因此本课题选择了ＳＶＭ—ｕｈｔ和ＬＶＭｇ算法ＩＢＳ作为对比算法，与大规模ＳｕｒｒＳＶＭ起进行实验。下面介绍ＳＶＭ和ＬＩＢＳＶＭ算法的相关理论。２１蜘．３．１ＳＶＭ方法一ＳＶＭ１＾是经典的ＳＶＭ分类算法之，可用来解决分类和回归问题。它是由８－［３３９］ｕｈｔＪｏａｃｈｉｍｓ在１９９８年提出的基于分解算法的ＳＶＭ算法ｇ，ＳＶＭ主要使用了高效的工作集选择策略。由于ＳＶｓ在训练集中仅有小部分，所以多次迭代之后，很多支持向量的Ｌａｇｒａｎｇｅ乘子将达到边界Ｃ，这时通过收缩策略降低算法的复杂程度，下面简单介绍算法应用到的策略。ｌｌｈｔ１）ｇ工作集（ＳＶＭ用的是最大可行下降法（ＳｔｅｅｐｅｓｔＦｅａｓｉｂｌｅＤｅｓｃｅｎｔ）选择。这种方法首先要确定最大的可行下降方向，使得目标函数可以快速的达到最优值。最大可４Ｑ［］行下降法提高了工作集的选择效率，研宄表明采用的Ｚｏｕｔｅｎｄｉｋ可行方向策略收。ｊ敛＿（２）８￥１＾算法使用ＱＰ软件包ＬＯＱＯ来求解二次规划子问题。这个软件包不仅包含求解二次规划的算法，也包含其他的优化方法。一（３）收缩Ｓｈｒｉｎｋｉｎｇ）策略。在训练集中，通常ＳＶｓ的数量仅占训练样本的部分。（通过前面分析，可知支持向量对分类超平面的位置有着重要的决定作用，所以可以仅对ＳＶｓ进行训练。而在迭代过程中，某些ＳＶ的Ｌａｇｒａｎｇｅ乘子会达到常数Ｃ，这样的支持向量被称为边界支持向量。在之后的迭代过程中，如果样本Ｌａｇｒａｎｇｅ乘子都处于边一一界不再改变，则把这类支持向量放到个非活动集中，把经过缩减之后的训练集组成活动集，单独优化。将二次规划问题用活动集和非活动集的形式表达如下：ｎＷｏ＝ｍｉｒ（）臺１Ｔ１ｒａａ＋￣ａａ（２）＋ＡＡＮＮＮＱＮＡＮ．２８Ｑ＾￣ｅａ￣ｅａＡＡＮＮ－２０－ 东北大学硕士学位论文第２章支持向量机理论＜—ｓ．ｔ．＾ｃ／ｌ．．ｙｌ０，（＾），ｖ；｜｜（２２９）＝－ｙｗ＾因为拉格朗日因子似在多次迭代后会达到上限ｃ，所以只对含有〇ｕ的项进行优化，所以：＝￣￣ｉ—（２３０ｍｎＷａａ（ｘ＾ｏｃａ．）（）ＡＱａａａ（ａＱａｎｎ）Ａ＝ｓｙ．’．〇—＾ｃｚｌ．．．４，，，｜｜（２３１）＋？＝０ｙ＼ａＡｙＮ＾２３１），式（．将目标函数以活动集和非活动集划分，接下来的迭代只针对活动集进行“”ｕｇｈｔ这就是ＳＶＭ收缩的策略。值得注意的是：收缩过程和分解过程是不同的。收缩指的是把多次迭代之后达到边界的ＳＶｓ放到非活动集中，迭代的时候从活动集中选择样本到工作集。ＶＭ＾ｈｔ（４）核矩阵Ｑ的运算代价非常大，所以Ｓ减少需要迭代的变量，进而节约ｕｈｔｇ。，，计算成本在迭代过程中，ＳＶｓ可能会被多次选入工作集中为了避免重复计算ＳＶＭ在存储技术上，不仅利用了缓存技术而且还可扩展内存，既可以在计算机存储和时间成本两方面取得很好的折中，也能够有效的处理成千上万的ＳＶｓ问题。２．３．２ＬＩＢＳＶＭ方法一ｎｄｏｗｓＬＳＶ个经典算法，它使用起来简单、快速，调用方便，在ＷｉＩＢＳＶＭ是Ｍ的另系统下有的清晰的源代码和完备的可执行文件。ＬＩＢＳＶＭ对ＳＶＭ理论相关的参数调节，ＬＩＢＳＶＭ，通过修改相对比较少，大多数参数都采用默认的形式当需要用解决问题时默认参数中预设的值即可实现不同的功能。此外，该方法提出了价差验证（ＣｒｏｓｓＶａｌｉｄａｔｉｏｎ的功能。ＬＩＢＳＶＭ的核心算法是序列最小优化（ＳｅｑｕｅｎｔｉａｌＭｉｎｉｍａｌ）Ｏｔｉｍｉｚａｔｉｏｎ，简称ＳＭＯ）方法，从数学模型角度，每次选择两个样本进行优化。前面ｐＶＭ二次规划问题时都要进行大量的运算一旦介绍过传统Ｓ在单步迭代或者求解，而且。训练集数据增加或者遇到高维问题，就需要更大的运算成本ＳＭＯ补充了传统ＳＶＭ的４１［］２个，然后利用两个不足，将工作集的数据规模减小到只有样本样本之间的关系将一某个样本用含有另个样本的关系式表示，这样就把单步迭代运算的结果直接用解析法求出来，避免了求二次规划最优解时的大量运算。由于ＬＩＢＳＶＭ采用的是ＳＭＯ（串行ｍｘＳＶＭ算法对比，。最小化）算法，所以为了便于与Ｓ对ＳＭＯ算法作分析＝（工作集＃丨，开始时的Ｌａｒａｎｅ乘子分别为ａ１）两点解析解ｉ和ａ２，要：设｛，７｝ｇｇ－２－１ 东北大学硕士学位论文第２章支持向量机理论４２［］＝为这两个参数计算新的值。为了不违反线性约束？．〇，新的Ｌａｇｒａｎｇｅ乘子，一条直线上必须要在，即满足下面的约束：０ｗ〇ｗ少＋ａ＝ｃｏ；ｗｚ（２．３２）＿ｙ，丨２这条直线所代表的约束条件可以用图２．９表示，是在（ｃｎ，ｃｔ２）的空间，并且在０＜ａＳＣ的矩。ｃｘｐ：形约束中定义变量：Ａｓ（２３３）ｕ．２ｏＭ０ｈｌ＝＝ａｌ＋ａ２ａ＋２．３４）／ｓｓａ（，２将ａ，ａａ／和与其他拉格朗日乘子分离仅对ａｉ和ａ２优化。此时ｉ可以由２和其他参数表示出来。这样？回带到目标函数Ｗ中，Ｆ就只是关于ｍ二次的函数。一二次方目标函数呎奶元程式。根据Ｌａｇｒａｎｇｅ相关原理，〖作／２）的极值点可以）实际上是？＝通过对们求导得到，所以由＾〇得：ｄａ（２）－卿，ｏＭＥｆＥｆ），Ｍ！ａ、＝ａ＋－＾—＝—（２３５）．２Ｖ其中和分别代表样本的决策错误。因为拉格朗日乘子满足０ＳＳＣ，Ｖ／，２．３５）所以应该将式（中的取值范围作判断，从式（２．３３）和式（２．３４）分析可知，＝＝ｓ可，所以如果＾１，则根据式（２３４）看做两类样本标签的乘积．，有／＋＋，这％个约束可表示为图２．９。ａ－＝＾ｃａ２ｃＩｉＩ［ｋ／—〇￣８，ｉ〇Ｎ．ｄｉ＼Ｃａ＝＝ｉｃ－ｉｏ！；ａ尸＼／ＩＩ＼ＩＬＩ＝＝ａ，２０ａ２０＝＾－－＝－＞ａ－ｙ＼ａａａｙ／｛２］２ｘ２ｙ图２．９两类样本的Ｌａｇｒａｎｇｅ乘子的线性约束Ｆｉ．２Ｔｈｌｉｉｌｉｈｅｌｇ．９ｅｎｅａｒｃｏｎｓｔｒａｎｔｓｏｆｔｗｏａｇｒａｎｇａｎｍｕｌｔｉｐｌｉｅｒｆｒｏｍｔｃａｓｓｅｓ－２２－ 东北大学硕士学位论文第２章支持向量机理论＞一＜若ｃ丨ｃａ＜ｃｙ，贝Ｊ，２；１＾＜ｃ丨ａ＜ｙ，贝Ｊ０Ｓ；２／综合这两种情况，可以得出取值的边界范围：Ｌ＝－２ｍａｘ０Ｑｒ＋ａｃ（．３６）｛，｝，２＝ｎｍ（２．３７）Ｈｉｃａ＋ａ｛，，２｝＝－ｌ＝－２。如果ｓａ，约束可．９右侧，则有，ｑ２以表示为图形式＞—０丨＜＜若，贝０ａｃ；／Ｊ２厂１＜—＜ａ＜若，ｃ／０贝ＩＪ，；２：综合这两种情况，可以求出ａ２取值的边界范围＝－２３８）Ｌｍａｘ０ａ（．，ａ｛２｝＾＝ａ－Ｈｍａ（２．３９）ｉｎｃｃ＋，｝｛２，根据上述两种情况对约束范围调整：＇Ｈ＼ｉＨ＜ａ，ｒ－．ｃｌｉｐｐｅｄ？ｅ？＝＜ａ＜＾（２４）＾ｉｆ￡．０ｌｆ＾ｌｉ，＿＿当计算出幻后，根据此值计算山－ｉｃｄ＇ｅｖｄｄｐｐ＝－ａａ＋ｓａａ（２．４１）ｆ（＾）；ｆｗｃ％ｗ？上述求解＜３２和ａ。通过推导过程可知，ＳＭＯｉ的过程实际上就是联合优化方法求解析解的过程计算量不大，因此整个算法的收敛速度比较快。ｕｈｔｇ（，２）缓存策略：与ＳＶＭ类似，为了避免重复计算ＳＭＯ把中间变量值或者需要多次进入内存的值进行处理。，如上面推导的气这样可以减少内存损耗ｔ一（３）为，Ｐｌａ等人提出了种基于启发式双循环方法了提升算法的收敛速度。主一要步骤包括：首先找到训练集中所有的非边界ＳＶｓ，选择违反ＫＫＴ条件的样本逐进一二。，入外循环这样，外循环就作为第个点的选择算法。用内循环选择第个点再通过解析算法进行联合优化。实际应用中ＳＭＯ取得了较好的效果，但算法在优化过程中需要对偏置进行实时更４３［］，新，如果偏置值选取之后却不符合ＫＴ条件那么ＳＭＯ算法的效率将受到影响，这是ＳＭＯ算法存在的弊端。－２３－ 东北大学硕士学位论文第２章支持向量机理论２．４本章小结一ＳＶＭ作为数据挖掘领域的主要方法之，具有强大的数学理论基础。以ＳＬＴ的ＶＣ维和ＳＲＭ原则为理论基础，ＳＶＭ模型平衡了小样本分类时机器复杂性与学习能力之间的矛盾，获得理想的泛化能力。本章介绍了统计学理论的知识，包括ＶＣ维、欠学习及过学习问题以及两类风险：ＳＲＭ和ＥＲＭ等，充分学习ＳＬＴ知识对于理解并探索新的ＳＶＭ具有重要意义。从二分一ＳＶＭ的类的线性分类器感知机算法开始介绍了原理，给出了间隔与间隔松弛因子的定义，ＳＶＭ的核心是试图寻找最优分类超平面来划分数据。通过线性可分、近线性可分及线性不可分这三个方面简化ＳＶＭ的数学模型，引入拉格朗日算子对ＳＶＭ模型进行求解，，将优化目标从线性不可分变为线性可分及近线性可分。遇到非线性可分情况时引入核空间理论，通过非线性映射进行空间转换，使不可分的样本集在高维空间中线性可分。并介绍了在ＳＶＭ里常用的几种核函数。一ｕｇｈｔＳＶＭ利用最大可行下降法作为工作集的选择策略，，研宄表明在定条件下，１＃１可以具备线性收敛速度基于这种选择策略的ＳＶＭ。这种工作集的选择策略在后来的ＳＶＭ方法中被广泛借鉴并加以扩展。例如，收缩策略，缓存机制等，避免了重复计算，ＳＶＭ１＃很好的降低了运算成本。然而在的实际应用中也有不少问题。例如：采用的缓存策略并不很高效；在某些情况下，目标函数会停止下降等。ＳＭＯ算法的主要优点在于：通过两点解析法计算理论结构清晰，不用通过模型迭代求解二次规划问题。单步迭代时仅选择两个变量＆和巧参与运算。和其他的ＳＶＭ分，解算法相比，虽然ＳＭＯ的迭代数量较多但迭代本身需要的计算量相对较少，而且通过设计迭代策略可以快速的求最优解，前提是保证迭代算法收敛，该。另外算法还具有其他的一些重要性质：不需要进行矩阵运算，易于实现等。总的来说，分解后的子问题数量和迭代的次数是彼此制约，ＳＭＯ虽然简化了子问题数量，但需要更多的迭代次数，可以看做把求子问题的运算成本转移到迭代过程中。虽然看上去计算总量没有明显的减少，但是通过设计迭代算法可以使ＳＭＯ算法有更好的表现。研宄领域目前提出了不少改进的ＳＭＯ算法多数针对工作集选择策略或者缓存机制。－２４－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计第３章基于代理函数的大规模ＳＶＭ设计３．１设计思想随着大数据理论和计算机仿真技术的发展，在生物医学领域用于数据分类的ＳＶＭＳＶＭ１＃ＬＳ己经不能满足需要。利用经典的和ＩＢＶＭ方法获得理想的优化结果往往需要更多的迭代，耗费运算成本，所以引入代理模型技术（ＳｕｒｒｏｇａｔｅＭｏｄｅｌ）解决这个问题。代理模型技术的定义是在保证精度的基础上构造简单的数学模型，最终代理模型的输出结果能够很好地替换原模型。３．１．１代理函数设计流程初始化Ｘ．夕丁试验设计获取样本点ＩＩ计算机仿真计算＾＾［构建代理模型ＩＩＩ｝增加样本优化求解。满足收敛＾输出结果ｖｙ—图３．１般代理模型构建过程Ｆｌｂｉｌｉ．３．１Ｇｅｎｅｒａｌｓｕｒｒｏａｔｅｍｏｄｅｕｄｉｎｇｒｏｃｅｓｓｇｇｐ－２５－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计“”代理模型是模型的模型［５Ｇ］，采用它的目的是减小计算量，提升运算效率。代理模型技术有很多优势，ＳＶＭ当数据集的维数很大时，目前常用的模型几乎不可行，因为关于选取样本，大规模样本的计算成本问题都需要考虑。所以在设计新的代理模型或者由高维向低维分解时应保证以下几方面：（１）避免工程优化过程计算量大的问题；（２）采用并行计算，缩短设计优化周期；（３）便于将各个学科分析软件集成。代理模型技术不仅适用于变量维数多的情况，在样本数量较大时，也可以通过引入代理函数，建立迭代模型，提高迭代效率。总之，如何保证分类正确率的同时减少运算时间，是设计大规模ＳＶＭ的关键问题。一正如前文提到的，ＳＶＭ实质是解决个二次规划问题，快速精准的找到二次规划中目标函数的最优解，是ＳＶＭ理论的核心问题。根据第二章ＳＶＭ原理以及ＳＬＴ基础，我们知道，迭代算法在整个优化过程中起到了至关重要的作用，如果把ＳＶＭ模型问题看一口向上的下凸不规则曲线，那么设计合适的迭代算法成个开，快速准确的找到模型最，，就是算法研宄的核心内容，低点即最优解。根据以上分析我们想到采取代理函数（ＳｕｒｒｏｇａｔｅＦｕｎｃｔｉｏｎ）的方法，首先将对偶原始模型分解，分别找到分解后的子函数的，，最后推导出迭代公式代理函数再重新组合成原函数。’６！，（？）Ｉ１＿７｜／／（？）＿，１ｗ：；ＩＩｉｉｉｉｉｉ１ｉｉｉｉｉ０１２３４５６７８９１０１１１２图３．２基于代理函数算法的单次迭代图示ｌｉ－Ｆｉｉｉｇ．３．２Ｇｒａｐｈｉｃａｎｔｅｒｐｒｅｔａｔｏｎｏｆａｓｎｇｌｅｉｔｅｒａｔｉｏｎｏｆｔｈｅｓｕｒｒｏｇａｔｅｂａｓｅｄａｌｇｏｒｉｔｈｍ－２６－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计５１［］如图３．２所示代理模型，首先给出代理函数的定义：定义３．１：函数／（咖〇与函数／（ｔ〇在点Ｖ时相等，且／（ｗｍ２／（ｍ，则称／〇ｗｔ｜〇）｜〇为／（〇的代理函数。３．１．２代理函数的性质原函数／⑻和代理函数／（＋〇在Ｖ点相等，如图３．２所示，可以得到原函数／（？）从一＋／＝点Ｖ到下次迭代ＡＶｍ／ｎ，／（Ｗ｜Ｗ〇是单调下降的，因为代理模型满足以下关系式：＇＋１＋？＝。／（）ｗＷ／ｗ）／Ｖ）总的来说，ＳＶＭ中代理函数的构建离不开以下几点性质。性质１：函数／ｍｉｄ（ｗｗ）是／（Ｗ）在ｔ／时的代理函数，ｔ〇是／ｍｉｄ（ｗｔ／）在Ｖ时的｜／〇｜｜Ｓｕｒｒｏｇａｔｅ函数，贝！ｊ／（ｗ｜ｔ／）是／（ｗ）在ｉ／时的Ｓｕｒｒｏｇａｔｅ函数。证明如下：＝／由／（ｗｉ／）是ｍｉｄ（ｗ｜ｔ／）在ｗｉ时的Ｓｕｒｒｏｇａｔｅ函数，／ｍｉｄ（ｗ｜ｉ〇是／（ｗ）在时的｜／Ｓｕｒｒｏｇａｔｅ函数可得：＇＞＇＞ｆｕｕｕｕｕ（３．１）（）ｆ（＼ｆ（＼ｍｉｃｌ））：当Ｗ！／时：＇＇＇ｌ＇＝＝ｆ（ｕｕｕｕｕ（３．２）＼）ｆｍｉｄ（＼）ｆ（）＝．１可知ｗｉ／ｚ／ｒｒｏａｔｅ函数。由定义３：／是／〇在ｗ时的Ｓｕ（｜））ｇ＝性质２：函数／ｉ（ｗ｜ｔ／）为／ｉ（ｗ）在ｗＶ时的Ｓｕｒｒｏｇａｔｅ函数，函数／２（ｍ｜ｉ／）为／２（ｗ）在＇＇＝ａｗｗ时的Ｓｕｒｒｏｔｅ函数，贝（Ｊ函数／ｉ（ｗｗ＋／２ｗｗ为函数ｗ＋／２ｗ在时的Ｓｕｒｒｏｇａｔｅｇｉ（｜）（｜〇／（））函数。证明如下：ｗ＇ｗｒｏａ＇由／ｗ为ｉ在时的Ｓｕｒｔｅ函数，ｗｗ为ｗ为时的Ｓｕｒｒｏａｔｅｉ（｜）／（）ｇ力（）．）ｇ｜６（函数，可得：＞ｆＭＷ）ｆ＾｛ｕ）＇＞ｕｕｕ（３．３）ｆ２（＼）ｆ２（）＇＇＇＞ｕｕ＋ｕｕｕ＋ｕｆｘ｛＼）ｆ２｛）ｆ｛）｛）＼ｘｆ２在点ｗ＝ｗ＇时：＇＇＇ｕｕ＝ｕ（３４ｆ．）２｛）ｆ１（）＼＇＇＇＇＇１ｕｕ＋ｕｕ＝ｕｕｆ＼）ｆ＼ｆ＋ｘ｛２（）｛｛）ｆ＾）由定义３．１可知：函数／ｉｗｗ２ｍｉ／为函数ｉｍ＋２ｗ在时的Ｓｕｒｒｏｇａｔｅ函（｜〇＋／（｜）／（）／（）数。ｍｔｅ／ｉ３，性质：若函数／（ｗ）的Ｓｕｒｒｏｇａ函数／ｗ１在处值最小贝ｊｗｗ。（｜）／（’Ｓ／（〇－２７－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计证明：由定义３．１可得：ｌ＇＇ｆｕｕ＝ｕ（）ｆ（）＼（３５）又因为为／（ｗ｜ｗ〇的最小值：（３．６）所以ｍａ＾ｌ＇ｌ＇ｉ＜＜ｕｕ＝（ｆ（ｕ）ｆ（ｕ＼ｕ）ｆ（＼）ｆ（ｕ）３．７）引入代理函数的目的是使ＳＶＭ模型更容易最小化，所以接下来在单次迭代中，我们最小化代理函数的同时得到新的迭代起点，而不是直接求原损失函数的最小值，而且每次求代理函数最小值，都能保证原损失函数是单调下降的。３．２构造基于代理函数的ＳＶＭ不论是线性ＳＶＭ还是非线性ＳＶＭ，在二次规划的对偶模型里，令矩阵＝Ｘｃｅ＞２２２＿２．２４：私或者，则式（）及式（）的优化模型可写为１Ｅｆｆｒｒ＝——Ｂ－ｕｕｈＢ＋ｍｉｎｆｃｃｕｅｕ｛）［］２ｐ（３．８）＞ｓＸ．ｗ０＇’＇’＝《仇函数／“＝设函数／“５，１＜０（：《，贝１］：１（）去２（）吾＇Ｕ＝－Ｕ￣Ｕｆ＋＋Ｕｅ（）ｆ＼ｆ２（）｛）＾２＾Ｐ（３．９）ＳＶＭ算法的核心问题是求得满足ＡＯ时，／⑷的最小值，而关键部分就是分别求出＇’＝＝ＭｙＷ和／ｗＣＣＷ的代理函数。ｊ（）臺２（）臺３．２．１代理函数的构建从式和一３．８３．９中可看到，／！⑻和／２ｗ有相似的形式，接下来逐推导它们的代理（）（）（）一一函数。由定义３．１可知，个函数在同个点会有无穷多个Ｓｕｒｒｏｇａｔｅ函数，在ＳＶＭ中对Ｓｕｒｒｏｇａｔｅ函数的要求是易于求得使Ｓｕｒｒｏｇａｔｅ函数值最小的ｗ，ｗ为拉格朗日常数所组成的矩阵，其元素的值是正数。为保证＾的非负性，需满足迭代开始时Ｗ中所有元素为正数。－２８－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计基于Ｓｕｒｒｏｇａｔｅ函数的ＳＶＭ算法流程图如下：＇＝＝ｕｔ０，ｕｍｉＭ．ａＪＩ构造／⑷的Ｓｗ／Ｔｏｇｃｚ／ｅ函数ｗＩ’Ｉ求出使值最小ｊ＿的向量》Ｖ？／／ｍｍＵ＝Ｕ＾厂｜Ｗ１否Ｉ｜收敛性判断输出２／ｖｙ图３．３基于Ｓｕｒｒｏｇａｔｅ函数的ＳＶＭ算法流程图Ｆｉｇ．３．３ＴｈｅｆｌｏｗｃｈａｒｔｏｆＳＶＭｂａｓｅｄｏｎｓｕｒｒｏｇａｔｅｆｕｎｃｔｉｏｎＳｕｔ／。，首先构造／Ｗｒｒｏａｅ函数？ｔ令矩阵５为两非负矩阵的根据算法流程图（）的ｇ／（｜）＋－〃＋＿－＝＝＋５ｗｒｒｏａｅ１／：差，即５５５。设：５５，得到函数／ｉ（）的Ｓｕｇｔ函数／＿（以）丨＇＇，ｆＵＵ＝ＵＵ＋ｎＵＵ（３．］〇）Ｐ＼ｍｉｄ（＼＼＼）＼）（＼）（其中：，１，＋ｐ＝－２５ｗ－５Ｖ丨（＋）｜『￣（＇）＇＝——ｎＡｕｕ＼２ＢｕＢｕ１１４（３１１）．证明过程如下所示：＝－设？？？１／＋１／１／，将函数？１１／展开：：（）／（）；〇丨）￡〇〇／（），丨＇｜｜－２９－ 东北大学领士学位论文第３章基于代理函数的大规模ＳＶＭ设计ＬＪ（３．１２）在向量Ｗ之中，每个元素都是未知数，函数对Ｗ中元素ＷＡ１求偏导，得：ｄｕｖｙｋ＼ＭｌＨＭＪ（３．１３）由式（３．９）可知：２２片（３．１４）函数／：ｌ（Ｍ）对ＷＡｌ求偏导變參［㈨，）４（３，５）对ｇ（Ｍ）求偏导：１ｄｐｕｄｇｕｄ（）＾）ｆ｝＾。？＇⑷ｄｕｄｕｄｕｄｕｋｉｋ＼ｋ＼ｋ＼代入，整理：＝－ｌ＾ｌ４￡＾ｎ４＞ｎ（）（）＾＝＝＝ｋ１１１，１Ｊ｝＇Ｊ｛１（３．１７）＋＝Ｋ当ｗｚ／时ＳＳｗ）。同时由于５与均为非负矩阵Ｗ的中的兀素均大，ｇｂＶ／ｄ，所以一于等于０。函数５ｇｗ／５％ｉ是关于ｗａｉ的次函数，且％丨的系数为正数，因此函数３ｇ（ｗ）／３Ｍ＊ｉ（）关于ｗｈ单调递增。当《？＜ｍＶ时，改（ｗ）／５ｗ＜０，ｇｔ＜单调递减；当ＷＡ１＞取／时，《／５取１＞０，；ｕ（）改（）＝ｗ单调递增说／时ｇｗ取最小值，最小值为０。ｇ；当ｗ？（）（）ｒ２＝／时等因此ｍＷｗＭＷ，ｌ。，即／ｌ（）／ｌ（）当Ｗ号成立因此｜函数／／ｍｗ（ｗ？是函数Ｆｉ（ｗ）的Ｓｕｒｒｏｇａｔｅ函数。＋＿ｆｌ＋＿ｅ＝－ｅｃ＝＋同理，令向量ｃ为两非负向量的差，即ｃ，设：ｃｃ。可以得到函数／２（ｕ）的Ｓｕｒｒｏｇａｔｅ函数／２＿〇｜／：｜）ｒ＜＝ｗ＋ｕｕ３１ｎ（．８）ｆｉｍｐ２２ｉｄｊｊ（）其中：°ｆ＇＋ｕｕ＝２ｃＵ－ＣＭｐ｛２＾｜＾＿０ｆ＇—ｒｕ（ｕｕ＝２ｃｗ－ｃｕ＼｜１］４丨丨（３．１９）３１３．１８Ｓｕｒｒｏａｔｅ：根据性质．２以及式３．０和式得到函数ｇ函数（）（）／⑷的－３０－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计＇Ｍ＝＋？＋Ｕｕ－ｅｕＬｄｆｍｄ＾ｆ）ｉ＼ｉ２ｍｉｄ（）１（）Ｐ（３．２０）ｏ求极小值，但是通过的极小值处偏导为，令所求的解无法作为迭代公式，需构建／＾（＾的代理函数，而函数Ｍｗ是可分解的ｍＷ，因此可以将１４／（〇｜求最优解问题转化为求两个子函数的最优解。所以接下来需要找到和的代理函数，从而确定整个原函数的代理函数形式。在计算的过程中引入非负矩阵分解／以及常系数，推导出／／ｍＷ（ｗ１／和力ｍ／ｒｆ（ｗ１的１）１）设常系数ａ／及ａ／／：＋＿寫Ｂｕ－“ｎ＿（Ｖ＾Ｔ，ＪＸ（３．２１）＇得到／Ｓｕｒｒｏａｔｅ函数ｗｔ／：ｉｍｉｄ（咖）的ｇｉ．／（｜）’’＇＝＋／？？ｍ；耶，，（＋）（＋）（卜）（３２２）其中：２＂４ｋ）４（气鬆？４］（３，３）证明：＋３＝＞０根据式（．２１：１、ａｖ３．２２：？ｗｗ均为凸函／；同时根据式ｐｉｎ？ｉｗｗ）ｙ（）／（｜〇与（Ｋ｜〇＝／１数Ｊｅｎｓｅｉｉ，：。根据不等式对于凸函数－＝／［／ｚＡａ＜／／ｚｘ．ａ．１且ａ．＞０（，），［（，），Ｑ＞，）［］，Ｌ＝＝＝，ｉ」／ｉｉ＼（３．２４）？？１／ｗｉ、《１１／与ｐｉ／ｗｉ／之间的关系。根据前面的推论可知！／、可得到坪｜（咖％（｜ｉ｜）（）（｜）户如）丨ｎｉ（ｗｚ／的值：｜）＋°＇＝－２ｕ－ＢＢｕｊ＾｜，￣°＇ｎｕ＝－Ｂｗ２Ｂｕｕ｛ｘ）Ｉ－－３１ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计Ｍ々鸯），］２ＴＶＡ／１「／、Ｉ２＋２５卜＝４ｌ叫４ｋ）（３２５）？当＝ｗｗ时：邀警－ｄ４：＾Ｕ－ｉｎ２］ｉｉｉ２（ｙ）ｒ｜１＝—＾２ｂＷ－ｂ％（）（）、４Ｕ＂ｉ台ＷＬ」（）刀’’＝—＝７ＷＷ／（）［，１１４＾Ｊｌ（３．２６）同理可得：２ｒａｉｗｔ／，且ｎｉ／２ｍ＜ｙｗ。根据性质３．２及定义３．１，ｗｉ／＿（（ｍ（ｙｉ｜）｜）〇／（）＋）｜｜是／ｉｍｗ（ｗｉ／）的Ｓｕｒｒｏｇａｔｅ函数。｜ｉ／ｒｒｏａｔｅ．同理可构造力ｍｗＯ的Ｓｕ函数，设常数ａ及ａ：）ｇｌ〖；Ｙｂｃｕ＋ｊｉａ＿ａ＝？Ｖ＞７Ｔ７Ｔｃｗ（）ｙｌｃｕ－ｌｉｎａ＝￣２ｊｉＭＶ）ｊｌ（３．２７）贝！Ｊ构造／２ｍ？（ｗｗ的Ｓｕｒｒｏａｔｅ函数为：｜〇ｇ（’’／＝奶＋２，（＋）（＋）（＋）（３２ｇ）？其中．＝－现‘．２ｃＶ（屮）结！繁（Ｌ””Ｗ－ｚ／２ｃＶ２（）（｜）Ｌ音，根据式（３．９）、式（３．２１）、式（３．２６）、性质３．１及性质３．２，可得函数／〇的Ｓｕｒｒｏｇａｔｅ）函数：’＋＋潛卜（件技秦”（３２９）－３２－ 东北大学硕士学位论文第３章基于代理函数的大规糢ＳＶＭ设计３．２．２迭代过程及推导函数／（ｗｌ／对Ｗ中元素ｗ／ｆｃｌ求偏导：｜）ｄＵＵ，ｄＭｄｆＵｆ＼ｆ２｛＼）＿ｋｘ（Ｋ）＋＋１＾ＵＰ＾Ｕ＾Ｕｋｋ＼ｋ＼＼（３３〇）在函数／ｌ（ｗｗ中对ＷＡｌ求偏导：｜〇５ｄｐｐｕｕｆｄｎ／ｕｕｎｕｕ＼｛＼＼ｊ｛ｘｘ（ｊ＾＾＾Ｕ＾Ｕ３ｕｋ＼ｋ＼ｋｌ（３１．３）其中：整理，可得：￣ｄ／Ｉ｛Ｗｌ／１ｙｖ厂Ｍ，、Ｍｆ、１ｗｒＭ，＋＋＿＿０，，，＇＝－－ｒ５５＋５５ｌｗ５５Ｖ＾｛（）（）｝［（）］ＬＪｉｋ，４］（３．３３）同理：ＯＵＵＬ」々ｋ１＼ｋ＼（３３４）一一＋一１＇＝令豕ＷＷ／加／ｄ０，这是个元次方程，容易求解，解即为ｔ／。所得迭代公式（）｜如下：’’１＋，如，Ｌ如Ｌ—ｕ、—ｕｋ＼ｋ＼ｔｉｆ２Ｚ＋２Ｌｚ／＋ｗ（３）（４）［Ｌ１ＬＰ（３．３５）其中：＋￣＋￣Ｌ＝Ｂ＋ＢＢ＋Ｂ，（（）＾）＋－＋＿＝４ｆ＋ｃｃ＋ｃ（）（）＋＋－￣Ｌ＝ＢＢ＋ＢＢｙ（）（）－３３－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计＋＋－￣Ｌ＾（ｃｃ＋ｃ＼ｃ４）（／、Ｖ＾＞（３．３６）’ｃ＝ｅｅｘｘ如果考虑到Ｄ，为元素全为１维度为Ａｆｌ的列向量Ｚ）Ｍ的对，为维度为Ｍ＋－角矩阵＋１－１ｃ－＝ｍａｘＴ＝，且元素的值为或，那么的元素值为＋１或１。可以令ｃ０ｃ、ｃ（），；＋＿＇＝＝ｍｚ＞ｚ０ｃ，则＃￡＋〇￡：（，）￣＋＋１＇１＝ｃ＋—ｃ＼ｃ＋ｃｕｅｕ［［＾“Ｌ丄ｉ（３．３７）＋＿＝＝－，可以令５？１〇＾０５、＞＿５。可以简化为同理５／？？２０则式３．３２：（，）（，）（）’ｌ＇１＋ＬＷ＋ｅｕ（）｜＾＋２１＾＋２（ｌＷ（３））［Ｌ１ＬＰ（３３８．）ｗ为拉格朗日常数所组成的矩阵，其元素的值是正数。为保证＾的非负性，需满足迭代开始时ｗｏ中所有元素为正数。惩罚因子＃由使用者自行定义，在第４章实验部分，我们将给出惩罚因子的选取说明。迭代公式（３．３８）在ＭＡＪＬＡＢ中用以下函数实现：ｕｎｃｏｎ＝ＡＮｕｍｆｔｉｕＳＶＭ，Ｄ，Ｂｅｔａ，Ｉｔｅｒ（）ＲｏｗＮｕｍ？；［＝ｕｏｎｅｓ［ＲｏｗＮｕｍ，１）；ＪＢ＾Ａ＊Ｄ；ＰＢ＝ｍａｘＱ，Ｂ（）＇＝－ＮＢｍｉｎ（０，Ｂ）；ＡＢ＝ａｂｓＢ（）；＝ｆｏｒ／１：ＩｔｅｒＮｕｍｘ＝ｔｓｕｍ（ｕ）；＞Ｎ＝￣＾ＡＢ＾＼ＡＢｕＨ％）；ＪＤ＝ｕ／Ｂｅｔａ＋ｌ＾ＰＢＰＢ＾ｕ％）；ｆ＊Ｄ＝＊Ｄ＋２ｍＢｉＶ５ｗ＋２＾（）；ｅｎｄｒｅｔｕｒｎ一个因子可以看出，推导出的迭代公式只需要在当前结果基础上乘以，而且在ＭＡＴＬＡＢ中的简洁明了，容易实现。而且值得注意的是，迭代公式有两个重要的特性，一５２ｆ］是迭代矩阵均具有非负性，二是随着迭代次数增加，损失函数始终保持单调递减。分析整个推导过程，我们可以总结出规律，最关键的是在单次迭代时找到代理函数－３４－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计而利用代理函数的可分解性质，求出代理函数的迭代公式，代理函数不断迭代的过程始终保持原函数在单调递减。３．３收敛性分析＇带有边界的收敛性证明比较困难，我们将给出序列集丨Ｗ收敛于全局最小值的证明；｝二－，Ｔｕ过程，次规划模型全局最优解必须满足Ｋｕｈｎｃｋｅｒ。理论上如果成本函数是凸的［５３］（ＫＴ）条件，根据文献中的定理２．１９可知ＫＴ条件（Ｗ２０）表示如下：＾＾＝０ｉ＇ｆｕｊ＞０（３．３９）加，＾■＞＝＾０ｉｆＵｊ０（３．４０）ｄｕｊ在证明全局最优解满足ＫＴ条件之前，对于迭代序列｛Ｗ＾，需要给出两条重要的合理假设：（１）迭代算法的起始值抑为非负；（２）函数Ｆ是严格意义上的凸函数；一第个假设是为了保证迭代过程的非负性，假设迭代开始时ｗ中所有元素为正数，一但是极限值可以趋近于零。第二个假设有定限制，在后面的推导中将要用到。为了证４￣５５５［］，现给出以下几个引理明全局收敛性：（１）迭代序列集Ｗ有界。丨一证明，，：因为函数Ｆ是严格凸函数假设ｔＺ是唯最小值然后将函数尸在Ｖ点处泰勒级数展开：＊＊＊ｒｆｆ－＝－—Ｆ—－ｕＦｕｗ＋ＤＡＡ（））ｗ＋ｅｅＤｕｕ（（（（））［）］４＾３．４１（）”＊—ｕ—＾（ｕＹ（ｕｕ）＇＊Ｔ＊＂７７Ｉ＝－－＜！，ｃ，取〇／／（Ｗ）则｛ｌ／ｌ／：Ｉ／ｗＷＷ因为｛Ｗ单调下降。所以ｍ（＞／｝｛（Ｖ（）Ｗ／（）｝｛｝有界。＋＇／２－（）—０随着迭代次数增加，序列集｛Ｋｗ。｜｝｜＋＇／，即需要证明，当迭代次数逐渐增加和Ｍ趋于相等。从代理函数的定义中我们Ｖ可以看到，，，在代理函数进行迭代的过程中始终保持单调递减下面我们引入非负矩一。阵对这结论给予证明根据假设３可以得到以下关系式：－３５－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计ＪＫ［１Ｊ＇＇ｆｉｕｊ＋＋￣－ｃｃ＇＋ｃｃ｛［（ｙ（）ｙ｝ｉ２—３４２＋（．）ＵＪ＞１（＋１ｗｗ＝０因为▽／（，则｜〇＇，＋ｌＴｚ，＋ｌ！！，＋１＝－ｕｕＶｕｕｕ－？（３．４３）（）ｆ（＼）｛）＾，＇＋＞－Ｌｕ￣Ｕｆｉｐ丨丨Ｆｒｔ因为｛（Ｚ〇｝单调下降且｛Ｆｗ〇｝—０，因此｛ｗ—０。Ｗ（｜ｌｗ－＊（３）如果序列ｗ＾Ｚ，那么｛｝一证明，如果序列发散，那么根据引理１的边界性可知，定会：通过反证法有个收敛的序列令＇＇＊＊＝－＞０ｓｍｍ（３．４４）０｜｜｜如果有两个收敛序列和那么一定存在正整数厂使得当＞ｔｓｓｍ，满足以ｔｏｔｏ＋下关系？－Ｍ＜＾ｌ／４，以及Ｗ？１＜〇／４。通过三角不等式，可以得到相矛盾的结果：ｌ｜｜｜｜＇－ｍ—Ｏ，因为：ＩＫ１＋＊＋＊１１－＋－？－－＋，．５），，，，ｉＴ（３４｜｜｜｜｜｜峰｜丨财邮＋／ｗ－ｗ＞￡２所以＞／。｜｜丨｜（４）在序列集进行单次迭代时，我们可以推导出以下结论：＇］１ｕ＝ｕ－ａＶＦｕｌｉ）］；）ｊ，＝－＾（３）ａ．４６＋－￣＇＇＾＇－２Ｂｅ＋｛（５ｒ＋Ｂｕ＋２ｕ［ｙ（）］｝（ｙ＾ｊ基于以上四条引理，，对于证明全局收敛性问题非常重要可以得到下面三个结论。＊一（１）如果是任意收敛子序列，且ｗ—Ｍ，那么序列满足第ＫＴ条件。｛，个证明过程可参见文献［（２）序列丨１／｝具有全局收敛性。证明？》．根据三条引理可知，序列集丨》中的聚点是连贯紧凑的如果我们能够证明聚－３６－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计一点有限，才能说这个集，则全局收敛性即可证。因为当且仅当有限集内包含个聚点时，假设数《〇是序列的聚点合是可连接的。关于数列的聚点定义是，那么在《〇的邻域丨内有序列的无限多项，以序列＾为例，如果把它看做点集，那么只有三个元１＝＝－：２ｌ素■ｓ／ｎ／２Ａ７ｒｎｌ．．．０ｌ，，｛，这样就成了有限的点集。｜，，｝｛，｝所以我们把证明数列的全局收敛性问题转化为证明序列集中的聚点是有限的。给定＊＝＊＝＝整数集合ｗｌ，２，．．．Ｔ，其中Ｔ代表将序列集｛ｍ｝总的个数，设《：０ｗ的子｛，｝｛／崎｝为＿＝＊集。令函数作为函数／（ｗ）在集合｛ｗ：ｗ０ｅｗ，ｙ｝上的限制条件。函数／（ｗ）是严格的ｖ一一下凸函数？。所以由结论（１）可知／？有唯解。而且子序列集中每增加个聚点，都对应序列集一《的个子集。数列集ｗ的子集数量是有限的，所以聚点数量也有限，进而证明数列休丨具有全局收敛性。＊（３）序列的极限值ｗ满足ＫＴ条件式（３．４０）。通过反证法，假设当《／＝０时满足▽？＊＜〇，由于ｅ＜０［／（）］／丨所以存在和正整数厂满足在？＞厂时，［Ｖ／（ｔ／）］ｙ＜ｅ，那么根据第四条引理有：＇＇，，－ＸＸ＝－Ｖｆ＞－ａ￡＞Ｑ（３ａＸｊ．４７）；ｉｉ［｛）｝ｉ＋＇＊／＞ＫＴ条ｗ，与假设条件相悖，所以｛？的极限值ｗ满足件得证所以ｗ／／｝。通过给出的四条引理，我们对ＳｕｒｒＳＶＭ方法中迭代序列以的全局收敛性给出了推｝导，，即序列集Ｋ｝收敛于全局最小值的证明过程。由于成本函数是凸的二次规划模型＝全局最优解必须满足Ｋｕｈｎ－Ｔｕｃｋｅｒ（ＫＴ）条件ｗ０和ｗ＞０，所以需要分情况对ｙ时满足＿／ＫＴ条件给予证明上对基于代理函数的大规模ＳＶＭ分类算法整个实现过程进行，从理论完善的说明。３．４内存处理处理大规模数据集在运算过程中极有可能出现运算中的产生的中间值占用大量的内存的存储空间，造成中间值所需的存储空间远大于计算机的内存的存储空间，造成数据无法处理。基于Ｓｕｒｒｏｇａｔｅ函数的ＳＶＭ算法是针对处理大规模数据问题集提出的，算法在实现过程中也会出现类似问题，为避免内存的过度消耗，对ｉＶ、及做如下处理：＋－－＇＇＇＋＇Ｌｕ＝５－ｕ－Ｂ（＋Ｂ＋Ｂｘ｛［）］（）｝＋－－＇＇＇＋＇－Ｌｕ＝ｂｕｂ＋ｂ－ｕ－Ｂ｛［（］ｙ｛［（ｙｙｙ＋－－＇＋，，，＇＝－－－Ｌｕｃｗｃ＋ｃｕｃ（３．４８）４｛［（］｝｛［（ｙｙ－３７－ 东北大学硕士学位论文第３章基于代理函数的大规模ＳＶＭ设计ｘｘｘｘＭ式３．４１避免了维度为ＭＮ和ＮＭ矩阵的直接相乘，也避免了维度为Ｍｌ和ｌ（）的向量的直接相乘，从而避免了维度为ＭｘＭ的矩阵的产生。３．５本章小结代理模型技术能够在保证精度的前提下构造合理的数学模型，旨在减小算法的运算。ａｅ成本，提升运算效率根据代理函数的性质和基于Ｓｕｒｒｏｇｔ函数的ＳＶＭ算法流程，我们对大规模ＳＶＭ设计过程进行了详细的描述。首先给出了Ｓｕｒｒｏｇａｔｅ函数的定义和三条，分析整个推导过程性质并加以证明。然后将ＳＶＭ模型的目标函数分解，我们可以得出结论，算法的核心是在单次迭代时找到代理函数／（＿〇，而利用代理函数的可分解性质，，求出每部分代理函数的迭代公式最后得到完整的迭代公式和简化形式。代理函数的优势是在不断迭代的过程始终保持原函数单调递减。函数Ｆ？的收敛性可以通过全局（）最优解满足ＫＴ条件来证明。基于Ｓｕｒｒｏｇａｔｅ函数的ＳＶＭ算法是针对处理大规模数据集问题提出的，算法在实现过程中也会出现内存损耗问题，通过将迭代公式中的ｉ＃、及做调整来避免内存的过度消耗。－３８－ 东北大学硕士学位论文第４章实验说明及结果分析第４章实验说明及结果分析为了验证本课题设计的大规模分类算法ＳｕｒｒＳＶＭ的准确性和高效性，我们通过多组实验将ＳＶＭＷ、ＬＩＢＳＶＭ和ＳｕｒｒＳＶＭ三种算法作对比，并对结果进行了分析。４．１实验环境（１）硬件环境ＣＰＵ：主频为３ＧＨｚ内存：４ＧＢＩｎｔｅｌＣｏｒｅ：ｉ５处理器（２）软件环境操作系统：ＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ７编译环境：ＭＡＴＬＡＢ７．０实验用到的数据集分两种，采用的数据集包括开源软件包正态分布集群数据发生器５７ｒｍａｓＮＤＣ［］ＮｏｌｌｙＤｉｔｒｉｂｕｔｅｄＣｌｕｓｔｅｒｓｄａｔａｇｅｎｅｒａｔｏｒ，简称生成的大规模数据集以及（）ＵＣＩ大规模数据集实验需要注意的是，课题仅针对二分类样本集进行实验，因为不失一般性的多分类问题可以通过空间映射转化为二分类问题进行研宄。ＨｈｈＩｇ＾为参照Ｗ我们选择了ＬＢＳＶＭ和ＳＶＭ。前面章节己经介绍了ＳＶＭｉＰＬＩＢＳＶＭ。的原理，本章首先对两种工具进行了配置及参数设置由于三种算法在实验过程中读取数据集的方式以及训练模型获取等方式存在差异，为了让对比结果最大程度反映每种算法的优劣，实验中仅对核心算法的运行时间作记录，从而避免输入／输出引入的误差。需ＶＭ１＾方法的实验部分通过命令行运行要说明的是，因为Ｓ，为了保证计时准确性，最终记录的时间由两部分组成：训练时间和分类时间。不包括打开关闭文件的时间，但是包含一一行读取文件的时间行。ＬＩＢＳＭ和ＳｕｒｒＳＶＭ两种算法我们是在Ｍａｔｌａｂ７．０中运行，首先Ｔｅｓｔｍ文件运行使＿１Ｑ１Ｑ得两种方法均得到２１到２组分类正确率和对应的惩罚因子（取值为２的指数倍从２），ｔｔ确定最佳分类正确率之后通过ｉｍｅａｌｃｕｌａｅ文件，将？参数值用计算好的惩罚因子代替，ｊｙｔｔｏ，用ｉｃ和ｅ指令对两种方法的核心部分计时最终的计时结果同样含有两部分，模型的训练时间与分类时间之和。实验中用于分类的ＵＣＩ大规模数据集可以在机器学习数据库：／／ａｒｃｈｉｖｅｓ．ｕｃｅｄｕ／ｍｌｄａｔａｓｅｔｓｈｔｍｌ。在４．２。中找到ｈｔｔｐ．ｉｃｉ．／．．２节中将对选取的数据集说明－３９－ 东北大学硕士学位论文第４章实验说明及结果分析４．２实验过程４．２．１ＳＶＭ＿配置Ｕｇｈｔ工具箱可在ＬＳＶＭｉｎｕｘ系统、Ｗｉｎｄｏｗｓ系统、Ｃｙｇｗｉｎ系统、ＭａｃＯＳＸ系统及Ｓｏｌａｒｉｓ系统下使用。安装过程如下：Ｕｈｔ一（１）ＳＶＭｇｓｖｍ首先需要下载ｌｉｔ．ｔａｎｚ．创建个新的目录：ｍｋｄｉｒｓｖｍｌｉｈｔ。＿ｇｈｇｇ＿２ｔｔｕｎｚ－（）把ｓｖｍｌｉｈ．ａｒ．ｚ？移到这个目录下并打开：ｉｃｓｖｍｌｉｔ．ｔａｒ．／ｔａｒｘｖｆ。＿ｇｇｐｇｈｇｚｇ＿（３）执行：ｍａｋｅ或者ｍａｋｅａｌｌ，编译后生成两个可执行文件：ｓｖｍｌｅａｍ（训练模型）＿ｓｖｍｃｌａｓｓｉｆｙ（分类模型）＿ｕｔ分类模型能够利用训练好的模型将新样本分类ｇｈ。在ｗｉｎｄｏｗｓ系统中ＳＶＭ提供了Ｕｔｇｈ可执行文件，ＳＶＭ因此，使用不需用编译器编译或混合编程，但仍需在ｃｍｄ窗口运ｕｔ行可执行文件对软件包测试ｇｈ，测试软件包是否正常运行，对ＳＶＭ的测试过程如下：１＾（１）运行ｃｍｄ，打开ＳＶＭ所在文件夹：１＾（２）使用ＳＶＭ自带数据集ｔｒａｉｎ．ｄａｔ训练。命令行输入格式如下：ｓｖｍｌｅａｍｏｔｉｏｎｓｅｘａｍｌｅｆｉｌｅｍｏｄｅｌｆｉｌｅ＿［ｐ］ｐ＿＿ｔｏｎ在训练样本时，ｏｐｉｓ有很多设置项，需要根据实验的实际情况进行选择。［］一－ｚｃｒ、回归、复原，分类器中般只需要用到分类［，，ｐ］用来选择分类，刚好默认也是分类。一－ｔ是设置惩罚因子的参数ｃｆｌｏａ。它是个变化范围较大的值，需通过交叉验证来确一一定，般情况下，ｃ越大，类似于经验风险系数最小化原则，则ｃ的取值最好和ｗ是｜｜个数量级。一－ｗ０．．是回归参数中不敏感系数［，代表权重向量的范数，般情况下分类用不上。］－ｆｌｏａｔ松ｊ弓也变量。一－＝＝ｂ［０，１］假如有个线性函数，ｇ（ｘ）ｗｘ＋６，当选取６０时，不使用６这个参数，＝＝＝ｇ（ｘ）ｗｘ，当６１时，６这个参数要考虑进去，即ｇ（ｘ）ｗｘ＋６。一－＝ｉ０１这个参数可以用来重新训练，当ｆｌ时可以把不致的样本去除［，重新，］训练数据。ｉ，利用数据集ｔｒａｎ．ｄａｔ测试软件包是命令行参数设置之后否正常运行，这时数据集Ｕ＃ｔｒａｉｎ．ｄａｔ的格式严格按照ＳＶＭ需要的数据格式进行处理，通常，训练样本集的数据格式要求如下：－４０－ 东北大学硕士学位论文第４章实验说明及结果分析＜＞＝＜ｆｅａ＜＜ｌ．．．ｔｕ＞＜ｖｉｌｉｎｅｔａｒｇｅｔ＞ｆｅａｔｕｒｅ＞：＜ｖａｕｅ＞ｒｅ：ａｌｕｅ＞＃＜ｎｆｏ＞＜＝－＜ｔａｒｇｅｔ＞．．＋１１０ｆｌｏａｔ＞｜｜｜ＭＭ＜ｆｅａｔｕｒｅ＞＜ｉｎｔｅｇｅｒ＞ｉｄ｜ｑ＜ｖａ＞＜ｌｕｅｆｌｏａｔ＞＜ｉｎｆｏ＞＜ｓｔｒｉｎ＞ｇａｒｅ＋１－其中ｔｇｔ是类别标签值，二分类时表示和１，ｆｅａｔｕｒｅ是特征索引，通常为连续Ｓ整数，ｖａｌｕｅ代表特征。在实验过程中，需要严格按照不同的ＶＭ所需要的数据格式进行转换。－实验中所需要记录的结果：Ｒｕｎｔｉｍｅｉｎｃｐｕｓｅｃｏｎｄｓ表示训练时间，不包括打开关闭一一文件的时间，但是包含行行读取文件的时间，即ｅｌ。训练结果超平面保存在文件ｍｏｄ．２０００２５中。训练的详细参数如图４１所示，对个样本进行了４次迭代过程，确定了８７８１７个支持向量，其中１个属于边界支持向量。：Ｃ：＼Ｗｉｎｄｏｗｓ＼ｓｓｔｅｍ３２＼ｃｍｄ．ｅｘｅ？回ＥＢ音理员ｙ｜［｜｜丨ｊ丨疆＿｜｜咖漏；丨图４．１对ｔｒａｉｎ．ｄａｔ数据集训练完成Ｆｉｉｆｉｇ．４．１Ｃｏｍｐｌｅｔｅｔｈｅｔｒａｎｎｇｔｏｔｈｅｄａｔａｓｅｔｏｔｒａｉｎ．ｄａｔ测试命令行输入格式如下：ｓｖｍｃｌａｓｓｉｆｙ［ｏｔｉｏｎｓｅｘａｍｐｌｅｆｉｌｅｍｏｄｅｌｆｉｌｅｏｕｔｐｕｔｆｉｌｅ＿ｐ］—＿．ｄ模型得到后进行样本分类，使用自带数据集ｅｓｔａｔ，ｔ进行测试超平面的分类准确率一每个数据的分类结果保存在文件ｒｅｓｕｌｔ．ｔｘｔ中。ｏｔｉｏｎｓ的设置项根据实验的实际情况进行选择。［ｐ］－４１ 东北大学硕士学位论文第４章实验说明及结果分析－０３，这里我们选择默认值２。ｖ．．［，］输出的详细等级划分－Ｊ输出格式可以使原始形式，也可以选择直接输出决策函数的值。Ｐ］Ｗ．ＳＩＣ：ｉｎｄｏｗｓｓｓｔｅｍ３２＼ｃｍｄｅｘｅ口Ｂ＼＼ｙ丨丨丨丨￣＇＇１＂＇＇＊ｌ：ｒ：；＇＂■■ｌＩｍＦ－ｙ：＾：ｖ＇ｎ；＾＾＇ｉ－＇？＇■－；ｉｌ：／ｌｉ！％＾ｌ？｜｜ｉｊｌ１－ｒ；！ｔ｜ｆｉｌｌＡｌｉｉｌ＾ＨＨＨ＾Ｂ图４．２对ｔｅｓｔ．ｄａｔ数据集测试完成Ｆｉ．４．２Ｃｏｍｅｔｅｔｈｅｅｓｉｎｏｔｈｅｄａａｓｅｔｏｆｔｅｓｔ．ｄａｔｇｐｌｔｔｇｔｔ－ｓｅｃｏｎｄｓ实验中所需要记录的结果ｕ表７Ｆ测试时间，：Ｒｕｎｔｉｍｅｉｎｃｐ如果分类时间显０．００，小于０．０１秒将训练时间和测试时间相加，作为算法的整示为是因为时间过短；体运行时间．２ｃｃｕｒａｃｏｎｔｅｓｔｓｅｔ表示所做超平面的分类准确度。分类；图４中的Ａｙ准确ｋｈｔ度为９７．６７％软件包正常运行。，ＳＶＭ４．２．２ＬＩＢＳＶＭ酉己置Ｌ一ＩＢＳＶＭ由林智仁教授等人设计，是个快速且易于使用的ＳＶＭ算法的开源软件，、改进ＳＶＭ，包源代码可供查看。使用ＬＥＢ所需调节的参数较少同时提供许多默认参数，ＳＶＭ不仅提供了Ｃ＋＋及Ｊａｖａ源代码ｏｎ、Ｒ、ＭＡＴＬＡＢ减小了使用难度。ＬＩＢ，还为Ｐｙｔｈ、Ｐｅｒ、Ｒｕ、ｗｅａ、ＣｏｍｍｏｎＬＩＳＰ、ＣＬＩＳＰ、Ｈａｓｋｅｌ、ＰＨＰ、ＬａＩＥＷＣ＃ｅｔｌｂｙｋｌ界面ｂＶ以及．ｎ等提供了接口，ｄｏｗｓ或ＵＮＩＸ平台下使用可以方便的在Ｗｉｎ。，ＬＩＢＳＶＭ完整的操作步骤如下图４．３所示通常来说。数据集处理阶段需要对数据格式；、数据类型进行转换参数设定阶段需要对ＲＢＦ及相应参数进行系统化、准确化的设定，，所以；在模型训练时通常不同的惩罚因子和ｇ参数对分类结果有重要的影响为了确定最优分类超平面模型，需要对这两组参数做最佳设定。最后再通过训练模型对其他数据进行测试实验。－４２－ 东北大学硕士学位论文第４章实验说明及结果分析按照ＬＩＢＳＶＭ软件包所要求的格式准备数据集ｙ对数据进行简单的缩放操作５；选择ＲＢＦ核函数并对参数进行设定＞ｒ采用交叉验证，确定最佳参数Ｃ和ｇｙ＿采用最佳参数Ｃ和ｇ对整个训练集训练获取模型ｙ一利用获取的模型进行测试和预测图４．３ＬＩＢＳＶＭ的使用步骤ｌ－ＦｌｉＬＩＢＶＭｉｇ．４．３ＴｈｅｅｎｅｒａｕｒｓｅａｃａｔｉｏｎｏｆＳｇｐｐｏｐｐ在本实验中，ＬＩＢＳＶＭ可以通过ＭＡＴＬＡＢ与Ｃ＋＋的混合编程，生成扩展名为ｍｅｘｗ６４的文件，需要注意的是，环境配置时尽量把ＬＩＢＳＶＭ安装在指定的目录下，把当前工作目录调整到ＬＩＢＳＶＭ所在的文件夹，将ＬＩＢＳＶＭ添加到路径作为ＭＡＴＬＡＢ的函数使用。配置步骤如下：１、在ｓｅｔｐａｔｈ中添加ＬＩＢＳＶＭ代码所在目录；２、编译ＬＩＢＳＶＭ，将ＳＶＭ的源文件编译成可执行的文件；３，＞＞ｍｅｘｓｅｔｕ，，利用ｍａｋｅ文件生成四组、执行编译输入ｐ按指令进行选择之后扩展名为．ｍｅｘｗ６４的混编文件，其中ｓｖｍｓｔｒａｉｎ．ｍｅｘｗ６４是ＬＩＢＳＶＭ的训练可执行文件。编译成功如图４．４所示；４，４．５所。、对数据集进行测试验证配置是否成功。如图示一，ＳＶ优化完成可以得到完整的结果，包括迭代次数支持向量ｓ和每类所含的支持－４３＿ 东北大学硕士学位论文第４章实验说明及结果分析向量个数ｎＳＶ，分类器截距ｒｈｏ。安装ＭｉｃｒｏｓｏｆｔＶｉｓｕａｌ２０１２后，使用ＭＡＴＬＡＢ的混合编译工具ｍｅｘ，选择ＭｉｃｒｏｓｏｆｔＶｉｓｕａｌＣ＋＋２０１２编译器：运行ＬＩＢＳＶＭ目录下的ｍａｋｅ．ｍ文件，进行编译：＼需要注意，整个配置过程目录不能发生改变Ｄｏｃｕｍｅｎｔ＼ＭＡＴＬＡＢ，在下配置，否则在编译ｍａｋｅ．ｍ文件时会出现错误。？ｍａｋｅ’’ＢｕｉｌｄｉｎｖｉｔｈＭｉｃｒｏｓｏｆｔＶｉｓｕａｌＣ＋＋０１（）．ｇ２２ＣＭＥＩｌｄｆｕｌｌ．ｃｏｍｐｅｔｅｓｕｃｃｅｓｓｙ＇＇＇ＢｕｉｌｄｉｎｗｉｔｈＭ－ｈ－ｇｉｃｒｏｓｏｆｔＶｉｓｕａｌＣ２０１２（Ｃ．）ＭＥＸｌｄｆｕｌｌ．ｃｏｍｐｅｔｅｓｕｃｃｅｓｓｙ＇＂ｆＥｕｉｌｄｍＭｆＶｉｌＣ＋＋２０ｗｉｔｈｉｃｒｏｓｏｔｓｕａｌ２．ｇＨＥＸｃｏｍｐｌｅｔｅｄｓｕｃｃｅｓｓｆｕｌｌｙ．．＾．ＢｕｉｌｄｉｎｖｉｔｈＭｉｃｒｏｓｏｆｔＶｉｓｕａｌＣ＋＋２０１２．ｇＭＥＪ．ｃｏｍｐｌｅｔｅｄｓｕｃｃｅｓｓｆｕｌｌｙ．＇Ａ＞；ｌ图４．４四组混编文件编译成功Ｆ．４．４Ｆｏｕｒｍｉｘｅｄｌｅｓａｓｃｃｅｓｓｆｕｌｌｉｇｆｉｒｅｕｙｃｏｍｉｌｅｄｐ混编后得到四个文件：ｓｖｍｔｒａｉｎ．ｍｅｘｗ６４、ｓｖｍｐｒｅｄｉｃｔ．ｍｅｘｗ６４、ｌｉｂｓｖｍｗｒｉｔｅ．ｍｅｘｗ６４ｅａｄ．ｍｅｘｗ６４。为了区分ＭＡＴＬＡＢ中自带的支持向ｖｍ和ｌｉｂｓｖｍｒ量机中ｓｔｒａｉｎ命令，我们将生成的ｓｖｍａｉｎ．ｍｅｘｗ６４文件更名为ｌｉｂｓｖｍ．ｍｅｘｗ６４并ｔｒ添加到目录。ｌｉ为了保证软件包安装正确，同样需要对ｂｓｖｍ进行测试，ｅａｒｔｓｃａ以自带数据集ｈｌｅ＿一ｉ为例，利用ｂｓｖｍｒｅａｄ函数读取数据集，标签在矩阵的第，ｌ列矩阵的其他数据项为特征项。调用ｓｖｍｔｒａｉｎ．ｍｅｘｗ６４函数对ｈｅａｒｔｓｃａｌｅ进行训练得到模型Ｍｏｄｅｌ，＿即分类超平面。优化完成之后计算出迭代次数，超平面的法向量、截距、支持向量、边界支持向量一等结果。最后调用ｓｖｍｐｒｅｄｉｃｔ．ｍｅｘｗ６４，再对同组数据集进行测试，也可以设置交叉验证参数，，得到分类正确率的不同结果通过对训练集划分，记录最佳分类正确率。整．５所示个测试结果如图４。需要说明的是，为了记录分类用时，我们需要对核心算法的计时模块进行实现，综合分析惩罚因子对实验结果的影响，需要多次实验，确定惩罚因子之后，再多次实验取平均时间成本作为最终的实验结果，关于时间记录和惩罚因子的选取我们在参数设置以及实验的过程中将会详细介绍。－４４－ 东北大学硕士学位论文第４章实验说明及结果分析＇＇＝ｓｖｅｅｌｌｂｌｃａｌｅｉｎｓｔ＇］ｌｉｂｍｒａｄＣｈｅａｒｔｓｃａｌ；？［ｈｅａｒｔｓｃａｅａｅｈｅａｒｔ＿ｓ＿＿＿＿，ｅｌｂｌ＇？ｄｌ＝ｖｍｔａｉｎ．ｈｔｌｅｉｔ（ｈｅａｒｔｓｃａｌａｅｅａｒｓｃａ＿ｎｓ．ｍｏｅｓｒ＿＿＿％＝ｏｐｔｉｍｉｚａｔｉｏｎｆｉｎｉｓｈｅｄ，＊ｉｔｅｒ１５２ｎｕ＝０．４３１０２９－００ｏｂ＝．８７７２８８ｒｈ＝０．４２４４５２ｊ１，ｏ＝ＳＶ＝１３２ｎＢＳＶ１０７ｎ．ＳＶ＝３２Ｔｏｔａｌｎ１ｖａ＝ｖｍｅｄｔ＇＞ｄｉｃｔｌａｂｅｌ（ｈ１ｌｌｌｈｅｌｔ．ｌ．，ａｃｃｕｒａｃ，ｄｅｃｌｕｅｓｓｒｉｃｅａｒｓｃａｅ＿ａｂｅ，ａｒｔ＿ｓｃａｅ＿ｍｓｍｏｄｅ＞ｒｅ＿ｙ＿］ｐ＿［ｐｃｎ１Ａｃｃｕｒａ＝Ｓｏ．６６６７％（２３４／２７０（ｌｆｙ）ｃａｓｓｉｉｃａｔｉｏＡ＞ｙ＼４ｌ图．５数据集ｈｅａｒｔｓｃａｅ测试成功＿ｌｌｈｅａｌｅｄａｔａｓｅｔＦｉ．４．５Ｓｕｃｃｅｓｓｆｕｙｔｅｓｔｅｄｏｎｔｈｅａｒｔｓｃｇ＿４，ＬＩＢＳＶＭ从图．５数据集ｈｅａｒｔＳＣａｌｅ测试成功的结果中可以看到对数据集＿ｈｅａｒｔｓｃａｌｅ的分类精度为８６．６７％，测试结果表明：ＬＩＢＳＶＭ软件包导入成功，并且可以＿正常运行。４．２．３实验参数设置惩罚因子是可以调整的参数，在算法中用它来控制目标函数中寻找间隔最大的超。平面和保证所有数据偏差量最小之间的权重，也具有防止出现过拟合的作用对惩罚因子的选取采取如下方式：一１、ｉ整数值设为某；２＝、，令ｉ＋ｌ令惩罚因子ｉ；３ＶＭ算法、使用该列直运行Ｓ；４。、记录下运行算法所用的时间及所计算出超平面的分类准确度重复过程２到过程４若干次，计算出超平面的分类准确度最高的例直即为选取的０。１Ｇ１Ｇ？－？０２。１０１，本实验中，／的取值范围为即取值范围为ｒＳＶＭ１＃１的参数设置关于：）－。（１ｚＭ选择分类器，刚好默认也是分类？－上面的值，，（２）ｃｆｌｏａｔ设置惩罚因子。相当了类似于经验风险系数最小化原则一一ｗ则Ｃ的般与是同数量级。｜｜）－０。（３ｗ．，．代表权重向量的范数在本课题实验中米用默认值［］－４５－ 东北大学硕士学位论文第４章实验说明及结果分析（４）－ｆｌｏａｔ松她变量，米用默认值。ｊ关于ＬＩＢＳＶＭ的参数设置：我们调用的ＬＩＢＳＶＭ工具包是ｌｉｂｓｖｍ．ｍｅｘｗ６４混编程序，理论上，需要通过穷举的方式确定惩罚因子，使得最终选定的惩罚因子所对应的分类正确率最高，我们选择了２１＿１Ｑｆ值１（）个，从２到２。，其他参数信息不需要单独调整ｙＳｕｒｒＳＶＭ需要输入的有数据集矩阵Ａ、ｆ参数、最大迭代次数和迭代终止条件参数。参数选定之后：，判定条件如果当前迭代次数小于最大迭代次数，继续执行迭代程序，第３章３．２．３节给出了迭代部分的伪代码。４．２．４实验过程与分析本小节将通过三组实验，从不同的数据集角度对三种算法进行测试：不同规模不同种类的数据集之间对比、不同规模相同类别数据集之间对比以及相同种类相同规模离散程度不同的数据集之间作对比，并对实验结果进行总结分析。一三种算实验：当样本集规模不同的时候，从分类精准度和分类时间两个角度对比法效果。具体步骤如下：１、选取数据集。从机器学习数据库ＵＣＩ中选择８组不同规模的数据集。２１＃、按照ＳＶＭＬＳｕｒｒＳＶＭ所需的数据集格式进行转换和调整。，ＩＢＳＶＭ和３一组数据集进行实验、用三种算法分别对同，通过改变炉直确定最佳的分类正确率ｔｉｍｅｃａｌｃｕｌａｔｅ，参数确定好之后再调用分别记录下分类时间。＿４、记录下三组结果，惩罚因子、分类正确率和分类时间。表４．１实验１数据集介绍Ｔａｂｌｅ４．１Ｔｈｅｉｎｔｒｏｄｕｃｔｉｏｎｔｈｅｄａｔａｔｏｆｓｅｓ序号数据集样本数维数数据类型ａａ４１９２ａ１Ｄｉｍｄｔ１４Ｒｅｌ２Ｍｕｓｈｒｏｏｍ８１２４２２ＩｎｔｅｇｅｒＭＡＧＩＣＧａｍｍａ３１９０２０１０ＲｅａｌＴｅｌｅｓｃｏｐｅ４ＵＣＮＮ４９９９０２２Ｒｅａｌ５Ｃｏｄ－ＲＮＡ５９５３５８Ｒｅａｌ６ＮＤＣ１０００００３２Ｉｎｔｅｇｅｒ７ｎ－ＳｅｇｍｅｎＲｅＳｋｉｔａｔｉｏｎ２４５０５７３ａｌ８Ｃｏｖｅｒｔｙｐｅ５８１０１２１０Ｉｎｔｅｇｅｒ－４６－ 东北大学硕士学位论文第４章实验说明及结果分析５９［］Ｍｕｓｈｒｏｏｍ数据集包含的样本是２３种伞菌目的数据以及与之相关的假设样本共组一一８１２４，这８１２４组样本可以根据特征描述分为两类，类是绝对可食用，另类包括不可食用和无法判断是否可食用的情况。ＭＡＧＩＣＧａｍｍａＴｅｌｅｓｃｏｐｅ数据集由Ｂｏｃｋ等人采集的用于伽马成像项目，数据集共１９０２０个样本，其中１２３３２个样本代表ｇａｍｍａ射线成像数据，６６８８个样本代表ｈａｄｒｏｎ＿成像。该数据集可以用于典型的二分类实验。数据集ＩＪＣＮＮ包含４９９９０个样本，每个样本含有２２个特征。Ｃｏｄ－ＲＮＡ是在生物信息学领域中与检测非编码ＲＮＡ序列的相关研宄中所使用的数一据集。这个数据集有８个特征属性，样本数５９５３５，是个数据量较大的二分类数据集。ＮＤＣ数据集是由正态分布集群数据发生器随机生成的样本数量１０００００，维度为３２，一组多元正态分布中心点离散因子为１０的数据集。数据发生器可以随机生成，围绕每一一个中心生成部分数据点，，然后随机生成个分离面，基于这个分类面给每个中心点划分类别，ＮＤＣ再随机生成服从多元正态分布的点。通过改变离散因子，ＮＤＣ可以生成不同离散程度的数据集，在实验３中，我们讨论不同离散因子对数据分类效果的影响。－ＢＧＳｋｉｎＳｅｇｍｅｎｔａｔｉｏｎ数据集是由随机采集人脸图像的，，Ｒ值，人脸图像的采集多样化。有出自不同年龄组合：年轻、中年和老年；出自不同种族：白人、黑人和亚洲人；以及出自ＦＥＲＥＴ和ＰＡＬ数据库中不同性别的人群。样本总数２４５０５７，其中５０８５９个样本是真正的人脸皮肤图像，１９４１９８个样本不是皮肤图像。一一ｅ最后组Ｃｏｖｒｔｙｐｅ数据集原本是组代表多种植被特征的数据集，源自美国地质调查局和ＵＳＦ数据，我们将植被种类数据集划分为两类：品种Ａ类和非品种Ａ类。表４１三种算法实验结果．２实验Ｔａｂｌｅ４．２Ｔｈｅｒｅｓｕｌｔｏｆｅｘｐｅｒｉｍｅｎｔｏｎｅ＿序号数据集ＳｕｒｒＳＶＭＬＩＢＳＶＭＳＶＭｍｄ１９１１Ｄｉａｔａ２９５．３７％２９５．３２％２９５．４２％Ａ＇５ｓｒ１２Ｍｕｈｏｏｍ２９２．８１２９２．８２％２９２％．８６％ＭＡＧＩＣＧａｍｍａ＇４＇３２７９．１０％２７９．４３％２７９．１３％Ｔｅｌｅｓｃｏｐｅ１°１４ｌ．ｉｎｎｄａｔａ２９２．１２％２９１．６５％２９１６８％ｊ１°１５Ｃｏｄ－ＲＮＡ２９３７％２．８７％２９３．６８９．６６％－１２２６２２％２１２６ＮＤＣ２８６．０７％．３５％８．８＇＇１０ｂ１７－Ｓｋ１ｉｎＳｅｇｍｅｎｔａｔｉｏｎ２９２．４４％２９３．８％２９２．６５％＇７＇１０＇８Ｃｏｖｅｒｅ２７５．８４％２７５．８０％２６４．５３％ｔｙｐ－４７－ 东北大学硕士学位论文第４章实验说明及结果分析表４．１中给出的８组数据集规模各不相同４１９２，样本数到５８１０１２不等量从。通过，ＳｕｒｒＳＶＭ对以上机器学习数据库中的进行测试、ＬＩＢＳＶＭ和ＳＶＭｌｉｇｈｔ三种算法在惩罚因子的选取、分类正确率以及分类时间上的效果各不同。表４．２记录了实验１的运行结果，包括分类正确率以及相应的惩罚因子，需要说明的是，在实验过程中，选择不同的惩罚因子得到的分类正确率不同。对支持向量机来说，一般较困难惩罚因子的选取，因为它起着调和最大化间隔和最小化误差的作用，而通过第２章支持向量机的理论推导可知，间隔最大化和最小化误差本身就是相互矛盾的。惩罚因子没有准确的物理含义，有的研宄过程通过穷举法来确定列Ｉ。本文在实验过程中ＳＶＭ一从分类结果方面分析，般越大，表示对错误的惩罚越重＾。实验过程中，我们记录分类正确率最高时对应的惩罚因子。接下来分析正确率，对比结果如折线图４．６所示，横坐标从左到右依次代表８种数据集，纵坐标代表对应的分，三条折线代表三种算法的分类正确率类正确率。我们可以直观的看到，第４组数据之，三种算法的分类正确率彼此相差不大，从第４组数据集之后前，ＳｕｒｒＳＶＭ和ＬｆｉＳＶＭ１咖的分类正确率仍然较高，，无论怎样改变惩罚因子的值Ｓ在个别数据集上，ＶＭ的分类正确率落后于前两种方法，ＳｕｒｒＳＶＭ和ＬＩＢＳ。结果表明ＶＭ的分类正确率优于１一ＳＶＭ＃１，但是为了保证数据集来源的致性，我们将在实验二中对数据集的样本数量和维数进行设定一，从而进步证明随着数据集规模的增加，基于代理函数的大规模支持向量机方法的适用性。１００—；１ＳｕｒｒＳＶＭ…：：」—……＾ｌｉｂＳＶＭ＿ｉ７５ｌ：……：―…一．……ＤＬ……—…．…—：７〇……１…６５」…－…－……—；ｉ（！！ＩＩｉｉ６００５０１００１５０２００２５０３００３５０ＤｉｆｅｒｅｎｔＤａｔａｓｅｔｓ图４．６实验１不同数据集的分类正确率对比Ｆｉ．４．６Ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｏｆｄｉｆｆｅｄｉｇｒｅｎｔａｔａｓｅｔｓｎｅｘｅｒｉｅｎｃｅｏｎｅｙｐ－４８－ 东北大学硕士学位论文第４章实验说明及结果分析，三所以得出结论：当数据规模相对较小时种方法的分类正确率近似；当数据规模１１＃较大时，ＳＭＯ和ＳｕｒｒＳＶＭ方法的分类正确率优于ＳＶＭ。接下来分析时间成本。表４．３实验１中三种算法分类时间Ｔａｂｌｅ４．３Ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｔｉｍｅｏｆｅｘｐｅｒｉｍｅｎｔｏｎｅｈｔ序号数据集ＳｕｒｒＳＶＭＬＩＢＳＶＭＳＶＭ＾ｍｄａ．３０ｓ１Ｄｔａ１．５１ｓ０．２１ｓ０ｉ２Ｍｕｓｈｒｏｏｍ３．１４ｓ１．０１ｓ０．７６ｓＭＡＧＩＣＧａｍｍａ３５．３１ｓ１６．６３ｓ８．５８ｓＴｅｌｅｓｃｏｅｐ４ｉｎｎｌｄａｔａ１６．３４ｓ３７．０４ｓ１４．４４ｓｊＣｄ－ＲＮＡ１５５ｏ．４８ｓ２７．７５ｓ４８．９９ｓ６ＮＤＣ７８．５２ｓ５７８．６９ｓ１４８．７１ｓｋ－７ＳｉｎＳｅｇｍｅｎｔａｔｉｏｎ１１．４７ｓ７１．６５ｓ４８５．０４ｓ８Ｃｏｖｅｒｔｙｐｅ２２５．３１ｓ１３３６３．４ｓ７３６４．４７ｓＳ一ＶＭ方法普遍用时最短，从分类时间角度，当数据集的样本数增多时，Ｓｕｒｒ超过ＬＩＢＳＶＭ和ＳｕｒｒＳＶＭ方法，从折线图４．７定规模后，分类用时远远小于能够直观的看一８出这趋势Ｃｏｖｅｒｔｅ数据集为例，样本总量为５１０１２，通过ＬＩＢＳＶＭ分类用时。以ｙｐＨｈｔ３６３４ＶＭｇ４４７ＶＭ为：７３６．ｓ，ＳｕｒｒＳ时：２２５．３ｓ。：１３．ｓ，Ｓ分类用时分类用———？ＳｕｒｒＳＶＭ９——丨；：丨？ｌＳＶＭｉｂ／１２０００－＾Ｈ－ＳＶＭｉｔｌｇｈ／＾１０〇０Ｊ００／／〇／５ｉ／①８０００／，ｆ６０００芘／４０００／／－§２０００／￣￣￣￣￣￣＾ｔｆ〇ＤｉｆｆｅｒｅｎｔＤａｔａｓｅｔｓ图４．７实验１不同数据集的分类时间对比Ｆ．４．７Ｔｌｔｏｎｔｍｅｅｒｅｎｔａｔａｓｅｔｓｉｎｅｘｅｒｉｅｎｃｅｏｎｅｉｇｈｅｃａｓｓｉｆｉｃａｉｉｏｆｄｉｆｆｄｐ－忉－ 东北大学硕士学位论文第４章实验说明及结果分析一结论分析可以发现８个不同种类数据集，数据量大小从４１９２５８１０１２：通过实验到一１—组数据实不等，对三种支持向量机ＬＩＢＳＶＭ、ＳＶＭ以及ＳｕｒｒＳＶＭ进行实验。在每验结果对比中可见，在分类正确率相差不大的情况下，ＳｕｒｒＳＶＭ算法普遍用时短。Ｌ＾ｔＩＢＳＶＭ和ＳｕｒｒＳＶＭ的分类正确率比较稳定，ＳＶＭ在对个别数据集进行分类时，正一确率较低。实验的结果可以初步证明本课题设计的ＳｕｒｒＳＶＭ适用于大规模数据分类。一ＳｍｒＳＶ实验二：为了进步证明Ｍ在大规模数据分类中的适用性，实验二采用正态分布集群数据发生器产生不同规模的ＮＤＣ数据集一组ＮＤＣ数据集的特点是样本。这＊＊＊＊２０ｋ３２ｋ的数量不同，特征维度相同，即分别随机产生１００３２２００ｋ３２３００ｋ３２，，，和＊一５００３２ＮＤＣ－ｋ，．４４．６的数据集，与实验步骤相同运行结果如表４所示：表４．４实验１三种算法的惩罚因子Ｔａｂｌｅ４．４ＴｈｅｐｅｎａｌｔｙｆａｃｔｏｒｏｆｔｈｅａｌｇｏｒｉｔｈｍｉｎｅｘｐｅｒｉｍｅｎｔｏｎｅＮＤＣ数据集ｎ咖ＳｕｒｒＳＶＭＬＩＢＳＶＭＳＶＭ样本数－９５°２ｗ２２２－２＇°２？２°ｌＯｗ－２０１０７°ｗ２２２－３０ｗ２＇°２６２°－５０ｗ２＇°２５２°＾ｔＱＳ，２，ＳＶＭＶＭ默认的惩罚因子值是１即试验中离散因子的取值与ＬＩＢ和－１（）２１Ｑ４ＳｍｒＳＶＭ方式相同．４，从２到，记录结果见表。从对惩罚因子角度来看，ＬＩＢＳＶＭ方法对错误的惩罚较重，ＳｕｒｒＳＶＭ方法对错误的惩罚最轻，但是并不意味着对分类准确４．５１率有影响，给出了实验中三种算法分类正确率表。表４．５不同规模的ＮＤＣ数据集分类正确率Ｔａｂｌｅ４．５ＴｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｏｆｄｉｆｆｅｒｅｎｔＮＤＣｄａｔａｓｅｔｓｙＮＤＣ数据集１Ｓｕｒ１咖ｒＳＶＭＬＩＢＳＶＭＳＶＭ样本数２ｗ８５．８５％８６．１１％８５．９８％ｌＯｗ８６．２４％８６．３１％８６．３２％２０ｗ８５．７４％８５．８７％８６．２６％３０ｗ８５．３１％８６．０５％８６．０６％５０ｗ８４．７１％８６．１７％８６．２３％－５０－ 东北大学硕士学位论文第４章实验说明及结果分析一组ＮＤＣ数据集整体来看，三种算法的分类正确率相差不大，说明在相，对于任同条件下，ＳｕｒｒＳＶＭ方法可以得到与经典算法相同的分类正确率。表４．６给出的是分类时间数据。表４．６不同规模的ＮＤＣ数据集分类时间Ｔａｂｌｅ４．６ＴｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｔｉｍｅｏｆｄｉｆｆｅｒｅｎｔＮＤＣｄａｔａｓｅｔｓＮＤＣ数据集ＳｕｒｒＳＶＭＬＩＢＳＶＭＳＶＭ＿样本数２ｗ３．０８４１．８６１０．８６ｌＯｗ１６．５８１０２５．０４２６２．５９２０ｗ３４．９６３６４０．１２１０３７．２７３０ｗ５３．８４８２６０．５１２５０１．９８５０ｗ７２．４５２２６２４．６２７１２６．９２一＊３０ｗ３２Ｃ从表４．６结果可以看到，对于同组数据集，以样本的ＮＤ数据集为例，２６０５１—１三种方法的分类时间有显著差别１ＶＭ２５０１９８，ＬＩＢＳＶＭ分类用时８．秒Ｓ．，用时秒，而ＳｕｒｒＳＶＭ用时仅为５３．８４秒，纵观五组不同规模的ＮＤＣ数据集，ＳｕｒｒＳＶＭ大〇ｗ大减少了分类时间成本。特别是在进行大规模数据集分类（超过ｌ的数据集）时，相同的实验背景下，ＳｕｒｒＳＶＭ方法的优势很显著。所以惩罚因子的大小没有对分类正确率产生重要影响，我们设计的ＳｕｒｒＳＶＭ方法在保证分类正确率的情况下，对时间成本进行了有效的控制。８６—．５—ＳＳＶＭｕｒ—８６ｌｉｂＳＶＭ４——？ＳＶＭｌｈｔｉｇ…—８６－３丨ＩｉＪ－……．．．．．．．…．？？？－■－丨卜丨；ｉ８５—．７０５１０１５２０２５３０３５４０ＮＤＣＤａａｓｅｓｔｔ图４．８不同规模的ＮＤＣ数据集分类正确率对比Ｆ．４．８ＴａｃｃｕｒａｃｃｏｍａｒｉｓｏｎｏｆＮＤＣｅｔｓｎｉｔｓｚｅｉｇｈｅｙｄａｔａｓｉｄｆｆｅｒｅｎｉｐ－－５１ 东北大学硕士学位论文第４章实验说明及结果分析１００００＇；．．—ＳｕｒＳＶＭ９０一—＊－－－００４％ｌｉｂＳＶＭ：一＊—ＳＶＭｌｉｈｔｇ－—－ｆｆ－－…８０００ｒ一：：；ｒ＾６０００－」－－－－－－－：—；／；＼／＼５０００＇…一—…十—…―……ｒ—Ｉｈ十Ｌ」４０００—丨…＿｜｜：：：！３０。。——－—…－！２０００…ｒ０００…………．１：：「—：＾？？０５１０１５２０２５３０３５４０ＮＤＣＤａｔａｓｅｔｓ图４．９不同规模的ＮＤＣ数据集分类时间对比Ｆｉｇ．４．９ＴｈｅｔｉｍｅｃｏｍａｒｉｓｏｎｏｆＮＤＣｄａｔａｓｅｔｓｉｎｄｉｆｆｅｒｅｎｔｓｉｚｅｐ结论分析：实验过程中选取分类效率最佳的惩罚因子／？，作为最终记录参数。从结果可以看出，ＮＤＣ数据集当且仅当样本集大小不相同的时候正确率的表现上，在分类没有明显差别，如图４．８所示。但分类时间差别明显，图４．９直观地可以看到：随着样本规模增加（数据量从２万增加到５０万，维度相同），每种算法用于分类的时间均会增加，但ＳｕｒｒＳＶＭ方法的用时远远小于另两种方法２：。所以从实验可以得出结论不同规模的ＮＤＣ数据集之间分类正确率差别不大，但ＳｕｒｒＳＶＭ方法在降低分类时间成本上有显著优势一ＳｕＳＶＭ。进步证明了ｒｒ适用于大规模数据分类；：ＮＤＣ，实验三数据发生器在生成数据集时离散因子取值不同，相应的数据离散程度不同。为了研宄数据集离散程度与分类效果的关系，我们分别选取离散因子ＥｘｐａｎｄＦ＝ａｃｔｏｒ１００，５０，２０，１０，５，生成了离散程度不同的数据量为１０万的五组ＮＤＣ数据，实验结果如表４．７和表４．８所示集：表４．７离散程度不同的ＮＤＣ数据集分类正确率Ｔａｂｌｅ４．７ＴｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｏｆＮＤＣｄａａｓｅｔｓｗｉｔｈｄｉｆｆｅｒｅｎｔｅｔｙｔｘｐａｎｄｆａｃｏｒＨｈ，离散因子ＳｕｒｒＳＶＭＬＩＢＳＶＭＳＶＭ８４－７°１００２６１．５％２５６．５％２６０．９％Ａ－７６２°５０２６４．１０％２．３９％２６０．９８％－２°２０２７４１．０２％２７３．９５％２７３．７１％－３３°１０２８６．３１％２８６．３０％２８２．０７％２－３９７７２６°５％１．１９７．７％２９７．１９％－５２－ 东北大学硕士学位论文第４章实验说明及结果分析（首先分析惩罚因子ＳｕｒｒＳＶＭ方法对错误的惩罚偏低，随着数据离散程度降低数ＶＭ１＾），Ｓ据更聚集，ＬＩＢＳＶＭ方法对错误的惩罚程度逐渐增加方法的惩罚参数基本’ＳｕＶＭＬＩＢＳＶＭ方法分类正确率略高于ＳＶＭ，恒定，ｒｒＳ。在分类正确率的表现上和一一组数据，离散因子越小，即数据越聚集，分类正所以可以得出结论：针对同算法同确率越高，在三种算法之间作对比，除了在离散因子为１００时，ＬＩＢＳＶＭ表现略差以外，ｕｈｔＶＭＬｇＳｕｒｒＳＩＢＳＶＭ分类效果略高于ＳＶＭ。从整体角度来看，和表４．８离散程度不同的数据集分类时间ｓｗｉｒｅｎｔｅｘａｎａｃｏｒＴａｂｌｅ４．８ＴｈｅｃｌａｓｓｃａｔｏｎｔｍｅｏｆＮＤＣｄａｔａｓｅｔｉｔｈｄｆｆｅｄｆｔｉｆｉｉｉｐＶＭＬ１砂１离散因子ＳｕｒｒＳＩＢＳＶＭＳＶＭ１．ｓ．２０１．２ｓ１００８９８６９６ｓ．５０７９．１ｓ１０１７ｓ２０７５ｓ２０５８．４ｓ８８６．８ｓ３０８．７ｓ７７１．３ｓ１４８．７ｓ１０．９ｓ４８１１１．５ｓ５７６．１ｓ１７８．６ｓ，变化情况。ＳｕｒｒＳＶＭ方分析分类的时间成本即随着离散因子的改变，分类时间的１—１Ｌ８０ＳＶＭ５００ＩＢＳＶＭ１１７，方法最高用时达０秒。法用时在秒以内，用时在秒以内可见即便数据的离散程度不同，在其他条件相同的情况下，即样本数量相同（ＮＤＣ数据集的样本数量均为１０万），样本维数相同，ＳｕｒｒＳＶＭ可以较好的控制时间成本。从图４．８中可以看出变化趋势。＇■－１００ｊ—ＳｕｒｒＳＶＭＪ－ｔ—ｉＶＭ９５ｌｂＳＳＶＭｌｉｈｔｇ—Ｚ＂８５ｙ１ｚＩ＾１７－－０〇＊５５〇５１０１５２０２５３０３５４０ＮＤＣａｔａｓｅｔｓＤ图４．１０不同离散因子对分类正确率的影响＇Ｆｌｔｃｌａｓｓｃａｔｉｏｎｃｃｕｒａｃ．４．１Ｄｉｒｅｎｔｄｉｓｃｒｅｔｅｆａｃｔｏｒｓｉｎｆｕｅｎｃｅｏｎｈｅｉｆｉａｉｇ０ｆｆｅｙ－５３－ 东北大学硕士学位论文第４章实验说明及结果分析－■１２００ｎＩ１１ｉ１丨７ｎ一—＊？ｒｒＭＳｕＳＶ—＃—？ｉｂｌＳＶＭ１０００—ＶＭ？Ｓｌｉｇｈｔ！ｙ？丨■丨ｉ＼－－…８８００…－Ｊｒｉ：＾：：＼ｉ丨丨＼ｉｉ：：：丨＼Ｉ４。。…………：—………“……一」卜＾ＩＫ＇２００＊．＾…－，＾＾－－－－—丨：ｉａ￣￣￣＾ｆ〇！！！：０５１０１５２０２５３０３５４０ＮＤＣＤａｔａｓｅｔｓ４．图１１不同离散因子对分类时间的影响＇ｕＦｉｇ．４．１１Ｄｉｆｆｅｒｅｎｔｄｉｓｃｒｅｔｅｆａｃｔｏｒｓｉｎｆｌｅｎｃｅｏｎｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｔｉｍｅ３一组数据结论分析：通过实验的实验结果，我们可以得出结论，离散因子越：同小，即对应的离散程度越低，分类正确率越高．１０，从图４可以直观的看到结论：横坐标０１０２０，３０，４０的点分别１００５０２０，，对应离散因子，，１０和５，，纵坐标代表分类正确率，三种方法分类正确率均随着离散程度的降低而增加，整体米看，ＳｕｒｒＳＶＭ和ｕｈ一ＬＳｇｔＩＢＶＭ分类效果略好于ＳＶＭ。三种算法之间对比可见，同组数据，分类正确率相近，ＳｕｒｒＳＶＭ分类时间最少，如图４．１１所示，在实验中降低时间成本更显著。经以上三组实验过程以及结果分析，我们可以得出结论，基于代理函数的大规模支持向量机分类算法适用于对大数据的分类，，保证分类精度的前提下采用迭代算法之后，分类时间成本可以有很好的控制。４．３生物医学颔域应用实验通过以上三组实验，可知ＳｕｒｒＳＶＭ算法在保证分类正确率的前提下，大大提高了“”分类速度信息碎片化，。针对目前医学健康领域存在的等问题接下来讨论大规模数据分类算法在生物医学领域的实际应用。在健康医学领域，文本数据蕴含着丰富的价值，，以临床病案为例包含着病人的症状，、主诉信息病程记录、临床检验结果、病理参数、化验结果、以及诊断记录等等。如果利用数据挖掘和ＳＶＭ的知识，对疾病进行分类或者对病情的严重程度分类将为临床诊疗法案的选择具有重大意义。总之，高效的利用健康医疗大数据将会为计算机辅助医疗卫生监测一一，公众健康等领域带来创造性变化和价值组，，所以这部分我们选取－５４－ 东北大学硕士学位论文第４章实验说明及结果分析医学大数据，通过数据处理和转化，应用到三种算法上，经实验对比，验证ＳｕｒｒＳＶＭ算法在大规模数据分类中的优越性。我们选取的数据是从１９９９年至２００８年美国１３０家医院的临床糖尿病诊疗数据，这组数据包含１０万多样本，每个样本有５０个特征项。数据集中收录的样本需要满足以下准则：（１）彳目息从住院患者中米集；（２）采集与糖尿病相关的诊查信息及特征；（３）住院时间在１４１到天的范围内；（４）信息记录保证是在住院期间；（５）住院期间需要进行药物治疗。为了保证信息获取的准确性，首先要保证患者接受住院治疗，并且住院期间进行糖尿病诊断和用药等相关治疗，然后对整个诊疗过程进行了记录。通过对患者的详细记录，“”“包括糖尿病相关检查和结果，糖尿病患者，在全部的样本中选择诊断结果为和非”－糖尿病患者的数据项，标签分别设置为＋１和１，组成新的数据集，删除没有明确诊断或者其他特殊情况的样本及特征。剩余样本数１００２３９，用于分类的特征项包括的信息很多，个人信息、诊查结果以及药物治疗和护理信息等。对这个新的数据集进行训练，得一到训练模型后，再随机抽取部分样本组成测试集，进行分类测试，记录惩罚因子、分４类正确率和分类时间．９、．１．１１，实验结果如表４表４０和所示。表４．９三种算法的惩罚因子Ｔａｂｌｅ４．９Ｔｈｅｅｎａｌｔｆａｃｔｏｒｏｆｔｈｅａｌｏｒｉｔｈｍｓｐｙｇ１１１ＶＭＬＶＭ＊１算法ＳｕｒｒＳＩＢＳＳＶＭＱ＇５°惩罚因子２２２４表．１０三种算法的分类正确率对比结果Ｔａｂｌｅ４．１０ＴｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍｓｕＵ加算法ＳｒｒＳＶＭＬＩＢＳＶＭＳＶＭ分类正确率９９．９８％９９．９２％９９．８７％－－５５ 东北大学碩士学位论文第４章实验说明及结果分析从分类正确率和惩罚因子的角度可以看出，与之前三组实验结果类似：ＬＩＢＳＶＭ对Ｋｇｈｔ，ＳＶＭ对错误的惩罚程度最小。但是分类时间的角度ｒＳＶＭ错误的惩罚程度最大，Ｓｕｒ具有明显的优势。表４．１１三种算法分类时间对比结果Ｔａｂｌｅ４．１１ＴｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｔｉｍｅｏｆｔｈｅａｌｇｏｒｉｔｈｍｓＬＶＭ１甽算法ＳｕｒｒＳＶＭＩＢＳＳＶＭ分类时间３６．４３ｓ５１８．３５ｓ２７３．９０ｓ，，在分类正确率上三种算法相差不大通过多次实验取平均测试结果；但是在分类时间上ｒＳＶＭ平均用时最少，如表４．１１所示，也就是说我们设计的算法在实际应，Ｓｕｒ用中具备较高的分类效率。当数据规模增大时，传统的ＳＶＭ算法虽然具有较高的分类准确率，但是时间成本消耗大，采用ＳｕｒｒＳＶＭ方法可以在保证分类精准度的前提下，快速准确的对文本数据进行分类。以上经过对医学文本信息分类，证明了本课题设计的基于代理函数的大规模支持向量机分类算法的实用性。随着计算机辅助诊疗技术的不断发展，生物医学领域数据也有更多的体现形式，需要我们结合数据处理算法，使支持向量机良好的分类效果在生物医学信息处理领域发挥更大的优势。总的来说，在医学信息处理方面，ＳＶＭ算法可以应用在以下方面：（１）对医学图像进行分割以及数据处理；（２）训练学习机，进行计算机辅助医疗诊断；（３）、筛选以及疗效定位通过训练模型实现药物研发；（４）疾病预后状态的预测及对其他指标的预测。（５）针对医学影像进行识别和研宄，对图像的特征因子进行构建，再利用支持向量机进行分类处理。因此，，在实际应用中除了将算法用于文本分类以外我们还要构建完备的医学知识体系，针对医学影像构建明确、可靠的特征向量集，并采用合理的特征优化方式，建立计算机辅助诊疗模型，从而使大规模支持向量机分类方法逐步应用在医学图像模式识别分类领域。与此同时，通过对ＳＶＭ分类精确度的不断改善，进而扩展大规模支持向量机分类算法的应用。这样可以更加充分的利用健康医疗大数据，，为计算机辅助医疗卫生监测以及公众健康等领域带来创造性的价值。－５６－ 东北大学硕士学位论文第４章实验说明及结果分析４．４本章小结Ｗ通过将ＳｕｒｒＳＶＭ与两种经典算法ＬＩＢＳＶＭ和ＳＶＭ进行多组实验对比，实验１首先选取了不同种类不同规模的数据集进行测试，从分类正确率和分类时间两个角度，一初步得出结论，ＳｕｒｒＳＶＭ方法适用于大规模支持向量机分类；为了使数据集保持致性，进行了实验２，用ＮＤＣ数据发生器生成样本数为２万，１０万，２０万，３０万和５０万的ＮＤＣ数据集，实验结果显示，处理大规模数据集时，在处理精度方面，三种算法差距ｌｉｇｈｔ，ｕｒｒＳＶＭ方法和ＬＩＢＳＶＭ的分类精确ＶＭ不大但Ｓ度更稳定，Ｓ在个别数据集分类效一＾ｔ，表现欠佳。在分类速度方面，ＳｕｒｒＳＶＭ方法明显优于ＬＩＢＳＶＭ和ＳＶＭ果上，进步说明了基于代理函数的大规模支持向量机算法的适用性；实验３说明了数据离散程度，，对分类效率的影响：数据越聚集分类正确率越高ＳｕｒｒＳＶＭ分类用时最少。一最后组实验，我们选用糖尿病患者的临床治疗文本数据对ＳｕｒｒＳＶＭ进行了测试，结果表明，我们设计的迭代策略有效的降低了分类的时间成本，基于代理函数的大规模支持向量机算法适用于大规模数据分类，而且具有较高的分类效率。－５７－ 东北大学碩士学位论文第４章实验说明及结果分析－５８－ 东北大学硕士学位论文第５章结束语第５章结束语５．１本文工作总结，随着大数据时代的到来，机器学习和数据挖掘算法越来越受到重视在医学领域亦是如此，从海量的结构复杂的数据中获取正确的、创造性的、有潜在价值的信息成了研宂者们的努力目标。各领域的工作者，也越来越希望能够充分挖掘出现存数据库中所蕴含的信息，并在未来做出决策时有效利用。以医学类大数据为例，基于对现有的医学数据库进行数据挖掘和知识发现，可以对医生做出正确的诊断和检查具有重要，的辅助作用。同时、模，对于医学图像分析分类式识别分类来说大规模数据分类算法也很具有研宄性以及可发展性。针对数据挖掘中的分类，本课题做了以下的研宄工作：（１）首先介绍了大数据及健康医学大数据背景下的机器学习重要性，对支持向量机的发展历史、国内外研究现状作了介绍。对ＳＶＭ基本的ＳＬＴ、凸优化数学模型、进行ＶＭ１１＃ＬＩＢＶＭ了介绍，并分析了两种经典的算法Ｓ和Ｓ，由于现存的机器学习方法在大规模数据处理时效率不高，所以给出了本文的研宄意义。（２）引入代理模型的概念，通过构造Ｓｕｒｒｏｇａｔｅ函数的方式建立新的ＳＶＭ迭代模型，创造性的利用矩阵分解思想，再引入常系数，通过数学推导求解迭代公式，再对迭代算法进行编程实现。由于二次规划的全局最优解需要满足ＫＴ条件，所以算法实现之一后，ＳＶＭ，Ｓ，我们对序列的全局收敛性进行了说明。此外与其他方法样ｕｒｒＳＶＭ，在迭代过程中应该尽量避免会遇到内存消耗问题。Ｍ和１＃１（３）分析两种经典算法ＬＩＢＳＶＳＶＭ的思想，以及使用过程中的配置问题和，将本课题提出的基于Ｓｕｏａｔｅ函数的ＳｕｒｒＳＶＭ方法与两种经典的支持向参数设置ｒｒｇＬ１—量机算法ＩＢＳＶＭ和ＳＶＭ进行对比。通过实验１，２，３这三组不同角度的实验对比可以得出结论，：处理大规模数据集时，在保证算法的分类正确率前提下本文提出的基于Ｓｕｒｒｏｇａｔｅ函数的大规模支持向量机方法可以大大降低时间成本，能够快速、准确的进行大规模数据分类。（４），，组成实验所用最后，以实际医院的文本数据为例对数据进行处理和转换之后的测试集，对三种算法的性能进行对比验证。多次实验记录平均结果，分析惩罚因子，ＳｕＳＶＭ分类正确率和分类用时等实验结果，充分体现了ｒｒ方法在实际应用中的可靠性和优越性。－－５９ 东北大学硕士学位论文第５章结束语进入大数据时代，数据量的加大也增加了ＳＶＭ算法的需求，目前提出的己知算法在计算过程中迭代次数多，花费时间过长，已，对此本，计算复杂经不能满足需要文主要解决了ＳＶＭ算法的运行速度问题，并使用机器学习ＵＣＩ数据库中的多组大规模数据集对算法进行了测试。结果表明基于Ｓｕｒｒｏｇａｔｅ函数的ＳＶＭ算法完全能够对大数据进行动态、快速、准确的处理。５．２研究展望随着计算机及互联网的不断进步，数据量会愈发的增大，人们需要计算机代替人类处理大规模数据，ＳＶＭ相关算法作为机器学习领域的重要组成部分也愈发的受到人们的关注。在生物医学工程领域，支持向量机正在被应用到医学文本方面和医学影像，。方面的大数据处理问题当中科学研宄急需速度快，精度高的支持向量分类机而且随着数字化医疗的快速发展与信息化建设系统的普及，目前国内外各医疗机构积累了大量患者临床数据信息和电子病例等，这些大量复杂的数据里蕴藏着很多有，，价值的信息。此外，高精度医学医学影像设备不断更新临床采集的数据越来越全面也越来越复杂，怎样更好的处理、分类、分析健康医疗大数据，整合碎片信息等问题是计算机辅助医疗方面研宄的重要方向。支持向量机相关算法发展至今，虽然已经积累了无数前人们的经验，但是仍然有很多方面需要深入研究，既包括ＳＶＭ分类算法本身的不断改善，也包括多学科应用领域的结合与扩展：（１）本文提出了的ＳｕｒｒＳＶＭ方法在线性空间中得以验证，虽然多分类ＳＶＭ可以由二，分类算法延伸得到但现存的多分类方法尚不完善，本文绪论中介绍的几种ＳＶＭ多分类算法各有利弊二一，它们在速度及效率方面都不及分类算法，开发出套快速有＾［的ＳＶＭ多分类算法理论成了迫切的需要。（２）系统化的、准确的对核函数及相应参数进行选取。当空间维度低于３时，人们可以直观的观察到数据的分布，并根据数据的分布选取核函数；当空间维度高于３时，人类无法直观的观察４维空间中数据点的分布，从而无法有效的选取核函数。而且，目前研宄领域对核函数以及相应参数的选取尚且缺乏完善的理论依据，因此如何系统ＳＶＭ一有效的选取核函数及核函数的参数是算法中急需解决的问题之。一（３）医学图像模式的分类研究具有广泛的应用前景。本文在实验阶段选取了组医学文本数据对算法进行测试，在未来的研宄过程中，我们致力于将医学图像的处理技术，从而使分类机器在医学图像分割与机器学习分类技术有机地结合、计算机辅助医疗－－６０ 东北大学硕士学位论文第５章结束语诊断、药物研发、筛选以及疾病预后状态的预测等领域均发挥重要作用。通过对医学影像进行识别和研宄，从而有效的提高医学图像分类的性能，完成信息化辅助医疗诊断过程，这些都具有重要的现实意义。对医学大数据进行挖掘和知识发现是实现辅助医疗的重要途径，也是智能诊断系统的发展方向。总之，在未来的研宄工作中，需要我们结合生物医学工程的学科特点对数据挖掘，综合理论方法探究和机器学习算法进行不断的探索、算法设计实现以及实际生产应用，全面提高相关技术领域的发展。－－６１ 东北大学硕士学位论文第５章结束语－－６２ 东北大学硕士学位论文参考文献参考文献——１？大数据成信息技术领域热门概念ＥＢＬ．２０１２２２ｔ：／／ｗｗｗｃｌｌ．人民日报／Ｏ［０２？ｈｔｐ．４．［］］ｎｅｔ／ｎｅｗｓ／２１２／ａ７４７３０１．ｈｔｍｌ．Ｌ－－ｔｔ：ｗ２．中国信息产业网．大数据的四个典型特征［ＥＢ／Ｏ．２０１２０２２２．ｈｐ／／ｃ．ｃｅｎａ．ｃｏｍ．ｃｎ／］［］ｙｙａ／－－２０１２１２０４／１３５４５８２９２９７８４０７．ｓｈｔｍｌ．－－ＡＭＩＳＨＢＩＩＩ：ｅｆｏｕｒＶｓｏｆａｔａＢＬ２０１３ｃｏｍｔ３．Ｈ．ＳＴｈｂｉｇｄ．／Ｏ．０７２４．ｈｔ：／／ｗｗｗ．ｕｅｒ［Ｅ］［］ｐｐｗｏｒｌｄ．ｃｏｍ．ａｕ／ａｒｔｉｃｌｅ／３９６１９８／ｉｉｉｓｆｏｕｒｖｓｂｉｄａｔａ／．＿＿＿ｇ＿４．ＹａｎＸｉａｏｆｅｎＺｈａｎＤｅｘｉｎ．ＢｉｄａｔａｒｅｓｅａｒｃｈＪ．ＣｏｍｕｔｅｒＴｅｃｈｎｏｌｏａｎｄＤｅｖｅｌｏｍｅｎｔｇ，ｇｇ［］ｐｇｙｐ，２０１３２３４１６８－１７２：．，（）５．Ｊ２０１２１陈如明．大数据时代的挑战价值与应对策略［．移动通信７．］，（）－－？Ｊ２０１５４６．宁氣陈挺生物医学大数据的现状与展望．中国科学，，６０５６：５３５４６．［］（）７．Ｏｖｅｒｐｅｃｋ，ＪｏｎａｔｈａｎＴ，Ｍｅｅｈｌ，ＧｅｒａｌＡ；Ｂｏｎｙｅｔａｌ．Ｄｅａｌｉｎｇｗｉｔｈｄａｔａ：Ｃｌｉｍａｔｅｄａｔａｃｈａ－ｌｌｅｎｅｓｉｎｔｈｅ２１ｓｔｃｅｎｔｕｒｙ［Ｊ．Ｓｃｉｅｎｃｅ，２０１１３３４；７００７０２．ｇ］，－．８．郭华东．科学大数据与数字地球Ｊ中国科学１：１王力哲，陈方等，２０１４５９２０４７，，［］（）１０５４．？９．ＷｉｇａｎＭＲ，ＣｌａｒｋｅＲ．ＢｉｇＤａｔａｓＢｉｇＵｎｉｎｔｅｎｄｅｄＣｏｎｓｅｑｕｅｎｃｅｓ［Ｊ］．Ｃｏｍｐｕｔｅｒ，２０１３，４６－６：４６５３）．（ｉ〇．何清李宁罗文娟等．大数据下的机器学习算法综述ｍ．模式识别与人工智能，，，２７４－：３２７３３６．（）１１ｉｔｅＦＤａｍｅｒａｕＷｅｉｓｓ．Ｓ．ｏｗａｒｄｓａｎｕａｅｎｄｔＡｔｔ．ＣｈｄａｎａｎｄＡｒｅｄＭ．ＴＬＩｅｅｎｄｅｎｕｏｍａｅｄｐ，，ｇｇｐＬｅａｒｎｉｎｏｆＴｅｘｔＣａｔｅｏｒｉｚａｔｉｏｎＭｏｄｅｌｓ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＡＣＭＳＩＧＩＲＣｏｎｆｅｒｅｎｃｅ．９４ｇｇ，１９９４－：２３３０．一１２．．刘钢胡四泉范植华等神经网络在文本分类上的种应用［Ｊ］．计算机工程与应，，，２００３３９３６－用：７３７４９２．，，（），１３ＥｔｈｅｍＡｌａｄｍ．ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＭａｃｈｉｎｅＬｅａｍｉｎＭ．Ｂｅｉｉｎ：ＣｈｉｎａＭａｃｈｉｎｅ．ｐｙｇ［］ｊｇＰｒｅｓｓ，２００９．１４．钱海军．基于ＢＰ神经网络的图像压缩的Ｍａｔｌａｂ实现［Ｊ．电脑开发与应］２４－用２０１１１２：７７７９．，，（）１５ａｎｋＶＴｈｅＮａｔｕｏｆｓｔａｉｓｃａｅａｒｎｉｎＴｈｅｏｒｅｗｏｒｋ：Ｓ１．Ｖｉ．ｒｅｔｌｌｙＭ．ＮＹｐｒｉｎｇｅｒ９９５．ｐｇ［］，－６－３ 东北大学硕士学位论文参考文献１６．ＯｓｕｎａＥＦｒｅｎｕｄＲＧｉｒｏｓｉＦ．Ａｎｉｍｐｒｏｖｅｄｔｒａｉｎｉｎａｌｇｏｒｉｔｈｍｆｏｒｓｕｏｒｔｖｅｃｔｏｒ，？ｇｐｐｎｅｓｒｏｃｅｅｓｏｆＩｒｋ－ｓｈｏｏｎＮｅｕｒａｍａｃｈｉＣ．ＰｄｉｎｇＥＥＥＷｏｐｌＮｅｔｗｏｒｋｓｆｏｒＳｉｎａｌＰｒｏｃｅｓｓｉｎｇ．［］ｇＮｅｗｏｒｋ－Ｙ１９９７２７６２８５．，，－ｎＭ１７ｏａｃｈｍｓＴＭａｋｉｎａｒｅｅｒｔｅｃｔｏｒａｃｈｎｅＬｅａｒｎｒａｃｔｃａ．Ｊｉ．ｇＬｇＳｃａｌＳｕｐｐｏＶＭｉｉｇＰｉｌ．［］Ａｄｖａｎｃｅｓ－ｉｎＫｅｒｎｅｌＭｅｔｈｏｄｓＳｕｐｏｒｔＶｅｃｔｏｒＬｅａｒｎｉｎＣａｍｂｒｉｄｅＭＡ：ＭＩＴＰｒｅｓｓ１９９９：ｐｇ，ｇ，，－１６９１８４．１８ｔｔＪｔｔｔｔｔｒ．Ｐｌａ．Ｓｅｑｕｅｎｔｉａｌｍｉｎｉｍａｌｏｐｉｍｉｚａｉｏｎ：ＡｆａｓａｌｇｏｒｉｈｍｆｏｒａｉｎｉｎｓｕｐｐｏｒｔｖｅｃｔｏｒＩｎＡｄｖｔ－ＣｔＶｔｔｔｓｍａｃｈｉｎｅｓ．ａｎｃｅｓｉｎｋｅｒｎｅｌＭｅｈｏｄｓＳｕｏｒｅｃｏｒｌｅａｒｎｉｎ．Ｍａｓｓａｃｈｕｓｅ：Ｔｈｅ［］ｐｐｇ－ＭＩＴＰｒｅｓｓ１９９９１８５２０８．，，１９－－２００４．，田英杰．数支持向量机Ｍ．北京：科学出版社．邓乃扬据挖掘中的新方法［］，２０ＤｅｂｎａＴａｋａｈ－－ｉｄｅａｈａｓｈＨＡｅｃｓｏｎａｓｅｄｏｎａｅ．ｔｈＲ．Ｎ．＆Ｔａｋｉ．ｄｉｉｂｏｎｅａｉｎｓｔｏｎｍｅｔｈｏｄ５，ｇｔｏｒｔｔ１６４－１ｆｏｒｍｕｌｔｉｃｌａｓｓｓｕｏｒｔｖｅｃｍａｃｈｉｎｅＪ．ＰａｅｒｎＡｎａｌＡｌｉｃ２００４７：７５．ｐｐ，ｐｐ［］，２１ＴａｎＹｕｈｕｉＪｉｎＢｏＺｈａｎａｎｉｎｅｔａｌ．Ｇｒａｎｕｌａｒｓｕｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｆｏｒｍｅｄｉｃａｌ．Ｙｇ，，ｇｑｇｐｐｂｉｎａｒｙｃｌａｓｓｉｆｉｃａｔｉｏｎｒｏｂｌｅｍｓＣ，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣＩＢＩＢ．ＰｉｓｃａｔａｗａＨＪ：ＩＥＥＥｐ［］ｙ，ａｉｏｎｌｎｅｌｌｅｎｃｅｏｃｅｔ２００４－ＣｏｍｐｕｔｔＩｔ：．ｉｇＳｉｙ，７３７８２２．ＬｉＸｕｅｈｕａＳｈｕＬａｎｎｅｃ．ＦｕｚｚｔｈｅｏｒａｓｅｄｓｕｏｒｔｖｅｃｔｏｒｍａｃｈｉｌａｓｓｉｆｉｅｒＣ．，ｙｙｂｐｐ［］ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓａｎｄＫｎｏｗｌｅｄｇｅＤ－ｉｓｃｏｖｅｒｙ．ＳｈａｎｄｏｎｇＣｈｉｎａｓ．ｎ．２００８：６００６０４，，［］？２３－－－ＤｉｎＬｉｕＸＺｈＬｉｗｅｎｉ．Ｓｈｉｆｅｉ，ｉａｏｌｉａｎａｎ．Ｒｅｓｅａｒｃｈｏｎｒａｎｋｎｓｕｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｇｇ，ｇｇｐｐａｎｄｒｏｓｅｃｔｓＣ．Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２９ｔｈＣｈｉｎｅｓｅＣｏｎｔｒｏｌＣｏｎｆｅｒｅｎｃｅ，Ｂｅｉｉｎ：ｓ．ｎ．２０１０ｐｐ［］ｇｊｇ［］？，２８２９－２８３１２４柴毅．基于ＳＶＭ的二叉树多类分类算法及其在故障诊断中的应用．马笑潇黄席樾，，－Ｊ，２１：７２２７６．？控制与决策００３，８３２［］（）２５．．吴洪兴适用于不平衡样本数据处理的支持向量机方法．电子学，彭宇，彭喜元２－００６３４１２：２３９５２３９８报．，，（）２６．ＮｇｕｙｅｎＴ．，ＮｇｏＡｎｈＶｉｅｎ，ＮｇｕｙｅｎＨ．Ｖ．ｅｔａｌ．ＰｒｏｂａｂｉｌｉｓｔｉｃｒａｎｋｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｄｖａｎｃｅｓｉｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ－ＢＮ２ｌｎ－ｍａｃｈｉｎｅＣ：ｎｅｒ２００９：４５，ＡＩＳ００．ＢｅｒｉＳｐｒｉ３３５３．［］ｇ，２７ＷＲＬＹ－ｖｅｌｕｎ．ＳｈｉＹＨＧａｏＹａｎＺｈａｎＷａｎＤ．Ｔｒａｎｓｄｕｃｔｉｖｅｃｏｓｔｓｅｎｓｔｃａｎｃｅｒ，ｉｉ，ｇ，ｇ，ｇｇ－ｉｍａｅｃｌａｓｓｉｆｉｃａｔｉｏｎＡ１２．ｇ．ｌＩｎｔｅｌ２０１３３８ｌ：６８ｐｐ，，（）２８．李磊黄水平．支持向量机原理及其在医学分类中的应用．徐州医学院公共卫生学院，（２２１００２）２００９．，－６４－ 东北大学硕士学位论文参考文献Ｘ－２９ｉＨｏｎＭｉｎ．Ｚｈａｎｇａｏｄａｎ，ＺＨＡＯｇｌｉｎｇ，Ｗａｎｇ．Ｔｈｅｓｔｒｕｃｔｕｒｅａｎｄａｐｐｌｉｃａｔｉｏｎｏｆａｎｅｗ－ｓｍｏｏｔｈｓｕｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ．ｒａｃｔｉｃｅａｎｄｔｈｅｏｒ２０１４４４５ｐｐＭａｔｈｅｍａｔｉｃｓｉｎ：１７９１８６．ｐｙ，，（）３０．田晓春．支持向量机在医学数据分类中的建模研宄．Ｄ．太原理工大学２０１５．［］Ａ－ＷＶ３１．ａｍｏｕｒａｋｉＤ．ＶａｓｓｉｓＰ．ＢｅｌｓｉｓＣＳｋｏｕｒｌａｓ．ｅＤｏｃｔｏｒ：ＡｅｂＢａｓｅｄＳｕｏｒｔｅｃｔｏｒ．Ｋｐ，，，ｐｐＭａｃｈｉｎｅｆｏｒＡｕｔｏｍａｔｉｃＭｅｄｉｃａｌＤｉａｇｎｏｓｉｓ．［Ｊ］ＳｏｃｉａｌａｎｄＢｅｈａｖｉｏｒａｌＳｃｉｅｎｃｅｓ．２０１３，７３，４６７－４７４．３２．ＣＯＲＴＥＳＣ，ＶＡＰＮＩＫＶＳｕｐｐｏｒｔｖｅｃｔｏｒｎｅｔｗｏｒｋｓ［Ｊ］．ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，１９９５，２０－３：２７３２９７．（）３３（２００３．张浩然．支持向量机算法及应用研宄Ｄ）．上海：上海交通大学．，３４．ＶａｐｎｉｋＶ．Ｎ．．ＳｔａｔｉｓｔｉｃａｌＬｅａｎｉｎｇＴｈｅｏｒｙ，许建华，张学工译．北京：电子工业出版社，２００４．３５－．ＶａｎＬｅｖｔＶｉｋＶＮ．ｉｎＥＬｅＣ．Ｙ．ＭｅａｓｕｒｉｎｈｅＣｄｉｍｅｎｓｉｏｎｏｆａｌｅａｒｎｉｎｍａｃｈｉｎｅ．Ｎｅｕｒａｌｐ，ｇｇｔ－Ｃｏｍｕｔａｉｏｎ１９９４６：８５１８７６ｐ，，Ｒｉ３６．Ｏ．ＭａｎａｓａｒｉａｎＤａｖｉｄ．Ｍｕｓｃａｎｔ．ＬａｒａｎｉａｎＳｕｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅＪＴｈｅ丄．ｇ，ｇｇｐｐ［］Ｊｏｕｒｎａｏｆ１－１７ｌＭａｃｈｉｎｅＬｅａｒｎｉｎＲｅｓｅａｒｃｈ２００１：６１７．ｇ，１，３７．ＳＥＷＥＬＬＭ．ＫｅｒｎｅｌｍｅｔｈｏｄｓＲ．Ｌｏｎｄｏｎ：ＤｅａｒｔｍｅｎｔｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅＵｎｉｖｅｒｓｉｔ］ｐ，［ｐｙｏｆＬｏｎｄｏｎ２００７．，３８．ＪｏａｃｈｉｍｓＴｅｘｔＣａｔｅｏｒｉｚａｔｉｏｎｗｉｔｈＳｕｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ．Ｌｅａｒｎｉｎｗｔ．ＴｇｐｐｇｉｈＭａｎｙＲｅｌｅｖａｎｔＦｅａｔｕｒｅｓ．Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ１０ｔｈＥｕｒｏｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎ１９９８．ｇｐｇ，－３９．ＪｏａｃｈｉｍｓＴＭａｋｉｎｇＬａｒｅＳｃａｌｅＳＶＭＬｅａｒｎｉｎＰｒａｃｔｉｃａｌＩｎ：Ｓｃｈｏｌｋｏ，，ｇｐｆＢＢｕｒｅｓＣＪＣｇｇＭｅ－ＳｍｏｌａＡｅｄｓ．ＡｄｖａｎｃｅｓｉｎＫｅｒｎｅｌｔｈｏｄｓＳｕｏｒｔＶｅｃｔｏｒＬｅａｒｎｉｎｇｅ．ＭＡ：ＭＩＴｐｐ，ＣａｍｂｒｉｄｇＰ－ｒｅｓｓ１９９８１６９１８４．，，４０Ｐｅｅｔｅｎｃｅｏｆａｍｏｄｉ．ＬａｕｒａａｌａｇｉａｎｄＭａｒｃｏＳｉａｎｄｒｏｎ．Ｏｎｈｅｃｏｎｖｅｒｇｆｉｅｄｖｅｒｓｉｏｎｏｆ－－ＳＶＭｌｉｈｔａｌｏｒｉｔｈｍ．ＯｔｉｍｉｚａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｏｆｔｗａｒｅ．２０２３：３１５３３２２００５．ｇｇｐ（），４１．赵丽，李天舒，刘玉蕾．基于支持向量机的机器学习研宄［Ｊ］．哈尔滨师范大学自然科－００８２４６５．学学报：６５９，２，（）ＶａＶ－４２．ｎｉｋ．ＴｈｅＮａｔｕｒｅｏｆＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎＴｈｅｏｒ．ＮｅｗＹｏｒｋＳｒｉｎｅｒＶｅｒｌａ５ｐｇｙ：ｐｇｇ１９９．，４３．Ｐｏｎｔｉｅｔａｌ．ｔｈｅｅｏｄｅｌｏｆＳｕｏｒｔＶｅｃｔｏｒａｃｈｎｅＲｅｒｅｓｓｉｏｎ．ａｅｒｌＭ，ＯｎＮｏｔＭｐｐＭｉｇＣＢＣＬＰｐ１６８ＡＩＭｅｍｏ１６５１，ＭＩＴＣａｍｂｒｉｄｅ，ＭＡ，Ｏｃｔ．１９９８．，，，ｇ４４－－．ａｎａｎｄｎ．ＬＩＢＶＭ：ａａｒｆｏｒｓｕｏｒｔｖｅｃｔｏｒｍａｃｈｓ２００５．ＣＣ．ＣｈｇＣ．Ｊ．ＬｉＳｌｉｂｒｙｐｐｉｎｅ．，４５．李建民张钹林福宗．序贯最小优化的改进算法软件学报．２００３ｖＯｌ．１４Ｎｏ．５．，，，－６５－ 东北大学硕士学位论文参考文献４６＇．ＫｅｅｒｔｈｉＳ．ＳｈｅｖａｄｅＳＢｈａｔｔｃｈａｒａｅｔａｌ．ＩｍｒｏｖｅｍｅｎｔｓｔｏＰｌａｔｔｓＳＭＯａｌｏｒｉｔｈｍｆｏｒ，５ｙｙ？ｐｇｌａｓｓｉｆｉｅｒｄｅｓｉｎ－ＳＶＭｃｇ．ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ２００１１３３：６３７６４９．，５（）４７．ＪｉａｎｍｉｎＬｉ，ＢｏＺｈａｎｇ，ＦｕｚｏｎｇＬｉｎ．ＡＮｅｗＣａｃｈｅＲｅｐｌａｃｅｍｅｎｔＡｌｇｏｒｉｔｈｍｉｎＳＭＯ．ＬｅｃｔｕｒｅｏｔｅｓｎｏｍｕｔｅｒｃｉｅｎｃｅＶｏｌ２３８ｔ－３５３ＮＩＣｐＳ；８３４２４８．ＨａｎｓＵｌｒｉｃｈＳｉｍｏｎ．Ｏｎｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｗｏｒｋｉｎｓｅｔｓｅｌｅｃｔｉｏｎ．ＩｎＰｒｏｃｅｅｄｉｎｓｏｆｔｈｅｇｇ１５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｌｇｏｒｉｔｈｍｉｃＬｅａｒｎｉｎＴｈｅｏｒＡＬＴ２００４２００４．ｇｙ（）？４９一Ｎｏ．张召国兴鲍钮．种改进的ＳＭＯ算法计算机科学．２００３ｖ０１．３０８．，，黄，，５０．ＫｌｅｉｎｅｎＪａｃｋＰ．Ｃ．Ｓｔａｔｉｓｔｉｃａｌｔｏｏｌｓｆｏｒｓｉｍｕｌａｔｉｏｎｒａｃｔｉｔｉｏｎｅｒｓ．ＪｏｕｒｎａｌｏｆＥｃｏｎｏｍｉｃｊ，ｐＬｉｔｅｒａｔｕｒｅ，ＮｅｗＹｏｒｋ：ＡｃａｄｅｍｉｃＰｒｅｓｓ，１９８７．５１ＹｕｅａｎＴｅｎｇＴｉｅＺｈａｎＧｅｎｅＥＭ－ｔｅｎｓｔ．ｙｇｇ．ｒａｌｉｚｅｄｒｅｃｏｒｕｃｔｉｏｎａｌｏｒｉｔｈｍｓｆｏｒｅｍｉｓｓｉｏｎ，ｙｐｇｏｍｏｒａｒａｎｓａｃｔｏｎｓ－ｔｇｐｈｙＪ．ＩＥＥＥＴｉｏｎＭｅｄｉｃａｌＩｍａｇｉｎ２０１２３１９：１７２４１７３３．［］ｇ，，（）－．ＪＬｔｅｃｏｎｖｅｒｅｎｃｅｏｆｍｕｔｃａｔｔｎｅｔｔ５２Ｃ．ｉｎＯｎｈｌｉｐｌｉｉｖｅｕｄａｅａｌｇｏｒｉｔｈｍｓｆｏｒｎｏｎａｉｖｅｍａｒｉｘ，ｇｐｇｆａｃｏｒｉｚａｉｏｎ－ｔｔ．ＩＥＥＥＴｒａｎｓ．ＮｅｕｒａｌＮｅｔｗｏｒｋｓｖｏｌ．１８．１５８９１５９６２００７．，，ｐｐ，５３ａｎｗｉｌｌｏｎｌｉｎｅａｒＰｒｏｒａｍｍｉｎ：ＡｆｅｄＡｒｏａｃｅｗＹｏｒ．Ｗ．Ｉ．ＺｇＵｎｉｉｈ．ＮｋＵＳＡ：，Ｎｇｇｐｐ，－ＨａＰｒｅｎｔｉｃｅｌｌ１９６９．，５４＊Ｋ．ＬａｎｅａｎｄＲ．ＣａｒｓｏｎＥＭｒｅｃｏｎｓｔｒｕｃｔｉｏｎａｌｏｒｉｔｈｍｓｆｏｒｅｍｉｓｓｏｎａｎｄｔｒａｎｓｍｓｓｏｎｉｉｉｇ，ｇｔｏｍｏｇｒａｐｈｙ，ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｓｓｉｓｔｅｄＴｏｍｏｇｒａｐｈｙＴｏｍｏｇｒａｐｈｙ，ｖｏｌ．８，Ｎｏ．２，３０６－．３１６１９８４．ｐｐ，５５Ａｃｔｔｉｌｉ．Ｙ．ＴｅｎＹ．ＺｈａｎＨ．ＬｉａｎｄＹ．Ｋａｎ．ｏｎｖｅｒｅｎｎｏｎｎｅａｉｖｅｄｅｃｏｎｖｏｌｕｔｏｎａｏｒｔｈｍｇ，，ｇｇｇｇｇｗｉｔｈＴｉｋｈｏｎｏｖｒｅｇｕｌａｒｉｚａｔｉｏｎ．ＩｎｖｅｒｓｅＰｒｏｂｌｅｍｓ，ｖｏｌ．３１？ｎｏ．３，ＡｒｔｉｃｌｅＩＤ０３５００２，２０１５．５６ＤｓＡｔｔｏＳ．ＹｕｅｙａｎｇＴｅｎｇＳｈｏｕｌｉａｎｉａｕＸｉａｏＬｉｈｅｎＸｕ．ｅｎｅｒａｌＳｏｌｕｉｏｎｕａｒｅｓ，ｇＱ，ｙ，ｇｇｑＰｒｏｂｌｅｍｓｗｉｔｈＢｏｘＣｏｎｓｔｒａｉｎｔｓａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎｓ．ＭａｔｈｅｍａｔｉｃａｌＰｒｏｂｌｅｍｓｉｎＥｎｇｉｎｅｅｒｉｎｇ．Ｖｏｌｕｍｅ２０１６ＡｒｔｉｃａｌＩＤ３９３４８２７．，５７．Ｄ．Ｒ．Ｍｕｓｉｃａｎｔ．ＮＤＣ：ＮｏｒｍａｌｌｙＤｉｓｔｒｉｂｕｔｅｄＣｌｕｓｔｅｒｅｄＤａｔａｓｅｔｓ．ｗｗｗ．ｃｓ．ｗｉｓｃ＿ｅｄｕ／ｄｍｉ／，１９９８．５８．ＬｉｃｈｍａｎＭ．ＵＣＩＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｐｏｓｉｔｏｒｙ，ａｒｃｈｉｖｅ．ｉｃｓ．ｕｃｉ．ｅｄｕ／ｍｌｊ２０１３．５９．ＪｅｆｆＳｃｈｌｉｍｍｅｒ．ＭｕｓｈｒｏｏｍｒｅｃｏｒｄｓｄｒａｗｎｆｒｏｍｔｈｅＡｕｄｕｂｏｎＳｏｃｉｅｔｙＦｉｅｌｄＧｕｉｄｅｔｏＮｏｒｔｈＡｍｅｒｉｃａｎＭｕｓｈｒｏｏｍｓ１９８１．Ｇ．Ｈ．ＬｉｎｃｏｆｆＮｅｗＹｏｒｋ：ＡｌｆｒｅｄＡ．Ｋｎｏｆ．（）５ｐ６０．Ｒ．ＫＢｏｃｋ．Ｍｅｔｈｏｄｓｆｏｒｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｅｖｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ：ａｃａｓｅｓｔｕｄｕｓｉｎｉｍａｅｓ，ｙｇｇ－ｔ－ｆｒｏｍａＣｈｅｒｅｎｋｏｖａｍｍａｒａｅｌｅｓｃｏｅ．Ｎｕｃｌ．Ｉｎｓｔｒ．Ｍｅｔｈ．Ａ２００４５１６：５１１５２８．ｇｙｐ，（）－６６－ 东北大学颂士学位论文致谢时光荏苒，岁月如梭。转眼间三年的硕士生活即将结束，在实验室的科研生活也。，将画上句号回首这两年的学习生活，我内心充满感激之情，感谢老师的谆谆教导感谢家人、同学的支持陪伴。，我要感谢张耀楠老师和滕月阳老师。在刚步入研究生阶段时首先，感谢张老师的悉心指导，确，感谢张老师的督促和引导，使我养成，让我走过迷茫期定未来方向了制定学习规划并严格执行的好习惯。另外，我还要深深的感谢滕月阳老师，两年来一一我点点取得的进步离不开您的指导。在刚接触课题研宄时，您要求我阅读精心挑，为我指点迷津选的参考文献，让我在不断的摸索试探中学到了，给我讲解算法思想，，知识，避免了很多弯路滕老师学识渊博思维。当我遇事迷茫时您耐心的解疑答惑里，，我不仅学到了专业知识同时也学到了严谨的学习活跃，刻苦钻研，从滕老师那态度！您们辛苦了！。在此，我谨向张耀楠老师和滕月阳老师表示真诚的谢意其次。，我要感谢我的家人你无微不至的关爱以及理解与支持是我不断前进的动力，。感谢父母为我无私地付出未来的日子我将不断努力奋斗，报答你们的养育之恩。再次，感谢，我要感谢陪伴我两年学习和生活的同学们你们在我遇到疑惑时的帮一助，，这段并肩奋斗的日子将铭，和我起讨论问题。虽然相处的时间短暂但我相信记一生。最后，感谢评审本论文的各位老师及专家，感谢他们认真的评阅和专业的意见。－６７－ 东北大学硕士学位论文致谢－６８－ 东北大学硕士学位论文研究生期间发表论文情况研究生期间发表论文情况１ｕｅａｎＴｅｎＬｉｕ－，ＹａｘｉｎＸｕａｎｘｉｅＢｉｎＬｕａｎｄＹａｎＫａｎ．ＳｕｒｒｏａｔｅｂａｓｅｄＳｕｏｒｔ．Ｙｙｇｇ，，ｇｇｐｐＶｅｃｔｏｒＭａｃｈｉｎｅＭｅｔｈｏｄ．［Ｊ］２０１６ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｏｄｅｌｉｎｇ，ＳｉｍｕｌａｔｉｏｎａｎｄＯｐｔｉｍｉｚａｔｉｏｎＴｅｃｈｎｏｌｏｇｉｅｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ（ＭＳＯＴＡ２０１６）［Ｃ］．Ｉｎｐｒｅｓｓｉｎｇ．２．ＹｕｅｙａｎｇＴｅｎｇ，Ｘｕａｎｘｉｅ，ＹａｘｉｎＬｉｕ，ＢｉｎＬｕａｎｄＹａｎＫａｎｇ．ＳｍｏｏｔｈｉｎｇＮｏｎｎｅｇａｔｉｖｅＭａｔｒｉｘＦａｃｔｏｒｉｚａｔｉｏｎｓａｎｄＩｔｓＡｌｉｃａｔｉｏｎｔｏＥｘｔｒａｃｔｉｏｎｏｆＴｉｍｅＡｃｔｉｖｉｔｙＣｕｒｖｅｉｎｐｐＤｙｎａｍｉｃＢｒａｉｎｉｎＰＥＴ．［ＪｏｕｍａｌｏｆＭｅｄｉｃａｌＩｍａｇｉｎｇａｎｄＨｅａｌｔｈｙＩｎｆｏｒｍａｔｉｃｓ］Ｉｎｒｅｓｓｎ．ｐｉｇ－６－９
此文档下载收益归作者所有
