稀疏正则化最小类散度半监督分类机.pdf

《稀疏正则化最小类散度半监督分类机.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第27卷第2期，2014年4月宁波大学学报(理工版)首届中国高校优秀科技期刊奖Vo1．27No．2，Apr．2014JOURNALOFNINGBOUNIVERSITY(NSEE)浙江省优秀科技期刊一等奖稀疏正则化最小类散度半监督分类机刘建华，吴冬燕(浙江工商职业技术学院电子与信息工程学院，浙江宁波315012)摘要：基于稀疏表示理论提出一种稀疏正则化最小类散度半监督分类机(SRMCV)，且对于模式分类问题，SRMCV通过引入稀疏Laplacian正则化项和类内散度信息以实现预测空间函数在全局稀疏表示结构下平滑变化，同时通过类内数据散度结构进一步优化决策函数的判别方

2、向，此方法能解决现有SSL方法对模型参数敏感和在噪声学习环境下缺乏鲁棒性等问题，其有效性已在实际数据集上通过实验验证．关键词：半监督学习：稀疏表-,一Tz；支持向量机；最小类散度：核技巧中图分类号：TP18l文献标志码：A文章编号：1001．5132(2014)02—0044．05基于流形学习理论，Belkin等⋯提出一种流形MR框架未能充分考虑全局数据的分布信息，近来正则化(MR)框架作为一种统一架构范式，MR能用皋军等_5]结合数据的全局散度信息和局部流形信于从无监督学习到半监督学习(SSL)，再到有监督息，提出一种全局和局部保持的半监督支持向量学习等几乎所有

3、机器学习范畴问题l2]．MR框架建机(GLSSVM)，其本质上是MCSVM和MR框架的立于某个再生核Hilbert空间(RKHS)[引，并由此提融合体．出一种新的用于正则化框架优化的Representor理尽管现有的大多数SSL方法均已成功应用于机论I1]．相较于仅关注函数空间中函数复杂度的传统器学习或模式识别的许多实际领域，但经研究发正则化理论，MR框架的最大贡献在于其基于流形现，上述SSL方法在具体应用中未能较好地解决假设理论(即高维输入数据位于某个本质低维流形模型参数选择、流形假设、鲁棒性等问题．空间)，在传统正则化框架中额外增加了一个流形笔者基于稀疏表示理

4、论【6J，从充分考虑类内数正则化惩罚项，并用该惩罚项来度量基于流形数据分布结构信息和模型鲁棒性的角度，提出一种据习得的预测函数的平滑性，该流形正则化项有有判别的稀疏正则化最小类散度半监督学习机效地增强了流形学习机的性能．Belkin等⋯基于(SRMCV)．与现有方法相比，SRMCV的主要创新MR框架提出了两种经典算法，包括Laplacian正则之处体现在：化最小平方分类(LapRLSC)和Laplacian支持向量(1)源于稀疏表示的本质鲁棒性和自然判别机(LapSVM)，这些算法均能有效用于有监督或半力_6J，所提方法针对噪声学习环境具有更强的鲁棒监督学习问题．

5、性和学习判别力．一直以来，在分类机中控制数据分布结构是(2)与现有基于稀疏表示的半监督学习方法一个重要的研究主题．线性判别分析(LDA)具备了不同，所提方法除了具有Out．of-Sample推理能力保持数据的全局判别信息及全局数据结构的能力，外，还充分考虑了数据类内分布结构信息，从而优但是它也存在小样本问题(sss)，而且投影之后的化学习机的判别方向，这将在一定程度上能提升结果也无法直接用于分类，正因为此，Zafeiriou等[4】所提方法的分类性能．通过最小化类内方差以便构建正则化框架．针对(3)通过稀疏表示来构建数据关系图模型，同收稿日期：2014一叭一15．

6、宁波大学学报(理工版)网址：http：／／journallg．nbu．edu．cn／基金项目：浙江省自然科学基金(LY13F020011)：教育部人文社会科学研究规划基金(13YJAZH084)．第一作者：刘建华(1979一)，男，江西九江人，硕-I：／讲师，主要研究方向：数据挖掘E-mail：ljh79123l@163．corn第2期刘建华，等：稀疏正则化最小类散度半监督分类机45时实现了近邻集构建和图边权值的计算，避免了+ll厂，(2)传统方法在模型参数选取上的敏感性．其中，lOSS(．)为损失函数(如Hing损失和平方损失)；Hk为由某个Mercer核k(如

7、线性核、Gaussian1SRMCV方法核等)诱导的再生核Hilbert~(RKHS)E；1IL厂1l：1．1问题描述则为稀疏正则项，定义为Il_厂Lf；模型参给定一个二类训练数据集={X1，X2，⋯，Xl，数，≥0．根据SVM的良好陛能表现，笔者拟X1+．，⋯，xt+}∈(d为数据维数)和标签集Y={1，2}，采用Hing损失函数，且综上定义，SRMCV目标函其中，前，个点构成数据集，，数据点蕾∈X，数可描述为：(1≤i≤，)标签为Yi∈Y，余下的个数据点构成数据集，数据点Xj∈(，+1≤J≤，+“=N)无厂j∈Hknt喜-1+w+工厂，f3)1标签．半监督学习

8、方法的主要