基于最优给分的稀疏无监督学习算法研究

《基于最优给分的稀疏无监督学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浙江大学计算机学院硕士学位论文基于最优给分的稀疏无监督学习算法研究姓名：顾晔申请学位级别：硕士专业：计算机应用技术指导教师：吕红兵20100127浙江大学硕士学位论文摘要主元分析作为一种多元统计分析方法，广泛应用于数据处理和简化中。这种方法试图通过对数据协方差矩阵进行对角化，从而找到数据中最主要的元素和结构，去除噪音和冗余，对原数据进行简化处理。然而，在多元线性分析方法中，当求解因变量对自变晕的回归时，得到的组合系数往往均不为零，因此这种回归模型的主要缺点是缺乏可解释性。主元分析中的主元作为从数据中提取出来的主要信息，是所有自变量的线性组合，因此也存在这样的缺

2、点。Tibshirani在1996年提出的lasso方法，通过对回归系数加上粤．范式约束，使得其中的某些系数自动退化为零，在提高了回归精度的同时也产生了可解释的模型。Zou等人在此基础之上，于2005年提出了elasticnet的方法，对回归系数同时加上Z。和粤，范式约束，解决了lasso方法中不能解P>n类型的数据等其他缺点。Jolliffe等人将对回归系数的约束延伸到主元分析巾，各自提出了得到稀疏负荷系数的方法。这些方法主要思想都是在回归模型或特征值分解中，对负荷系数加上粤．和(或)名，范式约束。本文从另一个角度，借鉴Zhang在09年提出的最优给分无豁督

3、学习框架的基础上，提出SPCA．OS稀疏主元分析方法，实验结果表明，和其他稀疏方法相比，在累计方差大致相同的情况下，sPCA．OS负荷系数更加稀疏。另外本文还提出了与主元分析相对应的稀疏主坐标分析(SPCO)，这种方法在降维的同时直接对降维坐标进行稀疏，区别于负荷系数的稀疏。实验结果表明，SPCO能够有效对降维坐标进行稀疏，并能解决如基因微阵列P》n情况下的数据。两种方法的有效性在数个UCI数据集上得到了验证。这两种方法的提出，为如何解决数据降维的同时，得到一种可解释模型提供了新的思路。关键词：稀疏主元分析，稀疏主坐标分析，无监督降维浙江大学硕士学位论文Abs

4、tractAsamultivariatestatisticalanalysismethod，principalcomponentanalysisiswidelyusedindataprocessandreduction．Thismethodtrytodiagonalizecovariancematrixoforiginaldata，expecttofindthemostimportantelementsandstructures，thengetridofnoisesandredundancy,SOtheoriginaldataCanbesimplified．H

5、owever,whentrytoregressionindependentvariablestothedependentvariablesinmultivariateanalysis，thecoefficientsareallnon-zero．Sothesemodelslackofinterpretation．Asthemostimportantinformationextractedfromoriginaldata，thePCsintheprincipalcomponentanalysisarethelinearcombinationofallindepen

6、dentvariables，alsosuffersfromthesamedefect．Tibshiranisuggeststhelassomethodin1996，triestoaddZlnormrestrictiontotheregressioncoefficients，SOsomeofthecoefficientsdegeneratetozeroautomatically．Thismethodenhancestotalaccuracywhilegenerateaninterpretablemodel．Onthebaseoflassomethod，Zouet

7、．alraisedelasticnetcriterion,add层land名2normrestrictionsimultaneously,solvesthedefectofP>ncasewhichlassoCannotdealwith．Jolliffeet．alextendedtheseideastotheprincipalcomponentanalysis，developedvariousmethodstogetsparseloadingsrespectively．Themainideasareassociate名land(or)Z2normtotheloa

8、dings．Thispaperexpl