基于流形学习的降维算法

《基于流形学习的降维算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ADisertationSubmittedtoZhejiangUniversityfortheDegreofDoctorofPhilosophy⑧TITLE：ReseaPchonD／menSlona1RedUctionbasedonMan／foldLearningAuthor：GuanhongYaoSupervisor：Prof．HujunBaoProf．XiaofeiHeSubject：ComputerSclenceandTechnologyCollege：ComputerSclenceandTechnologySubmitted．Date：Sept．28th-，201

2、3浙江大学博士毕业论文致谢首先，我要特别感谢导师鲍虎军教授。鲍老师对科研的实事求是、对工作的一丝不苟、对学生的无微不至，都给我留下了非常深刻的印象。鲍老师随和、谦逊、幽默，高瞻远瞩的科研意识和丰富的研究经验让人钦佩使我受益匪浅。鲍老师给予我们宽松愉快的研究环境、众多的锻炼机会和广阔的研究平台，是良师更是益友。感谢何晓飞老师、蔡登老师，他们严谨的治学态度、敏锐的学术眼光、认真负责的做事方法、以及强烈的责任感都给予了我深刻的影响。博士期间的研究工作是在何老师和蔡老师的悉心指导和关怀下完成的。感激之情，无以言表。还要感谢的是实验室的各位兄弟姐妹们，你们让实验室的学术研究生活变得

3、丰富多彩，你们不仅为我的科研和生活等各方面带来了无尽的帮助和支持，同时你们所取得的成就也让我为和你们在同一个实验室而感到骄傲。感谢目前实验室的李成、王华、仝子飞、张德兵、胡尧、张强、张卫忠、杨根茂、金仲明、万波、万信逸、洪斌、魏龙、赵无暇、靳一凡、祝宇、俞凌、章鑫、林荣华、邹楚航、彭媛媛、孙方圆等实验室同胞，在我写论文时期给我带来很多快乐，还有非常感谢已经毕业的张弛原、林悦、林彬彬、陈琰、张节弥、薛维等同学。和你们在一起度过这些岁月很开心，谢谢你们!感谢在实验室里认识的其他朋友和前辈：董子龙、关尧、姜翰青、赵艳丹、曾鸣、赵富凯、章国峰等，谢谢你们的榜样以及给予的帮助!以及

4、一起并肩作战的朱珠、袁莹，还有其他关心我同学和朋友们!最后感谢老爸老妈一直以来的关爱和包容!姚冠红2013．8．】8浙江大学博士毕业论文摘要在面对高维度数据的实际问题中，为了解决”维度诅咒”问题，提高数据分析精度，我们需要找到数据有效的低维表达。通过对数据几何分布的分析，基于流行学习的降维在实际应用中取得了成功，有效的避免了高维数据所带来的问题，并使得流形学习在机器学习和相关领域迅速发展。然而，流形算法领域仍然存在不少问题等待解决。例如，大多数流形学习算法的映射和后续的学习模型没有直接联系，在降维中，并不知道映射会如何影响后续模型的学习效果。其次，许多线性流形降维算法在处

5、理非线性的数据时会失去效果。除了以上提到的两点，在利用流形学习进行降维的过程中，计算复杂度往往成为实际应用的瓶颈。论文围绕基于流形学习的降维展开，并尝试解决以上提出的流形算法中存在的问题。主要工作包括以下几个方面：1．提出直接提高模型学习效果的基于流形的特征选择算法。通过结合流形学习以及最优实验设计理论，我们提出的特征选择方法能选择出有利于提高模型学习效果的特征点。该算法假设数据点分布在潜在流形之上，考虑原始数据包含的几何分布和区分性信息，通过求解使模型预测值最大方差最小化的优化问题，选择数据点。由于该问题最后的求解属于NP问题，我们还介绍了有效的贪婪算法求解该优化问题。

6、在此之前也有其他基于最优实验设计和半正则化流形算法的特征选择算法，一般是通过最小化预测模型中参数的协方差来选取特征的。和他们相比，我们的算法直接对目标函数的预测值最大方差的上界进行最小化，对学习效果的影响更为直接。在数据集上用该算法选择特征之后的聚类实验证明了算法的有效性。2．为了解决基于流形的非负矩阵分解计算复杂度过高的问题，本文提出了新的加速算法。和原始的非负矩阵分解算法相比，保局非负矩阵分解算法(LocalityPreservingNon—negativeMatrixFactorization，LPNMF)由于利用了数据的流形几何信息能够更好的揭示数据主题，具有更强

7、的数据表达能力。然而，LPNMF的计算复杂度为o(n3)，n为数据点个数，当数据规模增加，计II浙江大学博士毕业论文摘要算时间将成倍增加。受半监督式学习规模化以及大规模谱聚的启发，我们提出了LPNMF的加速算法。给定大小为n的数据点，我们选择P(P《n)个锚点数据，并用选择的锚点数据的稀疏表达来表示原始大数据。同时，通过新的表达，在计算迭代过程中，使用Woodbury转化公式减少矩阵计算的时间。从而有效的减少了LPNMF的整体计算时间。实验证明，在大型的文本数据上新的加速算法降维后和原来的聚类效果一样，所用计算时间比原算法快2