基于样本迁移的多核学习算法研究

《基于样本迁移的多核学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中山大学硕士学位论文基于样本迁移的多核学习算法研究姓名：黄育钊申请学位级别：硕士专业：软件工程指导教师：任江涛20100603中山大学硕士研究生论文基予样本迁移的多核学习算法研究论文题目：基于样本迁移的多核学习算法研究专业：软件工程硕士生：黄育钊指导老师：任江涛摘要随着迁移学习与核方法在机器学习领域的广泛应用，其受到了研究人员越来越多的关注。随着核方法在机器学习中的引入并广泛的应用，其在线性和非线性间架设了一座桥梁；其次通过巧妙的引入核函数，避免了维数灾难，也避免增加计算复杂度。Lanckriet等人提出多核学习方法，其认为核函数可以表示为多个基础核函数的加权和。多核学习算法因

2、其具有更强的解析性，可以表示更为灵活的模型，由此多核学习在基因序列表示、图像识别等领域受到了越来越多的应用。如果当前的学习任务所掌握的训练样本非常有限时，传统的机器学习算法往往不能够训练一个足够好的模型。对此，迁移学习提出借用相关任务的知识来提高当前学习任务的性能。按照迁移的方法划分，迁移学习可以划分成四类：基于实例的迁移、特征表示迁移、参数迁移以及相关知识迁移。其中本文提出了两个基于样本迁移学习的多核学习方法，组合多核迁移学习算法(砸M慰丁)和递增多核迁移学习算法(七，MK乙丁)。本文所提出的样本迁移学习算法属于基于实例的迁移学习分类，算法基于如下的假设：在原特征空间上分布不

3、同的源领域数据与目标领域数据，经过核函数映射到高维特征空间，除了使得在原特征空间中线性不可分的点变得线性可分之外，在原特征空间中，源领域数据与目标领域数据不相邻的数据在高维特征空间中可能会变得相当的接近。那么通过将这些比较接近目标领域数据的源领域数据“借”给目标任务进行机器学习训练，其性能会得到进一步的提升。本文所提出算法可分为四个步骤，核学习步骤、映射步骤、知识迁移步骤和迭代步骤。其中在核学习步骤的主要任务为针对样本学习一个足够好的多核表示。映射步骤把源及目标领域中的样本映射到前一步骤所学习的高维特征空间中山大学硕士研究生论文基于样本迁移的多核学习算法研究中。在知识迁移步骤中

4、则在源领域中寻找最适合的数据点加入目标领域学习任务的训练集。最后在迭代步骤中根据需要对前三个步骤进行迭代。为了说明本文所提出算法的有效性，所提出两个算法在8个UCI数据集上的实验结果与随机采样算法、多核学习算法、SMO、NaiveBayes及IBK算法做比较，实验结果说明本文所提出的算法可以有效的提高当前学习任务的性能。为了说明所提出算法对参数的敏感性，本文还对提出的两个算法的敏感性进行分析，从实验结果得知算法是一种可行的迁移学习方法。关键字：机器学习、迁移学习、多核学习、支持向量机中山大学硕十研究生论文基于样本迁移的多核学习算法研究Title：Instance-basedTr

5、ansferMultipleKernelLearningAlgorithmMajor：SoftwareEngineeringName：YuzhaoHuangSupervisor：AssociateProf．JiangtaoRenAbstractAsmoreandmoreapplicationsoftransferlearningandkernelmethod，researcherspaymoreattemiontOthosefields．TheKernelmethodgivesthealgorithmtheabilitytoprocesslinearandnon-lineard

6、ata．Thekernelalgorithmbringinthekernelfunctions虹ll如lly，itavoidthecurseofdimensionandcomputationcomplexity．Lanckrieteta1．proposetheMukipleKernelsLearningmethodin2006；theyformulizethekernelfunctionastheweightedsumofsomebasickernelfunctions．Becauseweareinterestedinmoreflexiblemodelsmostofthetim

7、eandtheMultipleKernelsLearningalgorithmcanenhancetheinterpretabilityofthedecisionfunctionandimproveperformancesthanthesingleone，therearemoreandmoreapplicationsofMultipleKernelsLearninginbioinformationandimagerecognition．Ifthecurrentlearningtaskhasl