高维重叠分布下的迁移学习研究

《高维重叠分布下的迁移学习研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中山大学硕士学位论文高维重叠分布下的迁移学习研究姓名：谢思泓申请学位级别：硕士专业：软件工程指导教师：任江涛20100603高维重叠分布下的迁移学习研究专业：软件工程硕士生：谢思泓指导老师：任江涛副教授摘要由于多种原因，从一个领域迁移知识到另一个领域是富有挑战性的。由于训练数据和测试数据的条件分布和边缘分布是不一样的，直接将一个领域的模型应用到不同的领域通常会导致低的准确性。对于具有大量特征的许多应用，如文本文件，序列数据，医疗数据，不同分辨率的图像数据等，两个领域通常不包含完全相同的特征，如果简单地将两个领域的特征集合合并，那么将引入大量缺失值。换句话说，它的边缘分布最多是重

2、叠。同时，这些问题通常是高维的，拥有数千个特征。因此，高维度加上缺失值使得难以对两个领域间的条件概率的关系进行衡量和建模。为了解决这些问题，我们提出了一个框架，首先通过填补非重叠特征上的缺失值，使得两个领域的边缘分布更接近。接着，将扩展后的数据投影到隐空间上，在该空间上条件和边缘分布是相似的。该方法在映射后的数据上寻找领域间可迁移的共同的子结构并迁移这些概念。预测时，无标签实例被看作是“查询"，从out．domain中检索出最接近的实例，最后通过这些实例的加权平均来得到分类结果。我们正式证明了填补缺失值和隐语义分析可以使得两个相关领域的分布更容易衡量；同时我们证明了采用最近邻方

3、法、利用out-domain实例进行分类的误差上界。关键词：机器学习、领域迁移、回归、维度降解TransferLq"underHighDimensionalandnsterearnlngUnerDImenalanOverlappingDistributionsMajor：SoftwareEngineeringName：SihongXieSupervisor：JiangtaoRenABSTRACTTransferringknowledgefromonedomaintoanotherischallengingduetoanumberofreasons．Sincebothcondit

4、ionalandmarginaldistributionofthetrainingdataandtestdataarenon-identical．modeltrainedinonedomain,whendirectlyappliedtoadifferentdomain，isusuallylowinaccuracy．Formanyapplicationswithlargefeaturesets，suchastextdocument,sequencedata,medicaldata,imagedataofdifferentresolutions，etc．twodomainsusua

5、llydonotcontainexactlythesamefeatures，thusintroducinglargenumbersof“missingvalues’’whenconsideredovertheunionoffeaturesfrombothdomains．Inotherwords．itsmarginaldistributionsareatmostoverlapping．Inthesametime，theseproblemsareusuallyhighdimensional，suchas，severalthousandsoffeatures．Thus，thecomb

6、inationofhighdimensionalityandmissingvaluesmaketherelationshipinconditionalprobabilitiesbetweentwodomainshardtomeasureandmodel．Toaddressthesechallenges．weproposeaframeworkthatfirstbringsthemarginaldistributionsoftwodomainscloserby“fillingup”thosemissingvaluesofdisjointfeatures．Afterwards，itl

7、ooksforthosecomparablesub-structuresinthe“latent-space'’asmappedfromtheexpandedfeaturevector,wherebothmarginalandconditionaldistributionaresimilar．Withthesesub-structuresinlatentspace，theproposedapproachthenfindcommonconceptsthataretransferableacro