一种基于深度神经网络的迁移学习方法.pdf

《一种基于深度神经网络的迁移学习方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文一种基于深度神经网络的迁移学习方法Adeepneuralnetworkbasedtransferlearningmethod张智哈尔滨工业大学2018年6月国内图书分类号：TP391.4学校代码：10213国际图书分类号：681.3密级：公开工程硕士学位论文一种基于深度神经网络的迁移学习方法硕士研究生：张智导师：唐降龙教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.4U.D.C:681.3DissertationfortheMasterDegree

2、inEngineeringAdeepneuralnetworkbasedtransferlearningmethodCandidate：ZhangZhiSupervisor：Prof.TangXianglongAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2018Degree-Conferring-Institution：HarbinInsti

3、tuteofTechnology哈尔滨工业大学工程硕士学位论文摘要大部分机器学习算法都假设训练集和测试集处于同一特征空间并且具有一样的分布。然而在很多现实应用中，这种假设可能是不成立的。例如，假如要对某个域A内的数据进行分类任务，但该域内的数据量不够多，与此同时，在另一个相似的域B内拥有足够的数据训练模型，但是,域B内的数据有可能与域A内的数据处于不同的特征空间或者不服从同一分布。这时，如果成功进行知识迁移不仅可以极大地提升机器学习的性能而且还能减少人工标注数据的成本。最近这些年，迁移学习越来越吸引研究者的目光。深度学习是一种可以对数据的内在特征进行学习的方法，它通过模拟人

4、脑构造多层神经网络对数据进行解释，例如图像，声音和文本等。由于AlexNet在2012年的ImageNet大赛上获得冠军，深度学习在计算机视觉的研究领域获得了巨大成功，受到众多研究者的关注。但是深度学习需要大量的训练数据，获得这些训练数据将会耗费大量的人力物力，如果要在一个新的相似域内训练新的模型，丢弃这些大量的，不同分布下的训练数据将是非常浪费的。因此，把深度学习与迁移学习技术结合起来将能在提高模型精确度的同时节约训练成本。本文将主要介绍两种深度迁移学习图像分类方法，具体贡献包括以下两点：（1）提出了一种基于VGG13的深度适配网络。这种网络将两个域内的数据首先利用卷积层

5、提取特征，然后将网络的某些层的输出映射到某个特征空间内，通过减少分类器在源域上的分类错误率和源域与目标域的数据在该特征空间内的距离达到在目标域提高分类正确率的目的。（2）提出一种基于胶囊网络的深度对抗网络。生成对抗网络的提出在深度学习域带来了一股新的潮流。深度网络的卷积层可以提取数据的特征，之后的全连接层对这些特征进行分类，深度对抗网络利用生成对抗网络的思想，I哈尔滨工业大学工程硕士学位论文在卷积层之后添加一个域分类器。假如域分类器能够对数据的域进行正确分类，那么只需要训练卷积层使其提取的特征无法被域分类器正确分类，就能得到域间不变的特征进行分类。胶囊网络是最近提出的一种卷

6、积神经网络的改进，本文将提出一种利用对抗网络与胶囊网络结合进行迁移学习的方法。关键词：迁移学习；深度学习；生成对抗网络；特征空间II哈尔滨工业大学工程硕士学位论文AbstractAnimportanthypothesisformanymachinelearninganddataminingalgorithmsisthattrainingdataandtestdataareinthesamefeaturespaceandhavethesamedistribution.However,inmanyreal-worldapplications,thisassumptionmayn

7、otbetrue.Forexample,ifyouwanttoclassifydatainacertaindomainA,buttheamountofdatainthedomainisnotenough,atthesametime,thereisenoughdatainanothersimilardomainBtotrainthemodel,butthedataindomainBmaybeinadifferentfeaturespaceordisobeythesamedistributionwiththedatai