基于深度学习的多模态数据特征提取与选择方法研究

《基于深度学习的多模态数据特征提取与选择方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基基基于于于深深深度度度学学学习习习的的的多多多模模模态态态数数数据据据特特特征征征提提提取取取与与与选选选择择择方方方法法法研研研究究究FeatureExtractionandSelectionfromMulti-ModalityDataBasedonDeepLearning工程领域：计算机技术作者姓名：赵磊指导教师：胡清华教授企业导师：王建波高级工程师天津大学计算机科学与技术学院二零一五年十二月摘摘摘要要要随着互联网的发展以及科学技术的不断进步，在现实生活与科学研究中都积累了大量类型不同的数据。而且其中大部分数据都呈现为结构各异的非结构化数据，具有维度较高，表现形式迥异，

2、含有大量冗余信息等特点。而传统的机器学习方法又无法直接利用这些多模态非结构化数据，提出一种用于多模态数据的特征提取方法成为迫切需要。同时因为不同模态中包含着冗余信息甚至噪声信息，对于这一问题需要提出一种能够对不同数据模态的特征进行选择的方法，以便去除冗余与噪声信息。本文提出了一系列基于深度学习的多模态数据特征提取与特征选择方法。首先为了解决多模态环境下不同数据模态之间结构差异巨大，传统机器学习方法无法直接应用这一现实问题，本文引入了深度学习这一特征提取方法，将深度学习的思想应用于多模态特征提取。本文提出了一种多模态神经网络，对于每一种模态都有一个独立结构的多层子神经网络与之对

3、应，用于将不同模态下的特征转换为同模态特征。同时通过位于这些子神经网络之上的所有模态共有的一个网络层，在这些这些不同的模态之间建立联系，最终将多个异构模态转换成为同一模态并且从中提取出多种数据模态的融合特征。另一方面，不同的模态对于当前的学习任务作用也不尽相同，为了评价不同模态对于当前学习任务的重要程度，本文提出了一种结合了深度神经网络与稀疏表达学习的多模态特征评价与选择方法。首先使用多模态神经网络将不同模态的异构特征转换成为同模态下的同构特征，随后采用基于结构化稀的特征选择方法，得到不同模态的重要性权值，选择出对于当前学习任务最重要的特征，从而达到剔除冗余信息与噪声的作用。

4、一系列的实验结果均表明，本文提出的方法可以有效地对多模态特征进行特征提取，并且可以对不同模态进行正确的相关性评价，有效去除冗余与噪声信息。关关关键键键词词词：：：多模态数据，特征提取，特征学习，深度学习IABSTRACTWiththedevelopmentofInternetandtechnology,agreatamountofdatawithdif-ferentstructuresandrepresentationsarewidelyusedinpeople’sdailylifeandscientificresearches.Mostofthesedataarenon-st

5、ructuraldatawithdifferentstructures.Thedataisalwayshighdimensionalandtherepresentationvarieswithdifferentmodalities.What’smore,theremaybemuchredundantornoisyinformationamongthesemodalities.Themulti-modaldatacannotbeappliedtomanyconventionalmachinelearningalgorithmsdirectly.It’snecessaryofex

6、tractingnewfeaturefrommultiplemodalitiesandevaluatingthesemodalitiesinordertofiltertheredundanceandnoise.ThispaperproposedaseriesofalgorithmsforMulti-Modalitydatafeatureextrac-tionandselectionbasedonDeepLearning.Manyconventionalmethodscannotbeap-pliedtomulti-modaldatabecauseoftheheterogeneit

7、yamongdifferentmodalities.Thispaperpresentsanoveldeepmulti-modalnetworkandintroducesdeeplearningintomulti-modalityfeatureextraction.Everyindependentmodalityisallocatedauniquesub-networkandtransformedintoanewunifiedmodality.Withthesharedlayeronthetopofthes