基于机器学习的图像情感语义理解研究

《基于机器学习的图像情感语义理解研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西北工业大学博士学位论文（学位研究生）题目：基于机器学习的图像情感语义理解研究作者：李祖贺学科专业：信息与通信工程指导教师：樊养余教授2017年7月ResearchonEmotionalSemantics-OrientedImageUnderstandingBasedonMachineLearningByLiZu-heUndertheSupervisionofProfessorFanYang-yuADissertationSubmittedtoNorthwesternPolytechnicalUniversityInpartialfulfillmentoftherequireme

2、ntForthedegreeofDoctorofInformationandCommunicationEngineeringXi’anP.R.ChinaJuly2017摘要摘要伴随着视觉媒体的兴起和读图时代的来临，图像成为一种重要的信息交流载体。图像情感语义理解研究旨在分析和挖掘图像内容中所蕴含的情感含义，由于情感信息对人类感知、推理和创造等诸多行为均产生特别关键的影响，故而在目前的视觉化时代开展针对图像内容的情感语义分析研究具有重要意义。机器学习是一种有效的图像情感语义分析手段，但是语义鸿沟问题和情感的主观性给基于机器学习的图像情感语义理解研究带来困难，而且现有研究往往忽略了抽

3、象图像和具象图像情感语义产生机理的差异。针对这些问题，本文一方面采用建立图像特征和情感含义之间直接映射的方法开展针对抽象图像的情感语义理解研究，在对一种新颖的特征提取技术——无监督特征学习进行研究的基础上，结合迁移学习方法将其应用于抽象图像情感语义分析；另一方面，本文以社交网络中用户自由分享的具象图像为研究对象，基于中间本体描述方法开展面向图像数据的情感倾向预测研究。本文取得的主要创新性成果包括：（1）发现了利用卷积稀疏自动编码器进行图像分类时，在基于稀疏自动编码器的无监督特征学习过程中所采用的白化预处理技术和在基于卷积网络的特征提取过程中所采用的池化技术之间的关系：在进行白化预

4、处理时采用平均池化会取得更好的图像分类性能，而在不进行白化预处理时采用最大池化会取得更好的图像分类性能。提出了一种基于卷积稀疏自动编码器在YUV空间进行无监督特征学习和图像分类的方案，针对YUV空间中亮度分量和色度分量相互独立的特性，采用一种将亮度和色度分量分离开来的方法进行白化预处理。实验表明只要对亮度数据进行合适白化，YUV空间中的无监督特征学习能获得不亚于RGB空间的图像分类效果。（2）提出了一种基于卷积稀疏自动编码器和领域适应进行小样本量抽象绘画情感分类的方法，先从大型无标记数据库中学习特征，然后借助知识迁移在小样本量抽象绘画图像数据库上提取特征并进行情感分类。实验表明基

5、于稀疏自动编码器的无监督特征学习技术不仅能被应用于认知层面上的图像分类，而且能被应用于情感层面上的图像辨识。在目标领域样本数量有限的前提下，采用知识迁移和领域适应在目标领域外的大量数据上进行特征学习可以获得更好的图像分类性能。（3）提出了一种基于跨领域卷积稀疏自动编码器在情感层面上对织物图像进行分类的方案，并且提出了一种基于相关分析的特征选择方法对稀疏自动编码器所学习到的特征进行筛选，以此来减少基于卷积网络从图像中提取到的特征维数。实验结果表明了基于稀疏自动编码器的无监督特征学习技术在织物图像情感分类中的适用性，而且合适的特征选择可以在轻微提升图像分类性能的前提下大大降低基于卷积

6、网络进行特征提I西北工业大学博士学位论文取的时间消耗。（4）提出了一种在现有视觉情感本体（VisualSentimentOntology，VSO）和SentiBank概念检测器的基础上以文本情感信息为辅助进行图像情感倾向预测的方法，以便在基于中间本体描述的社交媒体图像情感分析中对本体概念词汇的情感信息加以利用。并且采用正则化逻辑回归模型改善以本体概念响应为中间特征的图像情感预测系统性能，还采用后融合方式将利用文本情感信息的方法与基于中间本体的传统方法进行联合。实验表明对本体概念文本情感信息进行利用是可行的，而且后融合方法甚至获得了与深度学习方法可以相比拟的预测性能。关键词：图像理

7、解，情感语义，无监督特征学习，深度学习，迁移学习，稀疏自动编码器，卷积神经网络IIAbstractAbstractWiththeriseofvisualmediaandtheadventoftheeraofreadingpictures,imageshavebecomeanimportanttoolforinformationexchange.Emotion-basedimageunderstandingaimstoanalyzeandexcavatetheemotionalse