资源描述：
《多模态融合的家庭音乐相册自动生成》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、南京信息工程大学学报(自然科学版)2017,06(9),661-668DOI:10.13878/j.cnki.jnuist.2017.06.011多模态融合的家庭音乐相册自动生成刘君芳邵曦南京邮电大学通信与信息工程学院导出/参考文献已关注关注X关注成功！加关注后您将方便地在我的关注中得到本文献的被引频次变化的通知！分享·新浪微博·腾讯微博·人人网·开心网·豆瓣网·网易微博收藏打印摘 要：随着大数据以及社交网络的发展,电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行,电子相册的数量得到了爆炸增长,而如何增强相册的用户体验变得
2、尤为重要.具有某种主题的相册一般都带有一定的情感信息,因此,本文研究了基于多模态融合的家庭音乐相册自动生成问题,旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感,本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征,然后在图像与音乐之间异构和跨模态的特征融合问题上,采用局部保持投影(LPP)方法,将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用LPP方法在查准率方面高于纯CCA方法;在主观评测中LPP获得72.06%的满意度,与人工推荐的
3、评价结果(78.09%)比较接近,明显高于随机推荐和CCA方法的满意度.关键词：音乐相册;情感模型;句子级别;多模态融合;隐式空间;作者简介：刘君芳,女,硕士生,研究方向为多媒体信息系统与多媒体通信.ljf@163.com作者简介：邵曦(通信作者),男,博士,副教授,主要研究方向为多媒体信息系统与多媒体通信.shaoxi@njupt.edu.cn收稿日期：2017-08-28基金：国家自然科学基金()Automaticgenerationoffamilymusicalbumbasedonmulti-modalfusionLIUJunfangSHAOXiColleg
4、eofTelecommunicationsandInformationEngineering,NanjingUniversityofPostsandTelecommunications;Abstract：Withthedevelopmentofthebigdataandsocialnetwork,electronicalbumsandonlineserviceshavebecomebasicusesofcomputersandtheInternet.Especiallyinrecentyears,thenumberofelectronicalbumshasexpl
5、odedwiththepopularityofsocialnetwork.Sohowtoimprovetheuserexperienceofmusicalbumbecomesparticularlyimportant.Aphotoalbumwithcertaintopicusuallyhassomeemotioninformation.Thispaperstudiestheproblemofautomaticgenerationoffamilymusicalbumbasedonmulti-modalfusion,sothatuserscanenjoymusicwh
6、enbrowsingalbumphotoswithmatchedemotion.Accordingtotheemotionsinmusicandimages,therepresentativesentence-levelfeaturesbothformusicandimagesareselected,andtheLPP(LocalityPreservingProjection)isemployedtostudytherelevancebetweenthemusicandtheimagesinthesameemotion.Theimagefeatureandthem
7、usicfeaturearemappedintothelatentspacewithmoreemotionalclassificationabilitytorealizetheautomaticgenerationofmusicalbum.Intheexperiments,theobjectiveevaluationresultshowsthattheLPPmethodishigherthanpureCCA(CanonicalCorrelationAnalysis)methodinprecision;andinthesubjectiveevaluation,the
8、propo
