面向海量跨媒体数据高维异构特征稀疏选择的方法

《面向海量跨媒体数据高维异构特征稀疏选择的方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、CADCG2012-CIDE2012面向海量跨媒体数据处理的稀疏表达理论和方法从稀疏性到结构性吴飞浙江大学计算机学院http://www.dcd.zju.edu.cn/members/wf.htmhttp://mypage.zju.edu.cn/wufei2012年7月18日Email:wufei@cs.zju.edu.cn提纲o从多媒体搜索到跨媒体搜索o高维特征选择：稀疏性到结构性o结构性学习HowtoretrievefavoritemultimediafromInternet:AGreatChallenge!数据!数据!!数据!!!4%ofAllPhotosEverTake

2、nAreOnFacebookn人类共拍了35000亿张照片n其中1400亿在Facebook上，占据4%nFacebook已经成为世界上最大的图像数据库HowtoretrievefavoritemultimediafromInternet:AGreatChallenge!数据!数据!!数据!!!1825年由法国人JosephFacebook和国会图书馆(LibraryofCongress)Nicephore所拍摄的人类第一以及手机照片分享应用Instagram中图像数的张照片（现藏于French对照图。Facebook仅占4%NationalLibrary）187年过去了…Ho

3、wtoretrievefavoritemultimediafromInternet:AGreatChallenge!大海捞针!大海捞针!!大海捞针!!!用户查询Google有100亿的图片，YouTube拥有1亿多的视频，Youku每天上传1万多视频。FromMultimediaRetrievaltoCross-mediaRetrieval多媒体检索:基于元数据的检索方式ManuallyputPlace:Berkeleymeta-datatoPhotographer:imageinordertoDate:retrieveitSize:…缺陷o图像精确的自动标注仍然困难重重o手工

4、标注费时费力o一幅画胜过千言字：图像语义难以用语言刻画FromMultimediaRetrievaltoCross-mediaRetrieval多媒体检索:基于元数据的检索方式用文字作画西班牙艺术家JuanOsborne用BarackObama在January2009toOctober2011之间演讲发言中单词所拼出的图像（左图：拼出图像；右图：所用单词）BackgroundandMotivation:Background多媒体检索:基于内容（底层特征）或样例检索皮之不存，毛之焉附？水无常形，随物附形所有语义就在像素中包含！Findsimilarimageswithusers’

5、queryimageH.J.Zhang,D.Zhong,SchemaforVisualFeature-BasedImageRetrieval,ProceedingofSPIE,StorageandRetrievalfor检索样例相似图像ImageandVideoDatabase,36-46,1995缺陷o底层特征与高层语义之间存在“语义鸿沟”n毛与物，形与物是一样的么？o图像相似:n颜色相似？纹理相似？形状相似？或者包含相似对象？HowtoretrievefavoritemultimediafromInternet:AGreatChallenge!…ImageDatabaseR

6、ankedimagesYimengZhang,et.al.,ImageRetrievalwithGeometry-PreservingVisualPhrases,CVPR2011HowtoretrievefavoritemultimediafromInternet:AGreatChallenge!语义鸿沟!语义鸿沟!!语义鸿沟!!!GIST特征维度：9601000HoG特征维度：33601000像素特征维度1000*1000=100万树木、森林、草地100万个像素点秋天颜色直方图特征维度：768HowHowtoretrievefavoritemultimediafromInte

7、rnet:AGreatChallenge!语义鸿沟!语义鸿沟!!语义鸿沟!!!计算机难以看图说话：底层视觉特征与高层语义之间难以建立准确联系特征相似特征不同语义不同语义相似HowtoretrievefavoritemultimediafromInternet:AGreatChallenge!语义鸿沟!语义鸿沟!!语义鸿沟!!!通过无监督学习建立底层视觉特征与高层语义之间联系Google和Stanford的研究人员使用16,000计算机，通过无监督深度学习机制，组建了一个包含10亿个连接的神经