基于特征融合的视觉实例检索研究

《基于特征融合的视觉实例检索研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、财名謂我衫＿硕士学位论文＿參圓基于特征融合的视觉实例检索研究作者姓名薛文卓＾１指导教师姓名、职称崔江涛教授申请学位类别工学硕士西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研宄工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢；也不包含中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研宄成果一为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材

2、料。与我同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一学位论文若有不实之处切法律责任。，本人承担：本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权属于西安电子科技大学。学校有权保留送交论文？、学校可以公布论文的全部或部分内容，允许采用影的复印件，允许查阅借阅论文，印、缩印或其它复制手段保存论文。同时本人保证，结合学位论文研

3、究成果完成的论文、发明专利等成果，署名单位为西安电子科技大学。沙：：导师签名／本人签名．輕—贫、。、。（义６，ｕ日期１＾：训日期：学校代码10701学号1503121480分类号TP39密级公开西安电子科技大学硕士学位论文基于特征融合的视觉实例检索研究作者姓名：薛文卓一级学科：计算机科学与技术二级学科：计算机系统结构学位类别：工学硕士指导教师姓名、职称：崔江涛教授学院：计算机学院提交日期：2018年6月FeatureFusion-basedVisualInstan

4、ceRetrievalResearchAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinComputerSystemArchitectureByWenzhuoXueSupervisor:CuiJiangtaoTitle:ProfessorJune2018摘要摘要海量网页和移动图像搜索等新兴应用的不断涌现和发展，使得基于视觉特征的大规模图像检索成为一个极其重要的研

5、究课题。高质量的特征表示是决定视觉检索精度和效率的核心。现有的视觉检索方法大体分为：基于视觉词汇技术映射局部特征为全局表示；基于深度训练方法学习表征性好的全局特征。上述两类方法在图像识别和分类上效果显著，但是在视觉检索，尤其是视觉实例检索任务中的精度受限于多种因素。一方面，传统的底层特征虽具有较好的几何不变性，但普遍存在空间几何信息缺失和高层语义内容表达不够充分等问题；另一方面，近年来主流的深度语义特征通过学习预标记的图像数据集虽然能够携带丰富的高层信息，但往往缺乏底层内容、一定的几何不变性和通

6、用性等；此外，由于视觉词汇构建慢、深度模型训练难且特征维度较高等问题，检索效率也会大大降低。为解决上述问题，本文提出基于特征融合的视觉实例检索方案，主要贡献如下：1）设计了一种能同时包含图像底层信息和高层语义的融合特征，以提高其区分力和鲁棒性；2）基于乘积量化方法对融合特征进行编码，构建了多倒排索引结构以减小计算开销；3）研究了利用局部敏感哈希函数映射融合特征为哈希编码的方法进一步优化索引结构。为丰富视觉特征的信息，本文采用非监督方式提取传统的底层特征与深度语义特征并进行融合，共涵盖图像四个层次

7、的内容：颜色层——基于HSV空间的颜色特征；点层——基于RootSIFT的局部聚合描述符；场景层——基于GoogLeNet模型的全局池化特征；目标层——基于VGG模型改进的区域最大池化特征。通过预先计算图像库单一特征的相似度，为对应特征分配不同权重，进而提出一种串连加权融合的特征（CCRC:ComplementaryCNN,RootSIFTandCN）来进一步提升检索精度。为加快实例检索的速度，本文设计了一种基于多倒排索引结构有效组织CCRC特征。首先将融合特征原始空间划分为四个子空间并分别进行

8、粗聚类，以构建多索引。之后再次划分特征空间为低维子空间的笛卡尔积进行乘积量化，将得到的乘积量化编码填充索引列表，并分别构建子码书和距离表，以将两个原始高维特征间复杂的欧氏距离计算转换为紧凑的乘积量化编码间简单快速的查找距离表求和操作。在进行视觉实例检索时，首先在多倒排索引上进行一轮初步匹配得到粗候选集，然后对融合特征进行重排序得到最终检索结果。文章进一步对多倒排索引结构进行优化，利用局部敏感哈希函数映射哈希编码替代乘积量化编码，直接计算哈希编码之间的Jaccard距离，避免了复杂的预处理过程。在