基于内容主观映射下自动标注语义图像检索的研究

《基于内容主观映射下自动标注语义图像检索的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

分类号密级艺11UDC学位论文基于内容主观映射下自动标注语义的图像检索研究(题名和副题名)沈丹(作者姓名)指导教师姓名范明钮教授电子科技大学成都(职务、职称、学位、单位名称及地址)申请专业学位级别巫复专业名称软件工程11论文提交日期2008.4论文答辩日期2008.5学位授予单位和一旧期电子科技大学答辩委员会主席评阅人2005年丁月J日注1:注明《国际十进分类法UDC》的类号。 摘要摘要图像作为一种重要的数据信息类型，其应用受到了越来越多的关注。面对日益庞大和丰富的图像资源，如何快速有效地实现图像检索，己成为目前迫切需要解决的问题。传统的基于内容的图片检索过程中需要进行大量复杂的计算，且不能准确反映用户搜索的主观愿望。基于语义特征的技术虽然能解决该问题，但很难有效提取语义特征。因此，本文在现有的一些技术手段之上，对基于内容主观映射下自动标注语义的图像检索方式进行了研究，将低层视觉特征和高层语义特征相结合，利用主体和环境相似性的分类重新组织图片资源，且通过自动标注语义的方式解决图像语义赋予等有关问题，并在具体实验中实现和证明论本文所研究的检索方式对检索性能的改善。本文所做工作如下:首先研究了图像的低层视觉特征，主要包括颜色、纹理和形状三个方面。分别从各特征所涉及的相关理论的分析入手，讨论了这些特征的提取算法及相似性度量。同时，为了验证文中所采用提取算法的有效性，基于每一个特征的图像检索都通过具体实验对相应过程进行实现，并对所得的实验结果及相关数据用图和表相结合的方式进行了直观的说明和分析。在图像视觉特征有效提取的基础之上，接着对语义的自动标注进行了讨论。在本文中，该部分的实现包括了三个具体的环节:主观映射、自动标注语义和相关反馈。本文所讨论的主观映射，其作为对图像的初始语义赋予，为自动标注语义提供了学习的训练集及实现的前提条件;在自动标注语义中，又分为两种具体的情况，一是新加入的图像进行处理后，对训练集中相似度最高的图像信息进行语义的学习并自动完成语义标注;二是用户反馈的信息对初始语义修正的标注，通过这样的方式，使语义的标注逐渐准确;相关反馈通过用户的参与来改善语义标注的效果，使其中的语义能更贴近用户对图像的理解，并达到有效提高检索性能的最终目的。论文最后对文中研究的检索方式进行了总体的实验设计和实现，包括实验环境，整体结构和实现流程等方面，并通过多种情况下所得的实验结果分析了基于该方式检索的具体效果和性能的改善。 摘要关键词:图像检索，视觉特征，主观映射，语义标注，相关反馈 AbstraetAbstraCtAsakindof加portantdatainformation，theaPPlieationofimage15Paidmoreandmoreatention.Howtosearchthe加agefastandeffectivelyhasbecomeanurgentproblelnwhichnedstobesolvedatpresentwithl出名erandmuchabundant而agereSOU丁Ce.There15agreatdealofcomPlexealculationintheProeessoftraditionaicontent七ased如ageretrieval，inwhichthesubjectiveretrievaldesireofuserscannotberefleetedexaedy.However，theProblemeanbesolvedbysemantie丘级权叮e一basedteelmology.Buttheabstractingofthesemantie15stillanunsolveddifficultquestiontillnow.Hene气onthebasisofsomeexistingmech面sms，anovelmechhasmnamed“theautomaticsernanticanotation加ageretrievalbas比onconientsubjectivemaPPi喀，isProPosedinthisPaper.ItcombinesthelowlevelvisualfeatureandhighIevelsetnantiefeature，池dmakesuseofdassificationwithsinillarityofobjectiveorbackgroundstoreeons如ctsPic奴ireresouree.ItsolvestherelativeProbl。爪5ofPuttingsetnantieonimagebythewayofautomatiesemantieannotation，叨dthes如ulationresultsProvetheproposedmech耐smin而5paPercanimProvetheperibrmanceofrelrieval.Theworksof侃5PaPerareasfollows:Aiflrst，westodythelowlevelvisualfeattireofPicture，Ineludingcolor，tex权址e即dsh叩e.Onthebasisofanal州ngeachft忍权犷e，5thcories，wediscusstheextractionalgorithmandsin五larityme~ent.ToevalUatetheefl贻etive0fthealgorithmswhichareProPosedin面5PaPer，weSlinulatetheseaigorithmsandanalyZethecorresPondingresults.Seeond，westodythesernanticannotationbasedonextractingvisualfeatt甘eofimageeffectively.hithisPaP氏theimPlementof而5Partineludesdireedetailseetions:subjectivemaPPing，automaticsernanticalmotationandrelevancefeedback.ThesubjeetivemaPPing15thePr。刀isesofofl七ringtheautomatiesemanticaxmotationanexereisesetofstudyingandrealization.ItalsoeanPuttheinitialiZedsemanticonimage.Therearetwoeasesinal吐omatiesernantieannotation:one15tostudythesemantieofthehighests而ilarity而ageinformationintheexercisesetandcomPletethesemantie111哈产 annotationautomatieallyafteranewonebdngProeess曰:theotherone15tomodifytheinitial讫edsen以叻tieannotationwiththe拓edbaekinfonnationofusers.Theretrieval伽decanmakethese幻nanticannotationmoreandmoreexac仁即dimProvestheperformanceofselnanticanotationbyrelevancefeedbackofusers，.nmakesthecontain目selnanticmuehdosertothe如agecomPrehensinnofusoandreachthefinalp议POseoflmProvingtheretrievalcaPabilityefl免etively.AitheendofthisPaPer，weimPlementtheretrievalWhich15ProposedinthisPaPer，includingtheenv双Dlnentofsimulations，thewholestrUctt犷eandrealiZationflow.Andthesimulationn尧”ltsProvethatthe户旧posedmech别五smisefl笼etiveKeywords:Imageretrieval，VisualSubjeCtivemaPPing，SemanticRelevancefeedbaek 目录目录第一章绪论............................................................................................................……11.1研究背景..……“....一...……”.......................................................................................……11.2基于内容的图像检索概述...............................................……，............................……21.3国内外发展现状及研究意义................................……，.....……，..........................……31.3.1发展现状.”........................................................................................···········……31.3.2研究意义...……，.….......................................................................................一51.4论文的主要研究内容和结构.............................................................................……6第二章图像特征的提取........................································································……72.1颜色特征的提取，...................................................................……，..·......················……72.1.1颜色直方图…”..................................................................................·..········……72.1.2模糊颜色直方图...................................................···...································……82.1.3颜色特征的相似性度量...................……，...............................................……112.1.4基于颜色特征的图像检索实验与结果分析....……，..........................……巧2.2纹理特征的提取.................................................……，.................................·········……182.2.1纹理特征的相关概念...........……，.............................................……，........……182.22纹理特征的分析.…‘二，.....................................................························一212.2.3基于纹理特征的图像检索实验及结果分析.............……，.................……262.3形状特征的提取..................................................................................·...············……322.3.1图像增强................................……，.......................................……，...............……322.3.2图像分割.....................................................................................……，........……332.3.3形状的全局特征描述子.........................................................................……352.3.4基于形状的图像检索方法.................................……，............................……362.3.5实验及结果分析.........................……，.........................······························……362.4主体及环境相似性.........................……，....................·········································……422.5小结..........................................……，.........……，........................................................……43第三章内容主观映射的语义自动标注..............................................................……443.1图像内容的主观映射...........................................·..··························，················……443.2语义自动标注……”.......................................................................................·..·····……473.3相关反馈..................……”..............................................……，.................................……513.4实验及结果分析...............................................……，.............................············一543.5小结.......................................................................……，..............……，......................……59第四章总体设计及实验分析一、……，.........……、...........……，.，......……、..................……604.1实验环境...............................................................……，.，…，......……，…，...................……604.1.1设计环境.…，……”.......................................................................................……604.1.2实现环境..................................................……，......................................·····……604.2总体框架及实现..........................……，.........……，.......................……，......·...······，··……61 目录4.2.1总体框架....................................................................................................……614.2.2各部分实现流程...……，，............................................................................……644.3实验结果及分析.............................……~...……~................……~..........................……674.3.1检索性能度量..........……~...............……”.…”....................……”.................……674.3.2不同关注点的第一次检索实验结果及分析二”.…”二”……“.…”.........……674.3.3多次反馈后的检索结果及分析…”........……”…”........……”..................……694.4小结....……“...............……，二，.........................…………”..…”…“.…”...........................……71第五章结论..........................................................................................................……725.1论文总结......................................................................……”............……~..............……725.2未来工作展望................……”...................……”.…~.................一..……“.”二”..........……73致谢......................................................................................................................……74参考文献................................................................................................................……75在学期间研究成果................................................................................................……79 图目录图目录图l一1基于内容图像检索系统的基本结构...................................................……3图2一1图片缩放和旋转后直方图对比...........................................................……8图2一2二次距算法中直方图的一对多特征比较........................................……13图2一3联合嫡、条件嫡和交互信息之间的关系........................................……14图2一4基于颜色特征检索的基本实现流程................................................……16图2一5查询例图及返回图片........................................................................……17图2一6图片对应的颜色直方图....................................................................……17图2一7纹理图像示例....................................……，.........................................……18图2一8图像的纹理基元和3x3邻域系统....................................................……21图2一9图像在灰度共生矩阵中的表示........................................................……22图2一10纹理谱方法的检索流程...................................................................……26图2一11查询例图及返回图片.......................................................................……28图2一12纹理谱模糊直方图.................................................……，...................……28图2一13基于灰度共生矩阵的检索流程.......................................................……29图2一14查询例图及返回图片.......................................................................……31图2一15利用颜色特征进行基于形状的图像检索流程...............................……37图2一16图像分块的颜色直方图值及对应的差值表...................................……39图2一17根据形状特征检索的图片..............................……，..........................……40图2一18形状特征检索图片对比...................................................................……41图3一1图像主观映射赋予语义前后数据对比............................................……47图3一2映射前后视觉及Kb尺度上大小的对比.........................................……47图3一3视觉特征相似而语义完全不同的图像对比....................................……51图3一4相关反馈实现原理的基本流图........................................................……52图3一5改进权重调整的相关反馈流程........................................................……54图3一6自动语义标注关系图......................................................……，…，…，...……55图3一7主观映射图例....................................................................................……55图3一8查询结果显示....................................................................................……57图3一9反馈询问及语义修正窗口................................................................……57图3一10相关反馈情况对查准率的影响....................................……，...........……58图4一1检索实现的总体框架...……，..............................................................……62图4一2构建初始检索库及管理界面............................................................……64图4一3新图像入库流程及对相应界面........................................................……65图4一4用户检索流程及界面........................................................................……66图4一5相关反馈流程....................................................................................……66图4一6第一次检索结果...................................................................……，......……68图4一7第一次检索结果的评价度曲线.........................……，..…，..................……69Vll 图目录图4一8多次反馈中的某次和最终检索结果017矛QO︸︶图4一9多次反馈中的某次和最终检索结果 表目录表目录表表2423-24142-131颜色特征的相似性度量..................……‘4O，J甘凡f了l.2，t0X7RN︸︵一1.︺纹理谱特征的相似性度量..............……灰度共生矩阵的相似性度量..........……形状特征的相似性度量..................……不同的反馈情况所得到的查准率效果第一次返回结果的性能度量..........……多次反馈后的检索性能度量..........…… 第一章绪论第一章绪论1.1研究背景信息数字化处理等高新技术的飞速发展，使得人们对多媒体数据的获取途径不断的增多，同时数据的获取量也迅速增长。图形图像作为一种重要的信息载体，通过多样化的视觉特征，直观生动地将抽象数据形象化、真实化地表现出来，极大地丰富了人们信息交流的方式和内容[l1。但面对海量的数据信息，如何更好地通过图像的各种特征实现快速、准确地检索用户所需要的图像信息，己成为目前迫切需要解决的问题。最早关于图像检索的研究是在20世纪70年代，当时主要是基于文本的图像检索技术(几xt七as斑IinageRetrievai，简称TBIR)，它通过对图像进行人工文字注解，利用文本检索实现对图像特征的查找。可以看出，这种采用对图像建立关键词等文本描述信息的方式己越来越不能适应网络或图片库系统信息检索的要求，不仅要需要大量的人工操作，而且，面对信息量每天以指数级增长的现实状况，这样的方式也是相当费时的[1]。另外，文字难以反映图像中的完整内容，即人工注解的主观性很难平衡不同的人对于图片认识的差异，这导致了检索的查准率低下，不能满足用户的查询要求。在应用需求的促进下，就自然会有一种新的检索技术出现，以改善在文本检索下低效的检索状况。90年代以后，随着大规模图像集的不断涌现，出现了对图像的内容语义，通过提取图像的颜色、纹理、形状、空间关系等特征对图像进行分析和检索，即基于内容的图像检索技术(Content七asedIinageRetrieval，简称cB琅)，当前已成为图像检索领域的研究热点，并在近年来取得了长足的发展，己建立了一大批研究性的或商用的图像检索系统。如果说基于文本的图像检索是“以字找图”的话，那么基于内容的图像检索则是“以图找图”的查询模式，这是对传统检索技术的一大突破[2]。然而，从应用现状来看，基于内容的图像检索技术主要还是运用在一些专业图像的检索系统中，对于因特网这个信息最大、最广泛的交互和共享载体而言，占主导地位的信息检索方式仍然是基于传统的文本检索技术。因为网络环境下的图像资源区别于一般独立图像的特点，在于它们与网页有着千丝万缕的关系，一护 电子科技大学硕士学位论文般都是嵌在研触b文档中随之发布的，处于一定的上下文环境和相对固定的HTML标签当中l2]。所以，借助网络图像的文本环境，可以在一定程度上为图像分析和标引提供依据。而大家所熟知的Google、Baidu等著名搜索引擎便是仍然采用的基于文本的检索方式。虽然如此，这也并不能阻挡基于内容检索技术成为今后图片搜索发展的主要趋势，尤其是在Web搜索引擎上。但由于多方面的原因，基于内容的图片检索目前还没有得到很好的实际应用和推广。可以预见，在基于内容的图像检索技术被完全应用到各图片库检索系统及网络搜索引擎以前，将经历一个基于文字和基于内容相结合的或者由内容向文字映射的过渡阶段。同时，为了减少基于文本方式下大量的手工操作及改善查准率低下的状况，基于内容的检索方式也开始朝着与自动标注语义和用户反馈等技术有效结合的方向发展。1.2基干内容的图像检索概述20世纪90年代初，随着基于文本方式检索中各种问题的日益突出，基于内容的图片检索应运而生。该技术采用通过提取每幅图片的视觉内容特征，包括色彩、纹理、形状等作为索引，并根据其相似度进行查询及匹配等手段，将检索到的图片信息返回给用户[3]。其中，颜色和图像的大小、方向无关，因此该特征被广泛应用于图像检索当中。上述视觉特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。基于内容的图像检索系统具有与传统基于文本的检索系统完全不同的构架。根据现有的一些基于内容的图片检索的实现方式和技术来看，可分为低层次视觉特征检索和高层次语义特征检索。其中，基于低层次视觉内容特征的提取，利用图片处理及视觉技术来判断图片资源中的相似度并返回满足要求的图片;图像语义特征的提取一般包括图片来源、压缩方式、分辨率、图片相关的注释信息等属性t3]，其实现过程通常需要加入与用户交互的环节，以便更准确定义用户的需求和方便用户查询，并根据有效的反馈技术及机制所获取的信息来评估和改善搜索结果l4]。图1一l表示了基于内容的图像检索系统一个基本的结构。由图中可以看出，系统的核心是图像特征数据库，且图像的特征既可以从本身提取得到，又可以通过与用户交互获得，并用于计算图像之间的相似度。用户可以向系统提出查询要求，系统根据查询要求返回查询结果，用户还通过对查询结果的相关反馈来改进查询结果[5]。 第一章绪论查询/反馈图图像特征数据库库检索用户图1.1基于内容图像检索系统的基本结构该体系结构包含了基于内容的图像检索中的一些关键性环节[51:选择并提取能够充分表达图像内容的视觉特征;处理基于相似度的图像检索;处理用户对检索结果的相关反馈，改善检索的查全和查准率。归纳起来，基于内容的图像检索技术主要有以下几方面的特点[51:该技术突破了传统的基于表达式检索的局限，从媒体内容中提取信息线索。基于内容的图像检索是一种近似匹配的技术。它同时也是基于大型数据库的快速检索。在该技术的实现过程中，结合了相关反馈等有效手段。1.3国内外发展现状及研究意义1.3.1发展现状随着信息检索、图像处理、计算机视觉、人工智能等多领域技术的发展，基于内容的图像检索得到了越来越多的关注并投入了大量的研究，取得了极大的进展。发展至今，该领域主要有三个方面的研究热点t2]:第一，基于图像全局或区域的检索方法，即通过选择适合的整体或局部特征描述去尽可能表达出图像的完整内容，并采用一定的相似度量方法进行图像的匹配，该方向也可称为以图像为中心的方法，很明显，它对于用户的需求缺乏分析，并不能很好的满足用户的主观检索要求;针对第一个研究热点中出现的问题，展开了对第二个热点的研究。其中借助了相关反馈的思想，根据用户需求及时调整系统检索时采用的特征和相似性度量方法，从而缩小低层视觉特征和高层语义之间的差距，也就是所谓的“语义鸿沟”;最后，是研究如何从多种渠道获取图像语义信息以及将图像的低层视觉特征与图像关键词结合进行图像自动标注以提高检索准确率等161。 电子科技大学硕士学位论文在上述研究热点及相关技术的推动下，许多公司已经纷纷推出了一些具有代表性的基于内容的图片检索系统。vmAGE公司的vIR(巧sualInformationRetrieval)图像引擎提供了四种可视属性检索(颜色、成分、纹理和形状)闭。每种属性被赋予0到10的权值。该软件对选出的基础图像的色调、色彩以及饱和度进行分析，然后在图像库中查找与这些颜色属性最接近的图像。用户可以设定一个或多个属性权值来优化检索。要达到最佳平衡度需要反复试验，但检索过程是相当快的。在结果显示矩阵中可以选择查看3，6，9，12，15或18个简图。通过对四个属性权值的调整，显示出不同的检索结果，其中简图是根据相似度降序排列的。点击简图标题将得到该图像的一些详细说明，包括计算出的相似比。Photo权沁k是美国麻省理工学院多媒体实验室开发的用于图像查询和浏览的交互式工具闭。它由三个子系统组成，分别负责提取形状、纹理、人脸特征。用户可以根据三个子系统中相应特征来查找图像。QIBc是IBM公司开发的基于内容的图像检索系统门。它支持基于图像的查询方式，也支持草图、轮廓、组合颜色和纹理特征的查询以及其它检索方式。巧sualsEEK和研肥bsEEK是哥伦比业大学开发的基于视觉特征的搜索引擎和面向WWW的文本或者图像搜索引擎闭。它们都采用图像区域关系和从压缩域中提取的视觉特征。巧s.alSEEK系统采用的视觉特征是颜色集和基于小波的纹理特征。为了加快检索速度，系统采用了二叉树的索引算法。劝s让alSEEK支持基于视觉特征的查询和基于空间关系的查询。W比SEEK是一个面向从因切万的搜索引擎。它由二个主要模块组成，分别是图像舰频采集模块，主题分类和索引模块，查找、浏览和检索模块。它支持基于关键字的查找和基于视觉内容的查找。在国内，基于内容的图像检索系统主要有中国科学院计算技术研究所智能信息处理重点实验室开发的基于内容的图像检索演示系统灿res)[7]，Mires系统是一个综合利用高层语义特征和低层可视特征的图像检索系统。它通过机器学习的办法提取图像语义类别来表示图像高层内容，底层特征则集成图像的颜色、纹理、边缘特征，该系统还实现了基于核函数和SVM的相关反馈算法。诵res系统对各种类别的图像都能进行有效的检索。除了上述的系统外，在国外还有ExcalibUr科技有限公司开发的RetrievalW扯e系统，UCSB大学开发的Netra系统，加州大学B诫eley分校开发的Blobworid系统，普林斯顿大学开发的cAETllML系统等[41。 第一章绪论1.3.2研究意义基于内容的图像检索技术有着非常广泛的应用，涉及到社会和生活的许多方面[2]。第一，科技的飞速发展使得人们越来越关注知识产权的保护问题，许多知识产权的载体都是图像，表现尤其突出的是商标和艺术作品，因此，利用基于内容的图像检索技术对实现商标的专用图形标记的自动审查无疑是具有非常现实的意义的。第二，网络正逐渐渗透到人们学习工作和生活的方方面面，除了文本资源外，网络上还存在非常丰富的图像资源。新一代网上搜索引擎应该具有协助用户从海量而且无序的网上图像资源中寻找符合要求的图像的能力，而基于内容的图像检索技术在其中扮演了相当重要的角色。第三，尽管传统的图像处理领域早就开始涉足医学和遥感图像的分析和处理的研究，但它们仍然是一个开放的研究课题，无论是民用还是军事，对于它们的研究都具有非常重大的意义。特别是在图像规模不断增加时，准确有效的图像分析手段以及快速的图像识别和检索技术就显得尤其重要。第四，当将图像的内容限制在特定领域时，基于内容的图像检索技术将找到更为具体的研究和应用意义，如犯罪与安全预防等，毫无疑问，这具有重大的社会价值。另外，互联网是一个开放的网络，这就必然会带来一些负面的影响，如不健康内容的日益增多等，尤其是一些低级趣味的图片，这在最近的一些事件中也显得更为突出。很显然，基于内容的图像检索技术完全可以应用到具有图像过滤需求的应用当中，为大家创造一个健康、干净的网络环境。除了上述所列之外，基于内容的图像检索技术对于设计、远程教育、新闻和广告、个人相册管理等方面也同样具有相当大的应用意义。通过对基于内容的图像检索技术应用前景的分析，可以发现该技术是相当具有研究价值的。另一方面，基于内容的图像检索仍然存在了许多难点问题和技术上的不足，目前还没有得到很好的解决。由于基于内容的低层次视觉特征检索需要进行如欧氏距离、相似度、小波变换等大量复杂的计算，且图片的规模一般比文本描述大，这些都将导致检索的时效性大大降低。再者，由于提取出来的特征完全是从客观上对图片本身的数据及相关度进行的分析，并不一定能很好的体现用户搜索的主观愿望，这也严重影响了检索的查准率[81。而高层语义特征在反映图片属性的同时更偏向于体现用户对图 电子科技大学硕士学位论文片的主观认识;从用户的角度出发，基于语义特征的检索能表现出更好的查准率，因此需要将高层语义特征与低层视觉特征技术很好地结合起来，这是现在图片检索领域研究的一个最主要的障碍，同时，语义特征的描述也一直是一个没有得到较好解决的难题[6]。除此之外，还有检索对象及特征和范围的多样性、对图像检索系统评价尚无统一性标准和图像检索技术从单机、局域网向因特网搜索引擎的发展等问题使得基于内容图像检索技术的实际应用受到了很大的阻碍。为此，结合基于内容检索技术的巨大应用价值和该技术仍然存在的不足，可以看出，对该技术进行更深入的研究从而解决好存在的相关难题使之有效地投入到实际应用中，这对社会、生活都具有非常重要的现实意义的。同时，对资源共享、信息的有效利用及搜索引擎的发展来说也将是一个极大的促进和推动。1.4论文的主要研究内容和结构本文从目前在基于内容的图像检索技术的应用中仍然存在的一些不足入手，研究基于内容主观映射下自动标注语义的图像检索方式，以提高图片本身特征提取中复杂的计算、手工操作等时效性，以及改善高、低层特征间的“语义鸿沟”和单纯低层视觉特征不能满足用户查询图片的主观愿望的状况。论文一共包括五个章节:第一章为绪论，该部分包含了对基于内容的图像检索的概述，并介绍了该技术的研究背景、发展的现状及研究意义和应用价值。第二章为对图像特征提取的分析，在该章节中主要是针对图像视觉特征的提取，包含颜色、纹理和形状三个特征，分别从基础知识、常用的方法及有效的提取手段等方面进行了分析和说明。第三章对内容主观映射的语义自动标注进行了介绍，该技术主要是针对手工操作的低时效性而做出改进的检索实现方式，其中包括了图像内容的主观映射，相关研究工作已在《基于内容主观映射的图像检索研究》一文中发表;语义的自动标注和学习;相关反馈三个方面，从分析相关的理论和原理入手，通过具体的实验来分析文中所采用的语义自动标注方式的实现效果;第四章为检索方式的总体实现及分析。在这一章中，介绍了实验环境的搭建，以及从整体到部分的实现流程，最后对实验结果进行了分析，并得出结论。最后一章是结论部分，包括对整个论文的总结及基于内容的图像检索技术发展前景的一个展望。 第二章图像特征的提取第二章图像特征的提取对图像视觉特征的提取，是基于内容的图像检索技术的基础，它区别于图像的高层语义特征，是纯粹的从图片中去寻找描述本身的线索，可以说是对图像最客观的反映。同时，其选择、分析和提取的好坏直接影响到图片检索的时效性、准确率以及最终用户对检索的满意度。图像视觉特征中关注和研究较多的是颜色、纹理和形状特征，在下面各小节中一一进行分析和说明。2.1颜色特征的提取在上一章对基于内容的图像检索技术的概述中提到，颜色特征因为其大小和方向无关性是图像检索中应用最为广泛的视觉特征，其提取也相对其他特征容易。目前已有许多文献提出了各种基于颜色的图像索引技术。在文献[91中首先提出了使用颜色直方图作为图像内容的索引特征，即根据划分的颜色子空间及对应像素值的计算，并采用直方图的交进行相似性度量;与此类似地，Ha丘er在QBIc中则采用了直方图的二次距离作为图像的相似性度量[’0];另外stricker等人也采用了颜色值的前三阶矩来表征图像的内容11】，等等。由此可以看出，对于颜色特征的表达，通常都是通过直方图或颜色矩的方式。本小节首先对图像颜色直方图的基本知识进行介绍，并在此基础之上讨论了模糊颜色直方图的提取方式和算法，通过计算颜色分量间模糊颜色直方图的相似程度来表达图像之间的相似性，整个过程在该小节最后的实验中进行实现，同时对实验所得的相关结果进行了分析。2.1.1颜色直方图通常，可以用直方图来表示颜色的分布情况。对于给定的图像I【x，y]，它的颜色直方图可以由下式计算出来[2]:Qc仇I[x，动=m(2一1)hc伽，一霎氢仁其他其中，m为划分的颜色子空间数;X、Y氛围图像的宽度和高度;Tc为颜色空 电子科技大学硕士学位论文间的变换，即对颜色向量(r，g，b)的一种操作:Q。为对颜色变换的量化，也即对Tc的量化。颜色直方图具有在旋转和缩放过程中信息不丢失的前提下的不变特性。在一个简单的实验中，将一张表现内容为晚霞，格式为JPEG的风景照片，分别做缩放和旋转后保存为下组中的第二和第三张图片(第一张为原图)，而每幅图像下面对应的便是对该图像的直方图表示。通过实验分析，对比三个直方图，虽然不是完全一样，由于在缩放和旋转过程中采用的是简单的统计方法，因此会有少量的信息丢失，这就导致了直方图表现的少许差异，但总体上来看各颜色子空间的曲线形态和能量分布是非常相似的。这并不有悖于进行基于内容的图像检索的初衷，其原本就是为了查询相似的而不是完全相同的图像l5]。图2一2图片缩放和旋转后直方图对比通过上面实验，可以看出一幅图像无论它以放大或缩小还是翻转后的形式保存下来，利用颜色特征的这种不变性都能较为准确地将其查找出来。那么，在基于内容的图像检索中，提取颜色特征作为图片描述的一个手段正是利用了该特性。2.1.2模糊颜色直方图近几年来，在基于内容的图像检索中对模糊直方图的应用受到越来越多的关注和研究[，，一r，3]。1.模糊颜色直方图的定义给定一个包含n个颜色索引的颜色空间，图像q包含N个像素，则模糊颜色直方图的定义为l2]:图像q的模糊颜色直方图F伪)一以，人，…，fn}， 第二章图像特征的提取N上夸。，，关二艺心弓=V‘‘曰‘犷(2一2)j=1j=lPj表示从图像q中任选一像素为j的概率;p，j表示第j个像素对于第i个颜色索引的隶属度函数【l4]。2.模糊C均值聚类算法在模糊直方图的计算中需要用到模糊C均值聚类(FCM)算法，该算法同时考虑了相同及不同颜色索引像素之间的差异，经实验证明，它比传统直方图方法(CCH)有更好的稳健性和更好的效率[2]。模糊C均值聚类算法是一种基于划分的聚类算法，其主要思想是使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小，并通过隶属度来确定每个数据点的归属的一种聚类算法。它不仅是一种柔性的模糊划分，其计算过程也不是很复杂。令x={xl，凡，…，凡}，并将其分为。个模糊组，求每组的聚类中心，使得用隶属度函数，(x)定义的目标函数达到最小。同时通过每个给定数据点用值在0和1之间的隶属度来确定其属于各个组的程度。与模糊划分相对应的隶属矩阵U=〔ul门允许有取值在0到1之间的元素，且隶属度总和为1，即[l5]，C艺u*=1，Vk=l，2，…，n(2一3)i=l则，FCM的目标函数:1气+△=1，2，3，…，8，△表示一个小的正常量，元素乓占据像素i相同的位置。由于T中每个元素具有3种可能的取值，所有8个元素的总和就共有3“=6561个可能的纹理单元，而纹理单元数可定义为如下形式:8N=艺式x3‘“，N。{o，，，2，3，…，6559，6560}(2一36) 电子科技大学硕士学位论文(2)纹理谱在前面定义了一组6561个纹理单元描述了一个给定像素的“本”纹理特征，即中心像素与其周围邻域像素之间的相对灰阶关系。对图像的所有纹理单元的发生频数进行能够统计，这个发生频数函数就表征了所要分析的图像的纹理信息，称这个所有纹理单元的频数发生函数为纹理谱。如果用T(i，j)表示图像在像素点p(i，j)处的纹理值，则可用H卜卜=0，l，2，…，255)来表示图像的纹理谱为〔2]艺们i-0Z问U乙、f，j)Hl*]=尸”Xn一其中，f(i，j，=}段巍，=‘(2一37，式中m和n分别是图像的宽度和高度。进而，用横坐标表示纹理单元函数N刊，纵坐标表示发生频数就可形成纹理谱直方图。一幅图像通常由纹理基元和随机噪声或背景两部分组成。纹理部分相对于背景的百分比越大，纹理特征就越容易被人的视觉所觉察。就纹理谱而言，一幅图像的纹理组所占的百分比越大，就会导致特殊的峰分布，而且，不同的纹理是由具有不同纹理谱的特殊的纹理单元所组成[2]。2.灰度共生矩阵方法灰度共生矩阵法是基于灰度空间的，进一步说，就是基于在纹理中某一灰度级结构重复出现的情况。该结构在精细纹理中随着距离而快速变化，而在粗糙纹理中则相反[34”漪]。图像在灰度共生矩阵中的表示可由图2一9所示[2]。图2一9图像在灰度共生矩阵中的表示 第二章图像特征的提取(1)定义在上图中设。习尹为图像像素的坐标平面，灰度坐标为z轴，x方向像素的总数为N二，夕方向的像素总数为N，，为了减少复杂的计算和简化分析过程，将图像灰度作一个归并，其最高灰度级是第N，级，记为121L:={l，2，…，Nx}乓=扛，2，…，戈}G·杠，2，…，凡}可以把图像f理解为从人x几到G的一个变换，也就是说对乓x气中的每一点，对应一个属于G的灰度。定义方向为夕，间隔为d的灰度共生矩阵为l2]:Pc=夕(i，，.，d，a)(2一35)夕(i，j，d，夕)表示矩阵第i行了列元素，其中，(i，j)。GxG，夕二00，450，900，1350，以Ox轴为起始，逆时针方向计算，对不同的夕。矩阵元素的定义为，(l.，j，J，o。)=#{(k，，工(m，n)。(L，x人)x认x::)I、一m·o，}卜nf一J;f(k，，)=，，了(m，n)一，(k，‘戈(m，n)。仓，x乓)x(L，x几)}(k一m·J，卜。·J，。，，，‘，45。)=#{或认一m二一d，卜。二一昨f认，l)=i，f(m，。)二j浮，(i，j.，J，90。)==#{(k，，工(m，n)。(L，x::)x(L，x;:)一I、一m卜J，卜n==o;f(k，，)=‘，f(m，n)=j(k，‘飞(m，n)。移，x乓)x(L，x::)一(k一m=J，卜。=一J，。，，，J，35。)一{或认一m=一d，卜，=昨f仓，l)=i，f(m，n)=j{其中，记号#卜}表示集合x的元素数。矩阵的第i行j列元素表示所有。方向，相邻间隔为d的像素中有一个取i值，另一个取j值的相邻对点数。一幅图像的灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。从它出发，可以进一步提取描述图像纹理的一系列特征。对公式2.37表示的共生矩阵进行正规化处理后，表示为[2]: 电子科技大学硕士学位论文夕(i，j)/R二p(i，j)(2一39)这里略去了间隔d和方向0，R是正规化常数。当取d二1，o=0o时，每一行有2帆一l)个水平相邻对点，因此总共有2凡帆一l)个水平相邻对点，取R=2戈帆一l)。同样当取d=1，0=45。时，共有2帆一，玩一l)个相邻对点，取R=2帆一1玩一l)。由对称性可知，当。·90。和135。时，其相邻对点数是显然的，记为【3刀曰丫j凡-lP认龟.(2一40)p:(i)=j)i二l，2，…，凡白生yi-lP(i，办j=1，2，…，凡(2一41)尸，O)==，:+，*)·全i-l全j-l，(i，，)、一2，3，…，2、，‘+，=、(2一42)(2)基于灰度共生矩阵的纹理特征描述基于灰度共生矩阵的图像主要有以下纹理特征【34]:1)角二阶矩(2一43)关。全卜l全j司伽(i，，)}z2)对比度:勤能南呼，卜，一(2一44)3)相关(2一45);。}L丝J一1j.I‘·，·;(i，，)一，沪，}J/八气其中，产二、久分别是枷:(i)‘·1，2，…，N:}的均值和均方差，;，、。，分别是伽，协j二l，2，…，N:}的均值和均方差。4)方差 第二章图像特征的提取;。全扫I全j=l(i一、)2，(i，，)(2一46)·全i二l(‘一声)2，二(i)其中，产是p(i，，.)的均值。5)逆差矩It，.(2一47)丁一下甲一兮万尸妙，J、。全i，l全介ll+U一j厂6)和平均(2一48);。堂，x+夕(i)7)和方差(2一49)、。觉(i一;)2，x+，(l’)8)和嫡(2一50)J:吕共人_令‘曰犷。戈+y(丫i，、‘In~0o2fLi。产x十y。V月Ui=2当，二+，(i)一0时，1092卜:十，(i习无意义，则以，092卜二，，(l.)+。』代，092卜:，，(l.)]，:为任意小的正常数。9)嫡(2一51)、。一全t:l全j:l，(i，，)fogZ卜(i，，)]上面关于灰度共生矩阵的各种纹理特征，对不同的间距d和方向0取不同的值，而其中相关性和嫡等是最有效的特征。(3)对于旋转不变的特征提取[21为了获得旋转不变的纹理特征，最简单的处理就是将每一特征关(i一‘，2，…，9)，关于这四个不同的方向(0a，45气90a，13”a)求平均值和均方差亏和 电子科技大学硕士学位论文气，这样处理就抑制了方向分量，使得到的纹理特征具有方向无关的特性了。2.2.3基于纹理特征的图像检索实验及结果分析由于前面对纹理特征的分析主要是针对纹理谱方法和灰度共生矩阵法，因此，本文选择了纹理图像库中任意50张图片作为目标图像资源，并从中随机选择了一张作为查询例图，通过这两种方法分别对纹理特征进行提取及相似度的计算，同时对实验过程及结果作简要的说明。1.基于纹理谱方法的检索由于纹理谱与颜色谱有许多相似的地方，结合在颜色特征的提取小节里面讨论过的模糊直方图及相关概念，该实验中就采用了纹理谱模糊直方图的方式来进行纹理图片的检索，这已被一些实验证明具有更好的查准效果，但对于一般的图片检索效果却不是很理想【5习。本文所做的基于纹理谱方法检索实验的基本流程如图2一10所示，同时也给出了检索实现过程的一些主要代码，图2一n显示了查询例图和返回的相似度最大的五张图片(前五张)，同时为了作对比给出了相似度比较低的两张图片，以及分别对应的纹理谱模糊直方图(图2一12)。并在表2一2中列出了各图像与查询例图的相似度值。将将圈.进行8.8的分分块辉辉十块班仃叙理特特征征的模栩t方圈计算记记，与资询例.各子子块间的相似理度度统统计出与查询例圈圈的的.终相似度结果图2一10纹理谱方法的检索流程 第二章图像特征的提取刀纹理直方图的计算floatH[n]=0.0:刀数组H【n1中保存纹理谱直方图的计算结果intl=0;while(l({for(intm=0:m(Lt:m++)刀Lt为图像的纹理特征数H[n]*=U(n，T[m]):刀U()为各纹理特征对对类别的隶属度刀函数，T[m]为纹理特征数组l++刀纹理谱模糊直方图的相似度量，结果放于变量d中floatd=0.0，dl=0.0，dZ二0.0:floattelnPdl=0.0，te帅dZ=0.0:intn=0;for(inti=0:i(Qt:i++)刀Qt为纹理类别总数{dl+=Hs[n]*Hx[n〕;//Hs〔n]和Hx【n]为两幅图像的模糊直方图特征te帅dl+=Hs[n]*Hs〔n];te帅dZ+==Hx[n〕*Hx[n];n++;}dl=sqrt(te呻dl):dZ==sqrt(temPdZ):d=dl/(dl*dZ);d+=dmod(dl*dZ): 电子科技大学硕士学位论文查询例图图2一11查询例图及返回图片查询例图......口图2一12纹理谱模糊直方图表2一2纹理谱特征的相似性度量查查询例图图例图图aa图bb图cc图dd图ee图ff图gg相相似度量量1.00000.85220.81660.78330.72550.66990.27440.23992.基于灰度共生矩阵方法的检索由于灰度共生矩阵是基于图像的灰度空间的，因此，在使用此方法对图像进行分析及特征提取以前，通常要先将图像转化为灰度图像[3’]。根据灰度共生矩阵来进行图像检索的基本流程如图2一13所示。 第二章图像特征的提取将将图像转化为灰度度圈像计计算图像的灰度共共生矩阵提提取角二肖准、对对比比度和摘几个纹理理特特征绷成标识函教教通通过标识函数进行行相似度的计算图2一13基于灰度共生矩阵的检索流程//(部分代码)彩色图像向灰度图像转换floatG[n]=0.仇刀G【n]为转换后各点的灰度值for(1nti二0:i(Pnum;i++)//pnum为原图像的像素值//C[n〕[1]，C[n〕[2]，C[n〕[3〕分别表示每个像素对应的红、绿、蓝分量G[n]=C[n〕[l〕*0.30+C[n][2]*0.59+C[n][3〕*0.11;当图像转化为灰度图像后，根据该灰度图像计算其灰度共生矩阵，下面为部分实现代码://生成灰度共生矩阵k[〕【〕，灰度图像用二维数组g【R]【C〕表示，R为行数，C为列数for(1nti=0:i二R)eontinue;for(n二0:n(C:n++){y二n+dy://dy为垂直方向的偏移量if(y<0}}y>=C)eontinue:if((g[m][nl=i)从(g[x][y〕=j))k[i][j]++:for(i=0:i10{ 第二章图像特征的提取P[j]二Pl[j〕:D[j]=Dl[j]:举个简单的例子，通过上述过程，对于图2一16中给出的图像分块的直方图，所得的差值及相应的比较对数如右边的表所示。差差值比较对数数差值比较对数数992233OO“0.55662.5‘3.001166ll5500.5“1.00443.5、4.001111.0、1.55224.0”4.552277884411.5、2.0022大于5.0022图2一16图像分块的颜色直方图值及对应的差值表对查询例图及目标图像都依次作上述的直方图距离值计算，并以此为基础进行相似度性的测度，该值为大于0而小于1的值，当图像完全相同时为1，完全不相似时结果值接近于O。部分代码如下:刀相似度计算for(i=0;i1，那么就令 电子科技大学硕士学位论文甲=1，因为其大小是设置为不大于的值;(3)每当图像被反馈为反例时，权值将减少刀(l+嵘)，其中刀为权值减少程度参数，当权值越靠近一1时，其减少速度就越慢，同样，若牙<一1时，就令不=一1。上述改进后的实现流程如图3一5所示。在改进的方法中，把参数设为N个量级，N根据系统具体检索需求确定，以衡量用户对相关度的认知。当权值为负数时，关键词与图像不相关，这时可以根据情况对图像作进一步处理，如删除或者调整系统的检索策略，使得在返回结果时排除掉这些图片，避免无关图像对检索性能造成坏的影响。匹匹阮t闷借人词与图图像语义词的相似度度，按服设定门值饭回蜻用户为为圈像的语义定义义初初始权to，由权重重用户判断圈像是否否衰衰达圈像与语义的的相关并返回判断结结权重大于时设相关度度果果为l，设设小为于一1一1l时时为为止汉该时对相班圈圈像的权l加a(1--wwol刃，为负反该时减pfl+Wol山图3一5改进权重调整的相关反馈流程做了上述改进后，可以通过和之前的方法比较有下面两个优点:(l)如果关键词与图像从未连接过，其权值为。;如果关键词与图像不相关，则权值为负数，从而在检索过程中可以“过滤掉”不相关的图像。(2)权值的范围被限定到卜1，l]之间，既然是一个有限的范围，有明确的上、下限值，这样就可以方便地在此范围内划定N个量级以代表关键词和图像的相关程度。那么，就可以通过这个量级快速进行图像检索。3.4实验及结果分析.实现过程 第三章内容主观映射的语义自动标注本文对语义自动标注这一部分的研究，主要分成了三个小的实现模块:主观映射、语义标注和相关反馈，其相互协作及衔接关系如图3一6所示。主主观映射射初初始语义学学习话话义··自自动标注注相关反馈馈图3一6自动语义标注关系图(l)主观映射为了与相关反馈中的权重调整算法有效的结合在一起，在本实验中，主观映射的形式就采取(种类，名称，视觉描述或行为，权重;)，其中权重初始值为O，如图3一7中三幅图像，在主观映射的初始语义阶段，三幅图被赋予的语义分别为(动物，狗，玩球，0;)，(植物，郁金香，黄色，0;)，(人，女，中年，0;)。图像库中的图片最初都以类似的方式进行语义的赋予后形成训练集，当然这也要看图像库中原始图像的规模。对于比较大的图像数据库而言，就选取部分图像作为训练集，其他根据学习的方式自动标注语义。在本文的实验中，由于只是在一定程度上的研究性实现和验证基于内容主观映射下自动标注语义的检索方式的可行性和进步性，因此最初的图像库比较小，就只有随机抽取的100张图片组成，全采用主观映射方式赋予初始语义。图3一7主观映射图例(2)语义自动标注 电子科技大学硕士学位论文对于语义的自动标注，区别为两种情况:其一，当新的图片入库，通过对图片进行处理，提取视觉特征并进行相似度计算，之后让它学习相似度最高的图片的语义信息，写入图片数据部分;另外一种情况是，当用户反馈信息回来，根据用户知识判断所获取的内容，根据一定的判断规则，如果内容与初始语义差别较大，处理后以类似主观映射的形式附加到当前的语义之后，在初次附加时其中的权重值也为0，这便是修正语义。在以后的查询过程中，根据用户的选择分别对初始语义和修正语义的权值进行调整。检索时始终首先判断的依据是初始语义，当修正语义权值大于初始语义超过闽值时，就交换初始语义和修正语义的位置。这样就在一定程度上避免了语义学习时造成的错误以及缩小主观映射时与用户理解的主观差异。例如，通过该方式就可以在几次查询后避免类似图3一3中出现的可笑的错误查询结果的情况。(3)相关反馈当将查询结果返回给用户时，用户通过最初的检索愿望判断是否选择其中的某一张或某些图片:在选择的情况下，就等于反馈了该图像的初始语义基本能符合用户对图像的认知判断的信息，则初始语义权重增加;当用户不选择某图像时，有可能反馈相关修正信息，也有可能不作出任何反馈。当用户反馈了信息时，就跳转到自动语义这一块进行处理，也就如(2)中所述那样。2.结果及分析针对在上文中提到的图3一3中一中年妇女的图像与狗的图像从视觉特征上分析非常相似而导致查询错误的如此类似的问题，在该实验里进行实现，并展示通过相关反馈及语义自动标注的调整使查询效果得到改善，同时对结果进行简要的分析。先将图3一3中的狗的图像作为原始图像信息入库，这里略去对其视觉特征的提取及相似度计算后的分类状况，并通过主观映射赋予其初始语义，在(1)有具体介绍。再将图3一3中的人的图像添加进图像库，假设该图像库中没有此人的类似正面图像，这时，通过上文的相关分析，可知其与那张狗的图像有很高的相似度，因此学习该图像语义，自动标注为(动物，狗，腊肠，0;)。 第三章内容主观映射的语义自动标注翔绷腻….④选择O不选O选择O不选O选择O不选O选择O不选墨O选择O不选!，新生成结果!!确定选择}「一不贡刁!。率」图3一8查询结果显示通过查询的结果显示，可以看出，第二幅图像完全是个很可笑的错误结果，用户自然是不会选择该图像的，当选择单选按钮“不选”时，则弹出如图3一9中左图所示的询问用户是否反馈信息的对话框。如果用户选择是，就会关闭询问对话框跳转到语义修正的界面，如图3一9右图所示，点击“修正”后，则系统根据修正的语义和初始语义进行一定规则的判断，发现差别较大时，则把语义附加到初始语义后，并在以后与用户的交互中不断调整权重。而选择否则关闭该询问窗口，在图3一8所示界面中对其他图像进行选择。图3一9反馈询问及语义修正窗口 电子科技大学硕士学位论文表3一1为多次实验后根据反馈次数所得到的查准率的度量，其中包括用户不反馈或偶尔反馈、正修正反馈和负修正反馈三种情况。表3-1不同的反馈情况所得到的查准率效果反反馈次数数t级ll22334455667788正正修正反馈0.49550.53770.62110.69440.75220.78660.81330.8455不不反馈或偶尔反馈馈0.49550.51440.52220.52550.52550.51990.51770.5155负负修正反馈0.49550.49550.42770.36550.32330.28110.25880.2233分析上述结果可以得到这样的推论，当有用户不断的提出类似的图像查询请求，且对语义作了正面修正的情况下，在一定查询及反馈次数后，查准率将得到明显改善，并随着次数的不断增加，查准率呈不断上升的趋势，最后逐渐趋于平滑。因为在用户反馈达到一定次数后，通过反馈来提高检索性能的方法就不再那么有效。在图3一10中显示了相关反馈对于查准率的影响，其中为了进行一个对比，同时给出了另外两根曲线表示没有或偶尔反馈，以及负面修正反馈对查准效果的影响情况。pos吮沁拍edb解kn卜fe刘b.ckorf湘neg时湘抽edback卫书d已uOd︺Un一，曰，‘:‘0.1卜O七J二，二123456Fe叼back抽帕l图3一10相关反馈情况对查准率的影响从图中没有或偶尔反馈的曲线来看，查准率基本上保持在一个固定值上，该 第三章内容主观映射的语义自动标注值的大小基本上取决于初始语义与用户认知差异大小及语义学习时相似度量的准确性，其线形趋于与横坐标保持一个水平的状态;而对于负面修正反馈，包括用户的认知判断缺陷和恶意行为等就会使得查准率不断下降，最后趋于平滑状态，也即相当于正面修正的一个相反的情况。因此，从该实验结果及分析可知，自动语义标注及相关反馈的方式，由于用户的检索行为在其中所起的作用相当重要，对检索性能也有很大的影响，因此，基于该方式之上的检索效果会随着用户的相关反馈行为而变化，不容易确定一个比较稳定的状态，这是仍然存在的一个问题。但是在用户的反馈行为都是正修正的理想情况下，该方式提高的检索性能还是相当显著的。3.5小结在图像视觉特征提取及相似度计算的基础之上，本章讨论了语义自动标注实现的相关环节，包括本文所研究的主观映射形式赋予图像的初始语义而作为训练集，在此基础之上的语义自动标注，这个环节又分为两个具体的情况，正好分别与主观映射及相关反馈相联系。这样，三个方面就有机的整合到了一起。引入相关反馈，这就不仅能使最初的训练集中的初始语义得到修整而且还能在不断的交互过程中改善语义的标注效果，使检索的性能逐渐朝着用户查询需求的角度方向发展，不断去贴近用户检索的主观愿望，达到较好的查准效果和较高的用户满意度。另外，通过语义特征与视觉特征相结合的方式，也在一定程度上改善了“语义鸿沟”问题，使用户能通过他们更熟悉的语义方式去检索图像信息，同时又不失从图像最原始的数据和特征出发，这样便更好地体现了基于内容图像检索的初衷和研究及应用意义。 电子科技大学硕士学位论文第四章总体设计及实验分析基于之前论文对图像特征提取及自动语义标注等相关内容和技术手段的具体研究和分析，本章将所有的环节有机整合，形成一个完整的检索流程，并通过相应的实验实现基于内容主观映射下自动标注语义的检索方式，并根据得到的结果数据对检索的性能进行量化和评价。4.1实验环境本小节主要对论文研究的图像检索方式进行实验分析。下面分别从设计环境和实现环境两个方面作简要的说明。4.1.1设计环境由于文中研究的图像检索方式涉及到需要用户参与相关反馈的环节，因此为了有更直观的显示效果和更友好的交互方式，实验采用了vC6.0作为设计研究环境，同样也出于该环境研究的灵活性、兼容性和易扩展性等特点。在实验过程中，为了简化实验细节，突出实验结果，且图像资源的信息量有限，规模较小，考虑到实验的方便性，没有采用数据库作为图像数据的存储方式，直接以系统中的文件夹代替。4.1.2实现环境对于基于内容主观映射下自动标注语义的图像检索方式，由于图像信息的规模较小，结合设计的环境及检索过程中各个环节对性能的要求，需要如下的实验硬件环境:操作系统:WlndowsXPCPU:Intel⑧Core汀M)ZD电o内存:IG 第四章总体设计及实验分析4.2总体框架及实现本文所研究的基于内容主观映射下自动标注语义的图像检索方式，其实现思想主要分为两个部分:1.图像的处理。该部分也可以看作对检索的管理，首先将最初的图像资源分别做主体和环境(或背景)的主观映射赋予其初始语义，同时通过图像的特征处理手段，分别将对应区域的颜色、纹理和形状特征提取出来，并作相似性度量，根据图像间的相似程度及划定的闽值做进一步的相似聚集，这就在主体和环境的大范围区分之下再作一个细化;另外，当有新的图像资源加入的时候，则通过对图像特征处理后相似性的度量，让新的图像自动学习与之最匹配图像的语义并自动标注，如果新的图像与已经存在的图像并没有较好的相似匹配，则通过手工的方式进行调整。2.用户查询及反馈。用户可以根据查询的需求，区别性的选择所需图像的关注点在主体还是环境(或背景)上，并输入与查询相对应的语义词进行图像的检索。通过语义词的匹配，向用户返回查询到的图像。用户根据自己的检索需求判断，选择或不选其中的图像。在不选的情况下，将询问用户是否反馈修正语义信息，用户将随自己的意愿决定反馈与否以及反馈怎样的语义给系统。同时，系统将根据设置的规则判断反馈的语义是否对初始语义进行修正或只是部分的调整。另外，如果返回的查询结果基本上都不符合用户查询的主观愿望，则用户可选择重新查询，系统将根据一定的策略及相关语义返回区别于前一次的图像信息以供用户重新选择。大致说来这就是一个不断交互和循环的过程，直至用户查询行为停止或完成。另外，设计中保留了一个可扩展的接口，见图4一1的总体框架，提供用户“以图找图”的图像检索方式，只是在本实验中未作具体实现。4.2.1总体框架基于该检索方式实现的主要思想，其总体框架如图4一1所示。可以看到其中以图像查询图像的方式，其结构都是用虚线表示的，因为在本文的实验中并未对其实现，不过在此图中的相关组成己经完整表示出来，实现原理也比较清楚。将这一部分在图中画出，表明了存在着这样一个可扩展的接口，在现有实现的检索方式下，还能再扩充其他的查询方式。同时，这些扩展部分都可以单独完成后，再添加进来，并不会对原有结构造成任何影响。 电子科技大学硕士学位论文另外，从图中还可以看出以图像查询图像的方式和本文实现的语义查询在结构上还是有重盈的部分，也就是说其实现的一部分可以基于现有结构的部分模块，这样就减少了可扩展部分的设计规模。因此，概括来说，该检索框架的设计具有比较好的可扩展性、可复用性、易修改和维护等特点。用用户界面面结结果选择择终终询询查查构构询询建建位位索结果果结结果果正正反饭饭负负反该该断断图像入库初初始始乡乡语语义义特特征提取取最最查查相似性度tt图4-1检索实现的总体框架论文研究的检索方法采用语义示例的查询方式，其基本功能主要包括:1.检索图像库构建l)初始语义赋予:完成对图像库中原始图像资源的初始语义标注，以作为语义学习的训练集。采用主观映射的方式，将语义作为注释数据附加到图像中，成为图像的一部分，方便处理和节省额外的空间开销。标注时区分为两种关注范围:主体和环境(背景)，以满足用户对图像区域的不同选择。2)图像特征聚集:在具有初始语义后，对图像的视觉特征进行提取，包括颜 第四章总体设计及实验分析色、纹理和形状三个方面，并将特征保存在特征库的同时，利用相应的特征值进行相似度的计算，并根据设置的规则，作相似性聚集后形成最初的检索图像库。3)新图像入库:对于检索图像库形成后新加入的图像，先进行视觉特征的提取并存入特征库，同时与特征库中己有的特征进行相似匹配，在满足设定的相似性的情况下，自动选择相似度最高的图片进行语义学习，并映射到图像数据中。如果库中没有与新图像相似匹配较好的图像，则通过手工管理的方式对其进行语义标注的调整。2.用户检索该设计仍然采用用户最熟悉的语义词查询的方式进行图像的检索，用户可以选择返回的图像结果关注点是在主体还是在背景上满足输入的查询词所提出的相关要求。检索实现即将获取的语义词输入与检索库中图像标注的语义信息相匹配，返回满足设定相似阐值的图像给用户，供用户参考和选择。3.相关反馈l)是否重新检索当检索结果返回给用户时，用户通过自己的认知和查询目的判断。如果对此次的返回结果不满意，则可以选择重新检索图像，系统则根据一定的策略返回另一组相似聚集的图像给用户供再次选择，直至用户能够选择到所需图像或放弃检索而不再提出重新检索的要求;2)是否反馈信息如果用户从返回结果中选择了部分自己需要的图像，而在不选择那部分图像时，则会弹出询问用户是否反馈信息的对话框，在第三章己经作了相应说明，具体可见图3一9中左图所示。因这些图像已标注的语义与用户的理解存在了差异，而用户的反馈信息则能影响该语义的修正，所以设置该提示希望能得到用户的参与和配合，从而改善检索性能;3)语义修正用户如果选择了进行反馈的行为，则会弹出对应图像让用户标注其语义的界面，见图3一9中右图所示，这也就是一个对初始语义修正的过程，当用户提交标注的语义信息后，系统结合提交的修正语义和原有标注语义的判断，做出部分调整原有语义或附加修正语义的行为，而用户的反馈行为又分为正反馈和负反馈，也即用户反馈的语义有可能使图像语义的标注更准确使检索性能得到提高，同时也可能错误引导语义的修正与人们的自然理解差异逐渐增大而使检索性能慢慢降低。 电子科技大学硕士学位论文4.预留接口总体框架在设计过程中为今后实现以图像查询图像方式预留了接口，便于今后工作的进一步研究和拓展。4.2.2各部分实现流程论文所研究的检索方式的实现主要分为三个部分:检索图像库构建、用户查询和用户反馈。下面分别阐述各个部分的具体实现流程。1.构建检索图像库。主要包括两个流程:其一，是对原有图像资源通过主观映射赋予初始语义，并通过特征计算进行相似聚集后形成训练集和初始检索库;其二，是在此基础之上进行新的图像入库管理，通过特征的匹配，学习与之相似度最高的图像的语义并入库作为检索的图像资源。对应的流程和可视化界面分别如图4一2和图4-3所示。主主观映射圈像像主观映射图像像主体语义义环境(背景))语语义主主体特征提取取背景特征提取取哑哑含赓二画画二」画〔l匹二刁巫亘又三二夏巫〔三渔二二二}亘二习!夏丁习匹二二区区亘二二二口画二二刃匹二二二亘硕二二二二渔圣应应丝〕特特征入库并计计特征入库并计计算算主体相似性性算背景相似性性..呼.雍一:~:一}t.翻~翻;~滋~建冲姗{}云丽瓦一刁{.琳}}拟“一)}孤若万::}舀}又而云面血〕}面天行丽云面一{{嘛呀万面压函一;琢而面如吐一，舀又石元碗云血{{ll辫11二”)}朋二!l上一，)}卜，.}}图4一2构建初始检索库及管理界面 第四章总体设计及实验分析主主体特征提取取背景特征提取取心..近的文档口桌西特特征入库并进进沙行行特征匹配砚的文档档岁岁我的电..主主观映射语义义砚(主(体尹背景))学学习相似度最最高高图像的语义义图4一3新图像入库流程及对相应界面在图4-3右边所示的图形组合中，上面为新图像入库的操作界面，只需要将新图像放入固定文件夹，点击“加入”后，系统将按照图左边所示流程对图像进行处理，包括特征的提取和匹配以及学习语义后语义的自动标注等。右下部分所示的信息提示框即为上文所提到的，当没有适合的匹配图像可以进行语义的学习，则在此提示出现后按“确定”就出现图4一2中右边的界面，将没有成功学习语义的图像显示出来以进行语义的主观映射操作。如果选择“取消”，则对应图像不能入库。2.用户检索。这个部分实现相对比较简单，用户输入查询语义词后，系统进行检索并返回结果。其流程和相应的界面如图4一4所示。 电子科技大学硕士学位论文图4一4用户检索流程及界面在上文中提到，检索方式还可扩展为以图找图的查询形式，其实现流程与上述流程类似，只是由语义匹配变为特征匹配的方式;在查询界面上，输入语义词处改为选择查询例图即可，模块的扩展和复用十分灵活和方便。3.相关反馈。该环节主要是包含了用户的交互行为，这对检索性能的改善有很大的影响。当检索的结果返回给用户时，用户随自己的意愿对该部分可能做出多个情况的行为选择，其具体流程如图4一5所示。用用户对结果进行判断断反反饭语义信息息用用户选择所摇圈像图4一5相关反馈流程 第四章总体设计及实验分析对于该流程实现的相应界面在第三章中已经列出，见图3一8和图3一9。4.3实验结果及分析根据上文对总体结构及实现流程的描述，在这一小节中将从整体上实验该检索方式的运行效果，并通过检索实现后所得的相关数据进行系统的性能分析。在本实验中主要对比选择主体为关注点的检索性能和选择背景(或环境)为关注点的检索性能，这是在目前的研究中做得比较少的一个方面，这两种方式都在基于内容主观映射下自动标注语义的检索方式下进行实现，并做出具体分析。为了方便横向的对比，实验中采用同样的语义词但选择不同的关注点来观察结果，并在此基础上讨论多次反馈后的效果变化，通过所获的一系列实验数据对该检索方式的实现性能做进一步讨论。4.3.1检索性能度量对于检索性能的测度，实验中主要采用查准率和查全率。满足查询要求图像数夕r已C忍S不O八=x100%(4一l)结果返回的总的图像数满足查询要求图像数recall=00%(4一2)实际相关的图像总数虽然在上一章的实验中已经使用了查准率对检索性能进行了衡量，但并没有明确对其定义，且在本实验中为了平衡两个性能度量，对传统的计算方式进行了修改。同时，一般情况下，查准率较查全率有更加重要的意义，用户通常也对查准率的关注多一些，所以有时会牺牲一定的查全率来保证查准率，计算的具体形式如下:尹阳C绍ionxrecall峥月‘口Q幻七六二二一n+0.srecall其中，preCision和re司1分别为查准率和查全率，F是综合评价测度。4.3.2不同关注点的第一次检索实验结果及分析在用户查询界面输入查询语义词“玫瑰花”后，分别选择“主体”和景 电子科技大学硕士学位论文(或环境)”进行查询，返回的结果分别如图4一6左、右界面所示。困圈目I匀.母0不已匆吐扮O租台t份O不几O盆母O不绪口.口.孕幼O不t兮吐.Q不‘3已.0稀分一O租{”，.}匹亘}二二」匹困图4一6第一次检索结果为了使结果有一定范围的代表性，分别请了八个不同的人对关注点在主体和背景所返回的图像结果做出选择，以此为基础利用公式4一3计算对应的综合评价度，如表4一1中所列。表4一1第一次返回结果的性能度量用用户编号1122334455667788按按主体查询询0.57220.73880.57220.85770.57220.71440.73880.5722按按背景查询询0.42880.28660.42880.28660.14330.28660.28660.4133通过上表中八个人对检索结果的综合评价度可以看出，总体上按主体查询的检索性能明显好于按背景查询的结果。这是因为背景在图中所占比例本身相对较小，通过提取其视觉特征来进行相似匹配并聚集可能造成的误差本身就很大，若图像的语义是通过初始的主观映射的话，则还能保证一定的准确和可靠性，但如果仅仅是通过后期入库的学习，那么相似匹配的误差自然也就影响了语义标注的误差了，这就需要用户的相关反馈来弥补语义学习环节的不足。实验中分别按主体和背景查询的一次检索结果的评价度如图今7中的曲线所示。 第四章总体设计及实验分析918--卜一searehonsubjeCtU一︵U--+-sea优honbaekgroud:O一工带拐OuEe.。Jeu0n︺一o6片5‘口︺0.20.12345678图4-7第一次检索结果的评价度曲线4.3.3多次反馈后的检索结果及分析在第一次返回结果的基础上，让该组用户对不选择的图像分别进行相关反馈，并进行语义的修正，再查询结果和反馈这样做一定数量的循环。当反馈次数达到一定数量级的时候(比如五次为一个数量级)，再让另外一组用户(与之前那组完全不同的四个人)查询结果，并做出综合评价。通过这样不同用户组的方式，使实验的结果具有更大范围的代表性。这里只讨论用户的相关反馈对语义都为正的修正情况，负反馈的相关结果在第三章中已进行过分析。图4一8左右两个界面分别为反馈过程的其中一次检索结果和最后的检索结果。.口.公二e租匀..0枯公肠O不.1....{!画困图4一8多次反馈中的某次和最终检索结果 电子科技大学硕士学位论文这里最终检索结果是指用户停止检索行为，包括查询需求已基本上得到满足和失去耐心等原因放弃了查询。通过用户5在多次反馈过程中对检索结果的评价，记录获得的具体性能度量值如表4-2中所列，对应的检索性能改善情况如图4-9所示。表今2多次反馈后的检索性能度量反反馈数t级ll22334455667788用用户110.28660.32000.36440.42110.48000.50000.54550.6155用用户220.42880.45220.48000.51880.53660.57110.64000.7144用用户330.41330.44770.46660.50220.51440.55990.62330.6855用用户440.14330.22550.30660.36550.43880.47440.51330.55119‘.8，叫卜-Ut.门U︸一十-US屺:-闷务一US.旧-争，-划喃.r400;7.65叫昭D2息工O书贫e亏-巴-u45二db翻Ck】自旧I图今9多次反馈中的某次和最终检索结果通过该组4个用户对查询结果的评价数据，可以看出按背景查询的结果最初效果都不太理想，而当经过了相当次数的用户反馈后，该检索的性能度量值呈逐渐提高的趋势，最后达到一个比较稳定的值，曲线走势与x轴方向大致水平。因此，在以视觉特征为基础来进行图像检索的方式，要在一定程度上提高检索的性能，结合用户的反馈来改善语义标注的准确性是一个比较可行的方式。但从另一个角度来看，要想对检索的性能有更大的提高，还是需要从处理图像本身的特征出发，使之更贴近用户对图像本身的理解和判断。 第四章总体设计及实验分析4.4小结本章是对前面两章各环节采用的技术手段的一个总体上的整合，将检索实现的框架结构及各个部分的具体实现原理、流程以及完成的主要功能都进行了一一的描述，并在此基础之上讨论了该系统框架的特点。同时，也给出了具体功能所关联的操作界面，使得对该检索实现有更直观的认识。通过总体实验，主要对比分析了选择主体或背景(环境)这两种不同关注点下的检索性能，以及多次反馈实验后的性能改善效果。在对相关实验数据进行分析后可以得出关注在图像背景上的查询效果在最初的检索中表现相对较差，其查全及查准率都不能得到保证，通过用户的相关反馈(这里假设基本上为正反馈)后，检索效果得到很大的改善，与关注点为主体的性能表现差距显著缩小，因此可以看出，在该检索方式中用户的行为在很大程度上影响了查询的效果和系统的性能发展方向。换言之，检索性能的变化对用户行为的依赖性较强，这也是存在的一个问题和需要进一步改进的地方。 电子科技大学硕士学位论文第五章结论5.1论文总结随着多媒体技术、网络技术的迅速发展，对图像信息的应用也变得日益广泛，随之而来，有效地管理大规模图像数据库、可视化信息等就成为了迫切需要解决的问题。基于内容的图像检索，在文本方式的基础上做出改进，更深入研究对图像本身特征的分析，针对基于文本的检索中存在的问题而研究多种基于图像特征的更有效的检索方式，基于内容的图像检索必将是未来图像信息查询的发展趋势和主流。然而，虽然基于内容的图像检索近年来得到了大量的研究并取得了长足的进展，但从实际应用来看，仍然存在了许多的问题，尤其在研阳b上的检索，至今仍然采用的是基于文本的方式。因此，研究一种更有效的基于内容的图像检索方式对于将图像检索的巨大应用价值在社会和生活中更好地应用、信息更有效的获取和共享以及网络搜索引擎的发展都是一个相当大的推动和促进。本文在对现有的一些基于内容的图像检索方式的研究和分析的基础之上，探讨了一种基于内容主观映射下自动标注语义的图像检索方式，所做的工作主要体现在以下几个方面:1.图像本身的特征是基于内容检索方式的基础和关键，本文首先从图像的低层视觉特征的分析和提取入手，通过最常用的特征形式:颜色、纹理和形状三个方面的相关知识和算法的讨论，尤其是相似性的度量，结合具体的实验及对相应结果进行分析来验证文中所采用的特征提取算法和相似度计算的有效性以及作为后面检索环节的比较可靠的数据判断依据。2.基于内容的图像检索一直都存在着“语义鸿沟”的问题没有得到很好的改善及有效的解决，这主要是指低层视觉特征和高层语义特征之间的“理解”差距，而用户比较习惯和愿意采用的还是基于对图像语义理解的文字搜索方式，因此，针对该问题，本文在现有语义自动标注技术的基础之上，提出了图像内容主观映射下的语义自动标注方式，分别从理论和相应的实验分析了该方式涉及到的三个环节:主观映射、语义自动标注和相关反馈。并在最后给出了该方式的综合实验的实现过程及结果分析。 第五章结论3.在讨论完本文所提出的基于内容主观映射下自动标注语义的图像检索方式的实现所涉及到的所有理论知识及相关技术手段后，最后设计了该检索方式的总体实现，将前面的技术都有机的整合到一起，包括对实验环境、结构和功能等各个方面的设计，并从整体的实验结果和所得的相关实验数据分析了该检索方式的改善性及存在的不足。5.2未来工作展望由于时间等关系，本文所做的研究及分析都相当有限，只讨论了图像特征中的视觉特征和语义特征，且视觉特征中也只对颜色、纹理和形状三种特征进行了分析和提取。而对于语义的自动标注也只是比较简单的机器学习而已，对于一些模型的建立及应用并未做比较深入的探讨。在以后的工作中，会对未完成的研究继续进行设计和实现:1.对图像的其他特征进行分析和提取，如空间关系的特征等。同时，在以后对图像的检索中应考虑多个特征综合应用的方式;2.由于图像特征提取的质量直接影响到基于内容的各种检索方式的检索性能，因此，在检索过程中应增加对特征优化的考虑;3.对于语义的自动标注，除了机器学习方式，如支持向量机的相关反馈、基于记忆学习以及语义网络等方式都是现在研究的热点，虽然实现上稍微复杂点，但是对检索性能有比较好的提高效果，在这些方面都有待进一步研究;4.由于图像特征提取及相似性度量的计算仍然存在着比较大的复杂度，这样就造成了检索的时效性降低，本文主要针对的是图像检索查准率的研究，对于这方面的不足并没有提出相关改进办法，在以后的工作中对于检索的时效性还需要做进一步的研究和提高;5.基于内容的图像检索在研几b搜索引擎的应用，这是该技术发展的最主要应用之一，由于网络情况的复杂性和信息量的巨大，真正应用到网络中去将是一个非常大的挑战，在这方面还有更多的工作要做。 致谢致谢在此论文完成之际，细细品味两年来硕士研究生的求学经历，我的每一次成长和进步都包含了各位老师、同学、朋友和亲人的关怀与鼓励，请允许我在此一一致谢!首先，我要向我的导师范明任教授致以崇高的敬意和由衷的谢意。论文从选题、提纲的拟订、初稿的修改到最后定稿，范老师都倾注了许多心血并给予了我悉心的指导。同时，在硕士研究生的求学期间范老师又为我提供了良好的学术氛围和科研工作环境，并以渊博的学识、严谨的治学态度、敏锐的洞察力和孜孜不倦的育人态度给我以莫大的帮助和启发。可以说我的每一点成绩都凝聚了范老师辛勤的汗水和耐心的教诲，因此，我再次向范老师表达我诚挚的感谢!感谢王光卫老师给予我的帮助和鼓励。在学习和生活中，王老师对我们无微不至的关怀，使我们在教研室感受到如同家一般的温暖。同时，王老师也教会了我许多做人做事的道理，令我收益匪浅。感谢朱大勇老师在我论文撰写期间给我的宝贵意见和建议;感谢苏老师在平时生活中对我的关心和照顾。感谢我的家人，他们是我心灵坚强的后盾，对我的鼓励、支持和理解，使我能在求学的道路上不畏艰难，勇往直前。感谢丁旭阳、沈学峰等同窗好友，他们无论在学习上或生活中都给我了极大的鼓励和帮助。最后，谨向百忙之中评阅论文和出席论文答辩会的各位专家、教授表示感谢! 参考文献参考文献[l]李向阳，庄越挺，潘云鹤.基于内容图像检索技术与系统.计算机研究与发展.vol3，2001.[2]周明全，耿国华，韦娜.基于内容图像检索技术.清华大学出版社，2007.7.[3]郑浩华.基于内容的图像检索技术综述.中国科技信息，2006.14:124.[4l王芳，董军宇，唐瑞春.基于内容的图像检索的关键技术.MODERNCOMpUTER，2006.1:60.[5」符绍宏，雷菊霞等.因特网信息资源检索与利用.清华大学出版社，2005.9.[6]XQZ五u，HJZhang.2oo1.NewqUeIyI’e6h。叮。tandseInanticsintegI’ated而ageretrieva】systel且withselniautomatic幽。扭6onsch。且e.lol山刀alofElectronichnaging.[7]林家流.基于内容的图像检索的相关技术研究.西安电子科技大学，2007.1.【8]黄斌，杨世洪，吴钦章.用文本检索方法实现基于内容的图像检索.计算机工程与应用，2005.8:92一93.[9」SwamMJ，BallardDH.1991.Colorindexing闭.玩tel毛ationalJouxnalofComPuterVision，VO17，Nol:11一32.【101Ha伍erJ，Saw]比eyHS，etal.1995.Efficioltcoforhistogr田皿indexingforqua击atieformdistaneefunctions明.IEEETrans.OnPatt。刀AnalysisandMaehineIntelligenee，VOI17，No7:729~736.〔川Strick;erM，0代公gOM.1995.Si而larityofcolor加ages[c].15&T/sP正Conf.Onstol甩geandRetrievalofrlinageand巧deoDatab始esll，vol24加，Sanfose，CA:Feb.381一392.[12]、龟d如C，BOujelnaN.2000.UsingFu左沙Histogl冠msandDistaneesforColorImageRetrieval.ChailengeoflinageRdrievai，Brighton.【13]Dou】amisA，Doul印叮15N.2001.凡z砂histogl傲msforeffidentvisualcontentr勺军esentation叩plicationtocontent七ased汕agere侧e明al.正EEint。，ationalConforenceonMult红u诫aandExpo，1100~1103.[14』ChiA，Y涵11H，PhamT.1996.凡石沙algorith功5withaPPlicationsto加ageProcessingandpattonreCO脚tion.认七ddSci切tic.[15]乙山idN，L汕皿dM，EssaidA.1999.Ane，犷elustervalidityforfu左守elustering，Patt。滋ReCO脚tion，Vol32，1089-1097.[16]HanJ，MaK-K2002.FuzZyColorHistograjnandItsUseinColorImageRetrieval，IEEE介叨sactionsOnhnageprocessing，June11(8):叫阵叼952. 电子科技大学硕士学位论文[17lAn山泊utSOsD，Plata叮iotissKN，珑netsanopeulos，AN.1998.众s姗cemeas~forcolor如ages，Jour.ofEleCt.加age，3(l):45一59.【181LOngFI止ui，ZhangHJ.F.gDavidDaganFundamentalsofcontent-basedimageretrieval，inMultim城aInfonnationR冶trievaiandManag曰旧ent2002.[19]Z五angDS，LuG2003.E丫目侧币onofs诚larityM已场un，nentFOr加ageR君trieval.InProc.of正EEInt。刀ationalConfe洲泊ceonNeU司Ne卜刀。d留&signaiPr。以活sing(ICNNsP03)，P92卜931，Nanjing，Q血氏Dec.14-17.[20]钻廿.IH，Moffat人BelTC.1994.Managing以gag尹eS:comPn污singandindexingdoc切口.切叨dunag，.M坦Nos加姐dR前比01氏Newyork，NY[211R卫boer习b8SiPer以争tUalMd对csfor玩a罗DatabaseNavigation.Phdthesis.StanfordUnivorsity.1999.[22]R山曲aJ，Ho五nannT，B公口annJM.1997.Non.P翻n吐netrics而ilarityMeasuresforUnsul曰丽鱿月1’extuJ限S雌，伪tationandImageRetrie丫al.InPrDC以泣ingsoftheIEEEConfe八泊ceonCOmp吐er巧sionandPattel泣Reco加tion，267、272.[23』Rut加er丫Pu云cbaJ，长旧朋iC，dai.20()1.EmP沉calevaluationofdiss如ilaritym‘始u丁esforcolorandtextUre·Cotnl担ter场sionandImageUnd曰rsta叮dj匕g，84(l):25碑3.【24】Ha]出erJ，Saw]比eyHS，etai.1995.E伍cientcolorhistogramindexingforq林a山甩石cformdiste口Ce如mctions〔习.正EETrans.onPattel泊A且a】州5andMa(出ineIntelligence，Vol17，No7:72弘736.〔251DengY访ing，ManjUn川五BS，K巨meyC五ar】es，etal.2001.AnefficientcoforrePresentationfor如age传川。val.正EETI侧”aCtiononImageProcessing，1仪l):l40~147.[26]Ba卫b叮R，FlicknerM，Ha丘er，dai.1994.Effieientande巧戈tive职恻访9by而agecontenLJO.maiofIntelligentInfonnationS邓tems，3:231一262.[27』几c如erM，SawbneyH，Niblackw，etal.1995.伽。ybylinageand劝deoContent:TheQBIcSyst.叮.正EECOmPUter，28(9):23一32.[28]王海晖，彭嘉雄，吴巍2003.采用交互信息量评价遥感图像融合结果的方法.华中科技大学学报，21(12):32一34.[29]陈显，庄天戈，王合.200心.直方图估计交互信息在非刚性图像配准中的应用.计算机学报，23(4):4科八447.【30】王丽宽，胡绍海，王焰.2以鸿.基于交互信息量的医学图像拼合算法.北方交通大学学报只8(2):38码5.[3l]刘亘轶.基于内容的图像检索关键技术研究与系统设计.西安电子科技大学硕士学位论 参考文献文.2006.12.【32]HeDong毛henand认/a119Li.1990.介xtUreUnit，几xttirecoareeness:fiJ时herexPe几ments，IEEEI’arnsactionsonR。叮。teSensing，、b】28，No4.(331K别改aJ五55，GalousiKandMaroulisD.1999.ClassifieationofEndosc币eIrnagesBasedon介xtU传S侧劣tr切叮，从七d留h叩onMach访eLe田卫inginM。五caiAPPlications，5一16.〔34lH田旧lick凡Sh印田mLuganK，Dinstein1.1973.介xtt甘alfea仅甘esfor加ageclassification，IEEESystemManC沙emeties361}612.【351GotliebCCandKreyszigHE.1990.介xh甘edescriPtorsbasedonco心~eematrices.ComPut巧5GtaPhlinageProcess.sl，7小86.[36]Tuc。丫通M，JainAK1994.1七xtureanalysisHandbookofPattel力R以为脚tionandComPuter场sion.〔37]张李秋一种基于纹理特征的图像检索方法.电子科技大学硕士学位论文.2007.4.[35]oonzalezRe，w面dsRE.2992.Digi回加ageProcessing.3已.碱A感五son-wes一ev.[39]B即gholmE1987.助gefc(using.正EEI’ransPatt。刀AnalysisandM朗hinelntelligence，9(9):726-741.[401BhabatO血Chanda，MaiayKK泊nduandYM现1Pa山maja.1988.AMulti一scaleM。呐ologicEdgeDeteCtor.Patt。刀Reco脚tion，31(10):1469-1478.[41]ziouD，毛山加ne5.l993.Amulti2sealeedgedeteCtor.PatemRecognition，26(9):1305一1314.[42]BrO认.MA，Black脚ellKT，andKhalakHGetal.1998.Mu】ti一scaleEdgeDetectionandFeatUreBindj吐g:AnIntegratedApproach.Patternrec0gnition，31(10):1479-1490.[43]曹莉华.用颜色特征进行基于形状的检索.计算机工程与应用.1999(l2):22-24.[44]沈丹，范明任，王光卫.基于内容主观映射的图片检索研究计算机应用研究(己录用)，[45]SZu文nroerMandPieardR.1998.Indoor-0七tdoorIlnageClassification.InW6比shoPinContent七asedAccesstolinageand巧deoDataLbaseS，Bombay，India.[46]、傲UayaA，JainA，即dZhangH.1998.OnIma罗Classification:Cityvs.1力ndscape.PaternReco脚tion，31:1921一1936.[47]HaenngN，Myles2andLoboN.1997.LOcatingD城eiousTn沉活.InWbrkshOPinContent七留edAccesstolinageand珑deoLib钧Lries，18一25，Sanluan，Puerto形co.「48]ForsythDandFleckM.BodyPlans.1997.InIEEEComPuterS喊etyConfe代泊eeonC以川坦terVisionandPa比。刀ReCOgnition，Sanjuan，PuortO形co，678场83.[491La叨七吐泊v，MajtUn川五aR，andjeonJ.Zoo3.Amodelforl~gtheselnanticsofPicttlreS.InNIPSLiYandShaP双’oL.2(X)2.Consis忱泊tlineelustersforbuilding代尤ognitioninCBIR.In 电子科技大学硕士学位论文Int。泊ationaiCon丘牙enceonPatt。刀ReCOgDition，vol3，952~956，QUe卜戈，Canada.[50]CarncoGandM均为nCelosN.2仪”.Fonnulating女mantieIinage九阴otationasasu户贫visedb翅mjngProb】m.InIEEEColifonComl)uter场aionandPatta刀ReCo加tion，San以ego.[5l]张毅.墓于高层语义的图像检索研究.西安电子科技大学硕士学位论文2007.1.[52]刘恒.支持语义的图像检索系统的研究与实现.上海海事大学硕士学位论文2007.1.[53]王彪.基于K-L变换改进算法的车牌自动识别技术研究.东南大学硕士学位论文.2005.7.[541吴建华，万庆茸一种基于K-L变换的彩色图像聚色算法.计算机应用与软件.2000.7.[551Ja】ajaK，BhagyatiC，D仪翻止a回uBL，PujariAKTex姗el二沈tfeatUrech~teriZationSforCBIR.Geosdence叻dRO.oteS。拐mgs丫叮posium，Zoos.IG月妞S’05.Proc以月ings.ZoosIEEE玩temationalVo】切tneZ，25·29JulyZ(X)5Page(s):4pp.[56]田卉，军团发，梁琳.综合颜色、纹理、形状和相关反馈的图像检索.计算机应用研究2007.11.[57]介爪活Rs，piCadoEM，FaicaoAX，CostaLF.E场比tivelmageretrieval妙shaPesaliences·COm训姗G侧内icsand加ageProcessing，2003.SIBGR声卫12(X)3.XVIBn比ilians加tnP0siumon.12一15OCt.20()3Pa州s):167一174.[581肠a枷么Nav以刃s，st以火Inan，G叻馆e.shapeandstrUc姗for如agematchingandretrieval.M朗bj比e巧aion，2(X)7.ICMV2007.玩t。刀ationalConfe叭泊ceon.28一29Dec.2007Pag试s):79一84.[59]EI·ghaZa1A，BasirO，Belkas恤5.ANe胃shal”signatUreforFourierDescnptors.hnageP到洲艾，sing，2007.IcIPZ的7.正EEInt。力ationalConfe成姐ceon.vo】切tnel，S印t.162007习ct·192007Pa州s):I一161一I一164.〔60]范自柱.墓于图像分割的图像检索新方法.华南交通大学学报.voL24No.2，2007.4.[61]Hong-JiangZ五ang.L笼口加g~anticsincon如tb助ed如ageretriev目.IinageandSignal巧.笼朋运g咖灿日”15，期3.15队2003.Pr以冶记ingsof肠3dInt。厄ationals脚osiumon.VOlujmel，18一05印t.2(X)3Pag城s):28今288VOI.l.[62]毛m运aAJM，M田闷切阳J，毛限运aC.FightingtheS。叮叨五cGaPonCBIRSystelnsthroughNewRel~Feedback毛%hJ‘q，es.ComPuter.BasedM喊calsysto.s，2006.cBMs2006.19山IEEEIntemationaiS加tnpoaiumon.2006Pa州s):881一886.[63]、bngR卫i，Tbomas5HUang，珑cbeaio时ega，etai.Rel~ce免edback:apowertoolforint。傲c6vecon愉t七助目而.ge此州e丫目.正EECSVT1998，8(5):6协巧55. 在学期间研究成果在学期间研究成果论文发表沈丹，范明任，王光卫.基于内容主观映射的图像检索研究.计算机应用研究(已录用).参与项目2006.9一2006.12，信息隐藏技术研究;2.2007.3一2007.4，木马技术研究。其他2007.9一2007.n，参与《网络安全协议理论与技术》编写