基于高级语义特征的图像检索技术研究

《基于高级语义特征的图像检索技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于高级语义特征的图像检索技术研究容的图像检索初衷是想根据人对图像的理解和认识来衡量图像间的相似性实现检索的，这种人对图像的理解是图像的高层语义知识。理想的图像查询模式应如：用户查找一幅孩子们在公园玩耍的图像，为了满足用户的查询要求，系统应能够自动识别到含有语义“孩子"和“公园”的图像，返回给用户。根据图像的含义来判断图像是否符合自己的需要才是更合理的图像检索方式。所以，基于语义内容的图像检索121l应该是今后基于内容的图像检索研究的新趋势。有关语义检索的部分是本论文的主要研究内容，将在后面几章中详细的叙述。1．3基于语义内容的图像检索技术1．3．1语义特征提取语义提取是图像语义

2、检索的核心问题，语义提取的最终目标是将图像库中的每一幅图像用一定的语义表示。语义提取包含两个过程：语义注释和语义注释外延。语义注释是指建立图像或图像视觉特征到图像语义表示的映射或联系过程；语义注释外延是利用语义注解建立的映射或联系将图像库中的图像标注上语义的过程。1．3．1．1语义特征提取模型图1．1图像语义提取模型传统方法大都使用分层抽取机制来支持图像的语义处理。这些层次可以通过特征提取模型来描述，分层抽取的过程分别对应模型中底层特征抽取、对象5基于高级语义特征的图像检索技术研究识别和基于领域知识推理的语义提取过程见图1．1。提取底层特征主要包括颜色、纹理、形状等，且通常分为全

3、局特征和局部特征两类。全局特征将整个图像作为一个单独的实体，它的主要优点是特征抽取和模式匹配算法的复杂度较低，而主要缺点是检索返回的结果中有很大比例的不相关图像。局部特征可以被用来识别图像中的显著对象，并抽取图像中更多的细节信息。图像被分割成一系列区域，再对分割好的区域提取多种特征。每个区域表示一个潜在的用户感兴趣的对象，并且将由对象识别层进行对象的识别，提取更高层的语义。利用与对象相关的知识进行对象局部特征的提取，将提供一个更加鲁棒的索引和检索机制。对象识别过程通过将存储在知识库中的对象模型与抽取的图像特征相匹配来识别图像中的对象。通常，对象模型是一个特定对象模板，在匹配过程中

4、将检查每一个对象模板来获得最相似的匹配。通过精确匹配来识别对象，计算复杂度较高，并且匹配的质量依赖于图像中对象的表现，由于同一对象在不同情况获得的图像中通常会表现出不同的特征，固定模板的精确匹配肯定无法取得好的效果。可变模板是更加可行的方法，它通过先将原型模板的轮廓施加概率变换，再将变换后的模板与输入图像中的显著边相匹配。为了提高查询的成功率，并且保证好的候选图像不落选，在相似性度量中必然要用到一些模糊和统计的技术，而且人工对输出图像的检查通常不可避免。1．3．1．2语义检索方法依据语义的复杂性，一般将语义分为三个层次如图1．2。从原始图像出发，第一层为底层特征层，包含了颜色、形

5、状、纹理等图像的视觉特征及其组合，这个层次还没有利用图像的语义信息，基于内容的图像检索目前就处于该层次；第二层为对象语义层或语义模板层，需要根据一定的逻辑推理和识别以获得图像中包含的对象类别(如足球、人、飞机等)以及对象的空间位置关系，或者通过语义模板匹配判断图像属于某些语义类；第三层为抽象的语义层，包含了场景语义、行为语义、情感语义等，需要对所描述的对象和场景的含义进行高层推理，将图像内容和抽象概念联系起来。其中，各层次间的推理和判断需要建立在知识、规则和学习的基础之上。三个层次最主要的差别体现在第一层和第二层之间，即是否利用了图像的语义，这三个层次之间的差别称作语义鸿沟(Se

6、manticGap)，图像的语义提取就是致力于连接各层之间的“语义鸿沟”。6基于高级语义特征的图像检索技术研究倚定颜色、袈埋、彤茯倚让特征语义第一层吾义及其组合，如：红色圆形'p对冢即出蚬对象语义第二层语义如：一匹马，长城——．⋯⋯一。，一1r耳丁冢ZIflJ即芏1日J夭糸空间关系语义如：在房子旁边的人r㈨-⋯⋯'●图像所处的场景场景语义第三层语义如：日出、沙滩等“M⋯_、l～一-'r坷冢所表不削仃7马或活明行为语义如：一场足球赛㈨⋯“““1p图像甜人帘米删土观{戥。盾情感语义如：害怕、开心等图1．2层次化语义模型在图像语义的表示方式和语义提取方法的研究中，各国学者们分别从不同的

7、方面进行了研究并提出了自己的模型和方法。现有对图像中对象进行识别和语义提取的研究和实验主要有四个途径：基于对象区域的分析、通过学习分类方式由底层特征导出语义概念或主观倾向、通过人机交互的相关反馈方法获得语义信息、通过外部信息来间接探测语义信息。还有很多研究方法结合了其中多种途径，下面逐一介绍并给出相关文献综述。1．基于对象区域的语义提取【22·27】根据图1．2定义的语义提取模型，提取图像的底层特征，在系统预先提供的知识下，通过将存储在知识库中的具有语义意义的对象模型与图像底层特