基于区域语义的图像标注和检索

《基于区域语义的图像标注和检索》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、http://www.paper.edu.cn1基于区域语义的图像标注和检索陈世亮,李战怀,袁柳西北工业大学计算机学院，陕西西安710072E-mail：chensl@mail.nwpu.edu.cn摘要：合理的图像描述是图像检索的基础，现有的基于关键字标注的方法由于缺乏对图像语义和特征统一描述的能力，难以准确地建立关键字和图像间的关联。采用基于图像分割、并结合图像区域的内容特征抽取，建立图像区域与底层特征间的关联，用基于距离的分类算法，计算区域特征间的相似性，用关键字实现图像语义的自动标注，对标注结果采用基于区域的图像检索进行评价

2、。关键词：图像标注区域语义语义关联1.引言随着多媒体数据库尤其是图像库的广泛应用，图像检索技术逐渐成为研究的热点。基于内容的图像检索(content-basedimageretrieval,简称CBIR)是目前图像检索技术的主流[1]，通过自动提取图像底层视觉特征的统计信息，如颜色、纹理和形状等，作为图像的索引特征，利用距离函数计算图像间相似性，从而判别图像间的相似程度，实现基于内容的图像检索。CBIR具有表示客观、计算简单、性能稳定的特点，但内容特征是关于图像的统计信息，表示不够直观，虽然避免了主观性，却缺乏对图像所蕴涵的语义信息

3、的描述，不便于用户的理解和描述。用户在进行图像检索时重点关注的是图像中蕴涵的、可用自然语言描述、易于用户理解[2]和表示的图像语义信息，基于语义的图像检索是更理想的检索方式。目前基于语义的图像[3]检索还停留在以手工标注为基础的基于主题的关键字查询(Query-by-Subject)。关键字可以表达图像的部分高层语义，这种方法在某些场合是非常有效的，但采用手工方法用关键字标注图像语义，由于用户对图像的理解不同，不可避免地存在主观性和不精确性。如何有效解决底层视觉特征和丰富语义之间存在的“语义鸿沟”，为用户提供自然、简洁、有效的图像检

4、索方法，提高检索的精度和效率是图像检索的目标。近年来有关图像检索的研究逐渐转向语义和内容相结合的方式，即通过图像的底层特征推知高层语义。从图像的底层特征中自动提取语义特征，实现图像语义的自动标注，计算图像高层语义间相似程度，作为图像检索的依据，是基于内容的图像检索领域的新课题。1本课题得到高等学校博士学科点专项科研基金（项目编号：20022069901）资助-1-http://www.paper.edu.cn2.相关工作有关图像标注和检索技术的研究主要包括基于内容的图像检索(CBIR)和基于关键字标注的图像检索。基于内容的图像检索利

5、用图像本身包含的颜色、纹理、形状、空间关系等视觉特征提供多种形式的检索，如IBM的“QBIC”[4]为代表的基于内容特征的检索系统，能提供基于范例、草图、颜色和纹理特征等形式的检索；基于关键字标注的方法则通过手工标注图像，利用成熟的文本检索技术实现图像的检索。由于基于内容的图像检索只考虑图像的全局特征，且缺乏对图像语义内容的描述，目前基于内容的图像检索的应用还只局限于某些特定的领域；而基于关键字标注的方法则需要解决繁重的手工劳动及用户对语义理解上的差异问题，结合图像特征内容实现图像的自动标注的研究逐渐提上了议事日程。已有许多结合图像

6、特征内容的语义标注和检索方面的研究成果，iFind[5]结合图像标注和相关反馈技术，实现了一种基于用户反馈的半自动标注策略，通过建立关键字和图像间的语义网络，用关键字标注图像的高层语义，以不同的权值表示图像和关键字之间的关联程度，并引入相关反馈机制，实现对语义网络进行改进以提高性能。iFind中的语义网络如图1所示，其中每幅图像可以用多个关键字标注，一个关键字也可以关联多幅图像，关联的程度用权值表示，Wij表示关键字keywordi与图像imagej关联的程度。文献[6]则提出了一种基于统计模型的图像标注和检索方法，通过统计单词和图

7、像对象同时出现的次数，标注图像的语义，并估计正确标注的概率。文献[7]给出了一种新的图像分类标注方法，采用基于关键字传播标注图像，将每一幅图像划分到一个预定义的类中，用与这个类相关的关键字标注图像语义。与以前的方法不同，该方法不再需要一个预定义的词典，用于保存标注中出现的新频繁词。文献[8]给出了两种识别图像中底层特征和高层概念之间潜在联系的方法，利用分类树和k-means聚类算法标注图像的语义信息。上述方法从不同角度出发，采用关键字标注图像的语义，但所采用的关键字与图像的底层特征之间缺乏联系，难以实现图像语义的自动标注。实际上图像

8、的语义更多是通过图像中对象的语义来体现的，而对象的底层特征相对比较固定，利用对象的底层特征实现图像语义-2-http://www.paper.edu.cn的自动标注是一种可行的方法。抽取图像对象的底层特征，利用图像对象间底层特征的相似