图像语义分析与理解综述

《图像语义分析与理解综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第23卷第2期模式识别与人工智能Vo1．23NO．22010年4月PR＆AIApr2010图像语义分析与理解综述高隽谢昭张骏吴克伟(合肥工业大学计算机与信息学院合肥230009)摘要语义分析是图像理解中高层认知的重点和难点，存在图像文本之间的语义鸿沟和文本描述多义性两大关键问题．以图像本体的语义化为核心，在归纳图像语义特征及上下文表示的基础上，全面阐述生成法、判别法和句法描述法3种图像语义处理策略．总结语义词汇的客观基准和评价方法．最后指出图像语义理解的发展方向．关键词图像理解，语义鸿沟，语义一致性，

2、语义评价中图法分类号TP391．4ImageSemanticAnalysisandUnderstanding：AReviewGAOJun，XIEZhao，ZHANGJun，WUKe—Wei(SchoolofComputerandInformation，HefeiUniversityofTechnology，Hefei230009)ABSTRACTSemanticanalysisistheimportanceanddificultyofhigh—levelinterpretationinimageund

3、erstanding，inwhichtherearetwokeyissuesoftext—imagesemanticgapandtextdescriptionpolysemy．Concentrating0nsemantizationofimagesontology，threesophisticatedmethodologiesareroundlyreviewedasgenerative，discriminativeanddescriptivegrammaronthebasisofconcludingi

4、magessemanticfeaturesandcontextexpression．Theobjectivebenchmarkandevaluationforsemanticvocabularyareinducedaswel1．Finally，thesummarizeddirectionsforfurtherresearchesonsemanticsinimageunderstandingarediscussedintensively．KeyWordsImageUnderstanding，Semant

5、icGap，SemanticConsistency，SemanticEvaluation1引言究图像中何位置有何目标(whatiswhere)、目标场景之间的相互关系、图像是何场景以及如何应用场图像理解(ImageUnderstanding，IU)就是对图景的一门科学．图像理解输入的是数据，输出的是知像的语义解释．它是以图像为对象，知识为核心，研识，属于图像研究领域的高层内卜．语义(se．国家自然科学基金资助项目(No．60875012，60905005)收稿t3期：2009—12～21；修回13期：

6、2010—01—27作者简介高隽，男，1963年生，教授，博士生导师，主要研究方向为图像理解、智能信息处理、光电信息处理等．E—mail：gaojun@hfut．edu．an．谢昭，男，1980年生，博士，讲师，主要研究方向为计算机视觉、智能信息处理、模式识别．张骏，女，1984年生，博士研究生，主要研究方向为图像理解、认知视觉、机器学习．吴克伟，男，1984年生，博士研究生，主要研究方向为图像理解、人工智能．模式识别与人工智能23卷mantics)作为知识信息的基本描述载体，能将完整过程中．的图像内

7、容转换成可直观理解的类文本语言表达，本文将对上述两个图像语义理解中的问题进行在图像理解中起着至关重要的作用．方法提炼和总结．针对语义鸿沟问题，介绍已有模型图像理解中的语义分析在应用领域的潜力是巨和方法的处理策略．还采用较完备的图像语义“标大的．图像中丰富的语义知识可提供较精确的图像尺”(Benchmark)解决语义的主观多义性．搜索引擎(SearchingEngine)，生成智能的数字图像相册和虚拟世界中的视觉场景描述．同时，在图像理2图像内容的语义分析解本体的研究中，可有效形成“数据．知识”的相互驱

8、动体系，包含有意义的上下文(Context)信息和层状图像内容描述具有“像素一区域．目标-场景”的结构(Hierarchica1．Structured)信息，能更快速、更准层次包含关系，而语义描述的本质就是采用合理的确地识别和检测出场景中的特定目标(如，识别出构词方式进行词汇编码(Encoding)和注解(Annota-场景中的“显示器”，根据场景语义知识可自动识别tion)的过程．这种过程与图像内容的各层描述密切附近的“键盘”)．相关，图像像素和区域信