基于区域上下文感知的图像标注

《基于区域上下文感知的图像标注》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３７卷第６期计算机学报Ｖｏｌ．３７Ｎｏ．６２０１４年６月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＪｕｎｅ２０１４基于区域上下文感知的图像标注邱泽宇方全桑基韬徐常胜（中国科学院自动化研究所模式识别国家重点实验室北京１００１９０）（中国－新加坡数学媒体研究院新加坡１１９６１５）摘要随着互联网的发展，网络图像指数般增长，图像理解技术变得日益重要．其中图像标注技术作为其关键技术得到广泛关注和研究．现有的图像标注技术大多是在图像层次上训练标签模型，忽略了图像区域之间的关系及其标签之间的关系．为了解决这个问题，文中提出了一种新的算法，结合区域之间的位置关系及其标签之间的共生关系辅助标注图像．具

2、体而言，算法首先使用支持向量机对部分可确定区域赋予语义标签，然后利用区域位置关系帮助聚类标注未知区域．得到一幅图所有的区域标签后，我们提出两种模型对标签共生关系建模辅助修正标签集，一个是随机游走模型，另一个是条件随机场模型．最终算法输出每幅图像的文本标签集．在对图像集ＮＵＳ－ＷＩＤＥ的标注实验中显示，上述方法和单纯考虑区域关系的方法相比，标注效果和性能有了较好的改善，证实该方法是一种稳定、有效的标注算法．关键词图像标注；上下文信息；随机游走；条件随机场中图法分类号ＴＰ３９１ＤＯＩ号１０．３７２４／ＳＰ．Ｊ．１０１６．２０１４．０１３９０ＲｅｇｉｏｎａｌＣｏｎｔｅｘｔ－ＡｗａｒｅＩｍａｇｅＡｎｎ

3、ｏｔａｔｉｏｎＱＩＵＺｅ－ＹｕＦＡＮＧＱｕａｎＳＡＮＧＪｉ－ＴａｏＸＵＣｈａｎｇ－Ｓｈｅｎｇ（ＮａｔｉｏｎａｌＬａｂｏｒａｔｏｒｙｏｆＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩｎｓｔｉｔｕｔｅｏｆＡｕｔｏｍａｔｉｏｎ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０）（Ｃｈｉｎａ－ＳｉｎｇａｐｏｒｅＩｎｓｔｉｔｕｔｅｏｆＤｉｇｉｔａｌＭｅｄｉａ，Ｓｉｎｇａｐｏｒｅ１１９６１５）ＡｂｓｔｒａｃｔＮｏｗａｄａｙｓ，ｔｈｅａｍｏｕｎｔｏｆｏｎｌｉｎｅｉｍａｇｅｓｈａｓｇｒｏｗｎｅｘｐｌｏｓｉｖｅｌｙ．Ｔｈｉｓｔｒｉｇｇｅｒｓｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｅｆｆｅｃｔｉｖｅ

4、ｉｍａｇｅｕｎｄｅｒｓｔａｎｄｉｎｇｔｅｃｈｎｉｑｕｅｓ．Ａｓａｋｅｙｔｅｃｈｎｉｑｕｅ，ｉｍａｇｅａｎｎｏｔａｔｉｏｎａｔｔｒａｃｔｓｂｒｏａｄａｔｔｅｎｔｉｏｎ．Ｍｏｓｔｅｘｉｓｔｉｎｇｗｏｒｋｌｅａｒｎｓｍｏｄｅｌｓｏｎｔｈｅｗｈｏｌｅｉｍａｇｅｆｏｒａｎｎｏｔａｔｉｏｎｔａｓｋ．Ｈｏｗｅｖｅｒ，ｔｈｅｓｅｍｅｔｈｏｄｓｉｇｎｏｒｅｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｒｅｇｉｏｎｓｉｎｓｉｄｅａｎｉｍａｇｅａｎｄｔｈｅｔａｇｃｏ－ｏｃｃｕｒｒｅｎｃｅｒｅｌａｔｉｏｎｓｈｉｐｓ，ｗｈｉｃｈｅｓｓｅｎｔｉａｌｌｙｌｉｍｉｔｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｉｍａｇｅａｎｎｏｔａｔｉｏ

5、ｎ．Ｔｏｔａｃｋｌｅｔｈｉｓｉｓｓｕｅ，ｗｅｐｒｏｐｏｓｅａｎｏｖｅｌｓｃｈｅｍｅｔｈａｔａｉｍｓｔｏｅｘｐｌｏｉｔｔｈｅｒｅｇｉｏｎａｎｄｔａｇｃｏ－ｏｃｃｕｒｒｅｎｃｅｃｏｎｔｅｘｔｆｏｒｉｍａｇｅａｎｎｏｔａｔｉｏｎ．Ｆｉｒｓｔ，ｗｅｕｓｅｔｈｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ（ＳＶＭｓ）ｔｒａｉｎｅｄｏｎｏｂｊｅｃｔｃａｔｅｇｏｒｉｅｓｔｏｉｄｅｎｔｉｆｙｋｎｏｗｎａｎｄｕｎｋｎｏｗｎｒｅｇｉｏｎｓ．Ｓｅｃｏｎｄ，ｓｐａｔｉａｌｒｅｇｉｏｎｃｏｎｔｅｘｔｄｅｓｃｒｉｐｔｏｒｂａｓｅｄｃｌｕｓｔｅｒｉｎｇｉｓｕｓｅｄｔｏａｎｎｏｔａｔｅｔｈｅｕｎｋｎｏｗｎｒｅｇｉｏｎｓ．Ｆｉｎ

6、ａｌｌｙ，ｔｗｏｉｎｓｔａｎｔｉａｔｉｏｎｍｏｄｅｌｓ，ｒａｎｄｏｍｗａｌｋａｎｄｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍｆｉｅｌｄ（ＣＲＦ），ａｒｅｅｘｐｌｏｒｅｄｔｏｒｅｆｉｎｅｔｈｅａｇｇｒｅｇａｔｅｄｒｅｇｉｏｎｔａｇｓｆｏｒｉｍａｇｅａｎｎｏｔａｔｉｏｎｂｙｕｔｉｌｉｚｉｎｇｔａｇｃｏ－ｏｃｃｕｒｒｅｎｃｅｒｅｌａｔｉｏｎｓｈｉｐ．ＷｅｃｏｎｄｕｃｔｅｘｐｅｒｉｍｅｎｔｓｏｎａｓｕｂｓｅｔｏｆＮＵＳ－ＷＩＤＥ．Ｔｈｅｒｅｓｕｌｔｓｈａｖｅｄｅｍｏｎｓｔｒａｔｅｄｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｏｕｒｉｍａｇｅａｎｎｏｔａｔｉｏｎｍｅｔｈｏｄ．Ｋｅｙｗｏｒｄｓｉｍａｇｅａｎｎｏｔａｔｉｏ

7、ｎ；ｃｏｎｔｅｘｔ－ａｗａｒｅ；ｒａｎｄｏｍｗａｌｋ；ＣＲＦ收稿日期：２０１３－０８－１２；最终修改稿收到日期：２０１３－１２－２６．本课题得到国家“九七三”重点基础研究发展规划项目基金（２０１２ＣＢ３１６３０４）、国家自然科学基金（６１２２５００９）、北京市自然科学基金（４１３１００４）和新加坡国家研究基金资助．邱泽宇，男，１９９１年生，硕士研究生，主要研究方向为社会媒体分析、多媒体检索和数据挖