基于高阶crfs和稀疏字典学习的场景语义解析

《基于高阶crfs和稀疏字典学习的场景语义解析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、■、■＇一ｉｌｌ－３密级：单位代码；１０２９硕±学位论文—．曜论文题目：基于高阶ＣＲＴｓ和稀疏字典学习的场景语义解析一－．＇．．？Ｖ＇兰；＼－Ｔｉ■ｉｉ＼．ｉ．‘，？‘＞Ｉ．．？１０１３Ｑ１０６１７学号徐局帮姓名导师刘天亮学科专业信号与信息处理研究方向图像处理与《媒体通信工学硕±申请学位类别—：；０六年五月论文提交日期；．．．．＇？■—－．．＇，＞

2、．■？■、＇＊；－．，：、一．—‘＇皆記＇－４弯南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加标注和致谢的地方外，论文中不包含其他人已经发表或撰写过，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料的研巧成果。一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意与我。一。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。、、研巧生签

3、名：备為斗日期：（＾南京邮电大学学位论文使用授权声明本人授权南京邮电大学可レッ保留并向国家有关部口或机构送交论文的复印件和电子文可档；允许论文被查阅和借阅；可１＾将学位论文的全部或部分内容编入有关数据库进行检索；论Ｗ采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质一。理。文的内容相致论文的公布（包括刊登）授权南京邮电大学研究生院办设密学位论文在解密后适巧本授权书。如、、、研究生签名：／結导师签名：日期；少（）ｈ１气SceneSemanticParsingUs

4、ingHigh-OrderCRFsandSparseDictionaryLearningThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByXuGaobangSupervisor:Prof.LiuTianliangMay2016摘要图像语义标注作为场景理解中的一个基本问题，已成为计算机视觉领域研究的热点；并广泛应用于探险搜索、自动导航、安全防护、医疗护理等领域，具有重要的学术

5、研究和工程应用价值。于是，本文设计了一种基于高阶条件随机场(CRFs)和稀疏字典学习的场景语义标注框架。首先，利用融合深度的多尺度分层过分割法获得场景的超像素区域；接着，利用融合区域级多模态感知线索特征的二阶CRFs模型，实现基于自底向上区域级表达的图像场景标注；然后，利用不同类别统计先验约束判别性视觉特征的稀疏字典表示，构成基于判别性稀疏字典学习的高阶CRFs模型，实现基于自顶向下语义类别判别成本约束的场景语义标注。针对目前快速的非监督过分割方法在复杂场景中难于获得与目标物体的一致性边缘，本文提出采用基于多源感知

6、多尺度组合成组的全局概率边缘超度量图(gpb-ucm)分层方法进行过分割待标注的RGB-D场景。首先，利用场景中图像色彩、纹理及深度等感知线索，基于gpb-ucm分割法进行多尺度分层过分割得到不同尺度下的过分割区域图；然后，基于投影变换配准每个尺度的过分割区域图；最后，融合合并各个尺度配准下的过分割区域的边缘权值，以实现合成最终的分层分割区域图。NYUDepthV2数据集上实验表明，基于深度信息和多尺度融合改进过分割法，能提升划分待解析场景超像素区域的目标物体边缘性能，为后续基于以超像素分割区域为节点的概率图模型的

7、语义标注框架提供紧凑且可靠的场景结构表达。鉴于传统场景语义标注方案中单一模态局部特征的表达能力欠佳和局部特征信息难于捕获上下文语义标签之间有效依赖的问题，本文提出一种基于自底向上多模态特征融合的二阶CRFs模型建模场景上下文关系的图像语义标注方法。首先，以即得场景过分割区域为节点，分别提取并归一化以颜色驱动的核描述子外观特征和以深度驱动的HHA几何特征。接着，拼接各个超像素区域节点即得的归一化多模态视觉特征向量；利用支持向量机(SVM)分类器判别超像素区域相应的语义类别得分作为该CRFs模型中各节点的一元项势能；以

8、相邻超像素过分割区域中LUV空间色彩特征差异为该CRFs模型中邻域边的成对项势能，自底向上构建待解析场景区域级表示的概率图模型。然后，在结构化支持向量机框架SSVM下，最小化训练集中基准标注图与基于该CRFs推断的标注图之间的误差，基于BCFW(BlockCoordinateFrank-Wolfe)优化方法学习该二阶CRFs模型参数。最后，给定CRFs模型和