《弱标注环境下基于多标签深度学习的加速图像标注》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
：公开学校代码：１０００４密级如Ｍ道乂攀ＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±专业学位论文■■Ｖ：中－弱标注环境下基于多标签深度学习的加速图像标注作者姓名温翔工程领域控制工程．璋；自指导教师赵林海教授‘－苗培养院系电子信息工程学院；巧巧释Ｍ＇皆１ｗ：ｍｊｎＭ．．掛护．’巧奮嚴摄瑟巧邊巧．． 如交４乂攀硕±专业学位论文弱标注环境下基于多标签深度学习的加速图像标注Ｆａ巧ｅ－ｒＩｍａｅＡｎｎｏｔａｔｉｏｎＢａｓｅｄｏｎＭｕｌｔｉＬａｂｅｌＤｅｅＬｅａｒｎｉｎｆｂｒｇｐｇＷｅａｋｌｙＬａｂｅｌｅｄＤａｔａｓｅｔ作者：温翔导师：赵林海教授北京交通大学２０１６年６月 学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编Ｗ供査阅和借阅。同意学校向国家有关部口或机构送交论文的复印件和磁盘。学校可レッ为存在馆际合作关系的兄弟高校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）＇学位论文作者签名：渔ｆｗ导师签名：签字日期：又刮（年６月日签字日期：《年／月＞多日 ：０００４密：学校代码１级公开北京交通大学硕±专业学位论文弱标注环境下基于多标签深度学习的加速图像标注Ｆａ－ｓｔｅｒＩｍａｅＡｎｎｏｔａｔｉｏｎＢａｓｅｄｏｎＭｕｌｔｉＬａｂｅｌＤｅｅｐＬｅａｒｎｉｎｆｏｒｇｇＷｅａｋｌＬａｂｅｌｅｄＤａｔａｓｅｔｙ作者姓名：温翔学号；１４口５１２２导师姓名：：赵林海职称教授工程硕±专业领域：控制工程学位级别：硕±北京交通大学２０化年６月１ 致谢本论文的工作是在我的导师赵林海教授的悉也指导下完成的，赵林海教授严谨的治学态度和科学的工作方法给了我极大的帮助和影响、。在此衷屯感谢Ｈ年来趁林海老师对我的关也和指导。赵林海教授悉也指导我们完成了实验室的科研工作，在学习上和生活上都给予了我很大的关也和帮助，在此向赵林海老师表示衷也的谢意。赵林海教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷必的感谢。在实验室工作及撰写论文期间一、，孟样松吴蒙、李溪林、徐帆、赵泽等师兄在学习、科研和生活等方面都给予我很大的帮助和指导，冯栋、陈琢、黄国栋、王通等同学对我完成论文研巧工作给予了热倩帮助，在此向他们表达我的感激之情。感谢中科院自动化所模式识别国家重点实验室的董未名老师和腾讯优图团队的张宝，巧晓威等工程师在我实习期间的鼓励和支持。另外也感谢我的家人，感激他们的理解和支持，在我的学业和生活都给予了、大力支持和鼓励，使我能够在学校专屯完成我的学业。ｉｉ 北京交通大学硕±专业学位论文摘要随着数字信息技术不断融入人们生活，各种图像的数量増长迅猛，如何对送些海量的图像进行有效的管理并从中挖掘出对用户有用的信息成为亟需解决的问题。图像的多标签语义标注用自然语言来描述图像，将对图像的检索转换为人类。易于理解的文本检索，是解决，！Ｍ上问题的有效办法因此图像的多标签语义标注越来越受到重视。一当前多标签图像标注主要遇到两个问题。个来源于算法层面；基于传统机器学习的算法特征提取十分复杂，需要有经验的人进行精也的特征选取；而基于多标签深度学习的图像标注虽然效果好且不需要人工进行特征提取和挑选，但是当前的深度学习模型往往由于计算量巨大导致ＣＰＵ模式下标注速度过巧而实用性一较差：；个来源于数据层面真实环境中训练数据集广泛存在语义标签集不完整问题，而且低频语义标签和髙频语义标签的图像数据分布十分不均衡，这种数据集称为弱标注数据集，这种数据集的标签不完整和语义分布失衡会严重的影响模型的学习效果。针对上述问题，本文提出了弱标注环境下基于多标签深度学习的图像加速标注方法。论文的主要工作如下：一（－１）针对深度卷积神经网络ＶＧＧ１６速度过巧的问题，构建了种新的深度：通过修改模型卷积核的步长等方法卷积神经网络，巧小每层的输出维度，构建一出个参数计算＊约为网络ＶＧＧ－１６近１／７的深度卷积神经网络ＮｅｗＮｅｔ；然后再＿对本文提出的网络的相应卷积层进行奇异值分解巧ＶＤ），并构建出参数计算＊约为－６近Ｎ网络ＶＧＧ１１／１０的分解网络ＮｅｗＳＶＤｅｔ。本文提出的分解网络在测试集上＿＿的平均准确率相比于网络ＶＧＧ－１６降低２．５％，但是在ＣＰＵ模式下处理单张图片的速度却加快了近６倍，大大提升了深度模型的实用性。（２）针对弱标注数据集环巧的训练数据集，设计了针对弱标注数据集的数据迭代优化算法框架：通过补充低频语义标签的单标签田像数据的方法来提升深度卷积神经网络对低频语义标签的识别巧度；通过得到的最终模型对原始训练集进行预测标注，并与原始标签集进行合并，其中预測标注步巧本文使用特征胜合和ＫＮＮ分类器替代ｓｏｆｔｍａｘ分类器进行了优化。经实验证明，在相关数据集上，迭７％Ｇ－６和代优化后的训练巧据集标签个数相比原始标签集増加近．经网络ＶＧ１ＮｅｗＮｅｔ进行学习至收敛后，在同样拥试集上的平均准确率提升约１．２％。＿论文工作己应用于巧巧优困开放平台围像识剔等商业围巧识别服务，获得良好的效果。关键词Ｓ弱标注；图像掠注；多标签深度学习；数巧迭代ｉｉｉ 北京交通大学硕±专业学位论文ＡＢＳＴＲＡＣＴＡＢＳＴＲＡＣＴＷｉｔｈｔｈｅｒａｐｉｄｗｉｄｅｓｐｒｅａｄｏｆｄｉｇｉｔａｌ化ｃｈｎｉｑｕｅｓ，ｔｈｅｎｕｍｂ舟ｏｆｉｍａｇｅｓｈａｓｂｅｅｎｒｉｓｅｄｒａｐｉｄｌｙ．Ｈｏｗ化ｍａｎａｇｅ化ｅｓｅｉｍａｇｅｓａｎｄｇｅｔｔｈｅｕｓｅｆｔｉｌｉｎｆｏｒｍａｔｉｏｎｆｒｏｍ化ｅｓｅｍａｕ－ｉｇｅｓｉｓａｎｕｒｅｎｔｒｏｂｌｅｍ．Ｔｈｅｍｌｔｉｌａｂｅｌａｎｎｏｔａｔｉｏｎｏｆｉｍａｅｉｓａｏｏｄｓｏｌｕｔｉｏｎｂｇｐｇｇｙｕｓｉｎｇｎａｔｕｒａｌｌａｎｕａｅｔｏｄｅｓｃｒｉｂｅｔｈｅｉｍａｅｓｏｔｈａｔｉｔｈａｓｂｅｃｏｍｅｏｎｅｏｆ化ｅｈｏｔｅｓｔｇｇｇｔｓｍａｎｗ－ｒｅｓｅａｒｃｈｐｏｉｎ．Ｎｏｗｔｈｅｒｅａｒｅｙｐｒｏｂｌｅｍｓｉ化ｔｈｅｔａｓｋｏｆｍｕｌｔｉｌａｂｅｌｉｍａｇｅａｎｎｏｔａｔｉｏｎ：Ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆ的出＂ｏｎａｌｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｉｓｖｅｒｙｃｏｍｅｘｕｎｏｅｅ－－ｎｄｏｕｔｔｗｈａｐｌａｎｄｃｏｌｄｔａｃｈｉｅｖｅｔｈｎｄｔｏｅｕｉｃｈｂａｄｌｆｅｃｔｓｃｏｍｍ舟ｃｉａｌｐｊｙａ－ｐｐｌｉｃａｔｉｏｎｓ．ＡＵｈｏｕｈ化ｃｄｅｅｌｅａｒｎｉｎｈａｓｂｅｔｅｒＫｓｕｌｔｏｆｍｕｌｔｉｌａｂｅｌｉｍａｅｇｐｇｇａｎｎｏｔａｔｉｏｎ＾ｂｕｔｔｈｉｓｍｅｔｈｏｄｉｓｔｏｏｓｌｏｗｆｏｒｃｏｍｍＣＴｃｉａｌａｐｐｌｉｃａｔｉｏｎｂｅｃａｕ化ｏｆｔｈｅｄｅｅｐｌｅａｒｎｉｎｇｏｄｅｌｈａｓａｌａｒｅｎｕｍｂｅｒｏｆａｒａｍｅ化巧．Ｗｈａｔｉｓｍｏｒｅ，也ｅｔｒａｉｎｉｎｄａｔａｓｅｔｓｍｇｐｇａｒｅａｌｗａｙｓｎｏｔｃｏｍｐｌｅｔｅｌｙ，ａｎｄｈａｓｔｈｅｐｒｏｂｌｅｍｏｆｓｅｍａｎｔｉｃ出ｓｔｒｉｂｕｔｉｏｎｉｍｂａｌａｎｃｅｉｎｒｅａｌｗｏｒｌｄｓ＇＇Ｗｃｈｎａｍｅｄｗｅａｋｌｙｌａｂｅｌｅｄｄａｔａｓｅｔｓｗｏ山ｄｂａｄｌａｆｅｃｔｓｔｈｅｒｅｓｕｌｔｏｆ，ｙｉｍａｇｅａｎｎｏｔａｔｉｏｎ．Ｉｎｖｉｅｗｏｆｔｈｅａｂｏｖｅｒｏｂｌｅｍｓ，ｔｈｉｓａｅｒｒｏｏｓｅｓａｍｅｔｈｏｄｏｆ位幻打ｐｐｐｐｐｔｔｔ－ｔｔｉｍａｅａｎｎｏａｉｏｎｂａｓｅｄｏｎｍｕｌｉｌａｂｅｌｄｅｅｌｅａｒｎｉｎｆｏｒｗｅａｋｌｌａｂｅｌｅｄｄａａｓｅ．Ｔｈｅｇｐｇｙｍａｉｎｗｏｒｋｏｆｔｈｉｓ化ｅｓｉｓｉｓａｓｆｏｌｌｏｗｓ：ｆｏｒｗａｒｄａｍｅｈｏｄｏｆ垃－ＰｕｔｔＳｔ舟ｉｍａｇｅａｎｎｏｔａｔｉｏｎｂａｓｅｄｏｎｍｕｌｔｉｌａｂｅｌｄｅｅｐｌｅａｒｎｉｎｇ．ＴｈｉｓｔｈｅｓｉｓｐｕｔａｎｅｗｍｏｄｅｌｗｈｉｃｈｈａｓｆｅｗｅｒｐａｒａｍｅｔｅｒｓｂｙｍｏｄｉｆｙｉｎｇｔｈｅｓｔｒｉｄｅｏｆｔｈｅＣｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌａｎｄｔｈｅｎｕｍｂｅｒｏｆｏｕｔｐｕｔｓｏｆｅａｃｈｌａｙｅｒ，ｗｈａｔｉｓｍｏｒｅ，ｔｈｉｓ化ｅｓｉｓｈａｓｂｅｅｎｄｅｃｏｍｐｏ化ｄｓｏｍｅｃｏｎｖｏ山ｔｉｏｎｌａｙｅｒｓｂｙＳＶＤｓｏｔｈａｔｔｈｅｎｅｗｍｏｄｅ－－ｌｒｕｎｓａｌｍｏｓｔ６ｔｉｍｅｓ拉ｓｔｅｒｔｈａｎＶＧＧ１６ｍｏｄｅｌａｎｄｔｈｅｍａｃｒｏａｃｃｕｒａｃｙｏｆｍｏｄｅｌｕｓｔｒｅｄｕｃｅｄ２．５％．ｊＰｕｔｆｏｒｗａｒｄａｉｔｅｒａｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｆｒａｍｅｗｏｒｋｆｏｒｔｈｅｗｅａｋｌｙｌａｂｅｌｅｄｄａｔａｓｅｔ．Ｔｈｅｉｔｅｒａｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｆｒａｍｅｗｏｒｋｔｈｒｏｕｇｈａｄｄｉｎｇｔｈｅｓｉｎｇｌｅ－ｌａｂｅｌｅｄｉｍａｇｅｓｏｆｔｈｅｌｏｗ任ｅｑｕｅｎｃｙｓｅｍａｎｔｉｃｌａｂｅｌ化ｉｍｒｏｖｅ化ｅｒｅｃｏｎｉｔｉｏｎａｃｃｕｒａｃｐｇｙ－ｏｆ化ｅｌｏｗｆｒｅｅｎｃｓｅｍａｎｔｉｃ，ｗｈａｔｉｓｍｏｒｅｔｈｅｍｏｔｈｅｄｏｆｆｅａｔｕｒｅｆｉｉｓｉｏｎａｎｄＫＮＮｑｕｙ，ｃｌａｓｓｉｆｉｅｒｗａｓｕｓｅｄｉｎｔｈｅｐｒｅｄｉｃｔｉｏｎｓｔｅｐ．Ｆｉｎａｌｌｙ，Ｔｈｅｎｕｍｂｅｒｏｆｔａｇｓｉｎｃｒｅａｓｅｄ７％ｉｎＴｅｎｃｅｎｔｄａｔａ说ｔａｎｄｔｈｅｍａｃｒｏ巧ｃｃｕｒａｃｙｏｆｔｈｅｎｅｗｄａｔａｓｅｔｉｎｃｒｅａｓｅｄ１．２％■Ｔｈｅ化ｗｏｒｋｈａｓｂｅｅｎａｐｐｌｉｅｄｉｎＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇｏｆＴｅｎｃｅｎｔＳｅｓｔｉｍａｅＯｅｎｇｐｌａｔｆｏｒｍａｎｄＷｅｉＹｕｎｏｆＴｅｎｃｅｎｔａｃｈｉｅｖｅｏｏｄｃｏｍｍ舟ｃｉａｌａｌｉｃａｔｉｏｎ＊ｐ，ｇｐｐＫＥＹＷＯＲＤＳ－：Ｗｅａｋｌｌａｂｅｌｅｄ＆ｓｔｅｒｉｍａｅａｎｎｏｔａｔｉｏｎｍｕｌｔｉｌａｂｅｌｄｅｅｌｅａｒｎｉｎｙ；ｇ；ｐｇ；Ｄａｔａｉｔｅｒａｔｉｏｎｉｖ 北京交通大学硕±专业学位论文１＾目录摘要ＩＩＩＡＢＳＴＲＡＣＴＩＶ１绪论１．１研巧背景与选题意义１１１．２图像标注研巧现状３１．２．１图像标注方法类别３１．２．２图像标注关键问题４１．３深度学习的研巧现状５１６．４本文主要工作及结构安排２图像标注和深度学习相关知识８２８．１多标签图像标注框架２丄１图像特征提取９２．１．２多标签分类算法１１２丄３弱标注环境下的图像标注１３２．２深度学习的基本概念１５２１６．２．１巧层学习和深度学习２．３深度学习模型１７２．３．１卷积神经网络ＣＮＮ１７（）２－．３２深度卷积神经网络ＶＧＧ１６２０２．４基于多标签深度学习的国像标注２２２．４．１基于多标签学习的损失函数２３２．４．２深度模型的训练２４２．５图像标注的评价标准２６２．６本章小节２８３弱标注环境下基于多标签深度学习的加速困像惊注２９３．１深度模型的加速方法２９３丄１主要思路２９３丄２加速深度卷积神经网络的设计３１３丄３加速网络卷积层的ＳＶＤ分解３４Ｖ 北京交通大学硕±专业学位论文＾３．２结合深度学习的弱标注数据的迭代优化３９３．２．１基本思路３９３．２．２算法框架模型４１３．２．３特征融合和分类器优化４３３．３本章小节４７４实验验证４８４．１实验环境的搭建４８４．２加速模型实验５０４．２．１实验数据５０４．２．２实验设计５１４．２．３实验结果Ｗ及分析５２４．３迭代优化实验５３４．３．１实验数据５３４．３．２实验设计５４４．３．３实验结果Ｗ及分析５５５总结与展望５７５．１总结５７５．２未来工作展望５８参考文献５９作者简历及攻读硕±６２／博±学位期间取得的研巧成果独创性声明６３学位论文数据集６４ｖｉ 北巧交通大学硕±专业学位论义绪论１绪论１．１研究背景与选题意义随着数字信息技术的飞速发展，各种数字信息如文本、图像和视频正成为人们获取信息和分享信息的主流载体，不断深入影响着人们的生产和生活。这些与人们的生产和生活息息相关的数字信息在给人们带来便利的时候，也带来了不便管理和检索的麻烦，由于这些海量的数据包含着人们的许多有用信息，因此如何更加有效的管理这些数字信息显得十分重要。这些数字信息中图像信息相比于文，还是视频信息的基础字不仅可Ｗ描述对象的客观视觉信息，因此如何有效的对一图像信息进行管理直是多媒体领域的重要的研巧课题，在学术界和工业界也巧来越受到关注。对图像信息管理的应用图像检索为人们检索图像信息带来了极大的便利，因一直驱动着人们进行相关领域的研巧此图像检索的应用。２０世纪９０年代兴起的基于内容的图像检索系统主要是结合从图像中提取出的底层视觉特征进行对图像的相似检索，如旧Ｍ公司的ＱＢＩＣ系统和Ｖｉｒａｇｅ系统的Ｖｉｒａｇｅ系统，都是Ｗ输出特征相似的图像作为检索结果。但是，这些底层视觉特征包括颜色、纹理和形状等＂＂。与人类对图像内容所理解的含义之间有着很大的差距，即存在着语义鸿沟为了＂＂．解决语义鸿沟问题就需要用自然语言对图像进行描述，使得更加接近人类的理解Ｗ因此对图像的语义标注开始广泛引起人们的关注。使用自然语义对图像进行描述就是图像标注，这样每张圍片都可用语义标签来表示，就可Ｗ把图像检索转换－１为人类易于接受的文本检索，如图１所示。國－團１１多标签圈片Ｈ－－ｕｒｅ１１Ｍ山ｔｉｌａｂｅｌｉｍａｅｇｇ１ 北京巧通大学硕±专业学位论义绪论该图像被婚纱、欧式建筑、合影等多个语义标签进行了标注，比较完整和准确的描述了该图像包含的信息，人们在使用文字检索便可Ｗ十分简便的将该图检索出来一＂＂。虽然这种基于文本检索的图像检索可解决定的语义鸿沟问题，但是却十分依赖于图像的文字描述。图像标注的语义标签质量越高，数量越多，描述Ｗ的图像视觉内容就越清晰，人们检索到的图像结果也越准确。这种图像的多标签标注早期主要是采用人工标注的方法来实现的，但是人工一标注存在两个缺点：是人工标注时存在由于人工的主观误差导致的漏标的情况，—是由于需要标注的图像信息数量庞大，达到百万甚至千万级别，而人工标注的速度有限，因此依靠人工进行标注不仅人力需求大，且耗费时间也过长。随着自动图像标注的技术不断发展成巧，出现了很多使用计算模型对图像进行自动标注的方法，这些方法的核也在于通过数学建模来学习图像与语义标签之间的映射关系。因此凰像的多标签标注也被看做是多标签分类过程，即通过模型学习图像与多个语义标签之间的映射关系，最后根据模型学习到的映射关系对图像分配语义标签给團像。图巧语义的多标签自动标注可大呈减少人工的消耗，Ｗ。有利于标注数据的累积，也有利于图像检索的大规模实际应用目前针对围像标注的研巧分为深度学习方法和浅层学习方法，深度学习方法由于无巧人工挑选特征而且在多数数据集上都有着明显优于浅层学习方法的表现，因此深度学习方法逐渐成为当前的研巧热点。。深度学习方法虽然有着许《优点，但是其计算参数Ｓ十分巨大例如应用广Ｗ－ＧＧ－泛的深度卷积神经网络ＶＧＧ１６，适然Ｖ１６的效果显著，但是它的缺点也很－。明显。ＶＧＧ１６模型的计算复杂度达到过百亿ＦＬＯＰＳ其中ＦＬＯＰＳ代表每秒所执行的浮点运算次数，这种量级的计算复杂度是十分庞大的。虽然现在出现了专口用于深度学习计算的执行复杂数学运算的ＧＰＵ这种图形处理器，可Ｗ使得计算速度大大提升。但是，这种机器它的售价十分昂贵，即使对于大型的互联网公司，要负荷大＊的ＧＰＵ也是一笔不小的开销。因此，想要全部使用ＧＰＵ来处理海量的图片数据从商业角度来考巧是不可行的，必须考虑使用性价比更商的方案来进行替代。。相对ＧＰＵ来说，ＣＰＵ服务器价格便宣很多同样的价位可Ｗ部署多个ＣＰＵ－服务器。但是深度学习模型如ＶＧＧｎｅｔ１６在ＧＰＵ服务器上和在ＣＰＵ服务器上的一一计算速度相差甚远。在ＧＰＵ上计算张图片般巧要０．０２ｓ左右，而在ＣＰＵ服务巧上则需要将近２ｓ。假如同样是处理１００００００张图片，ＧＰＵ服务器上需要５个小时５．７８天。，而在ＣＰＵ服务器上则巧要这种差距对于商业应用来说是无法接受的。除此之外，对于用户体验来说，一假设深度学习摸型用于产品体验中，人们处理张困片时，肯定是无法接受２ｓ才２ 化京巧通大学硕＋专、绪论Ｉｋ学位论义有反馈。因此对于需要使用深度学习的工业界企业来说，如何在ＣＰＵ模式下尽量使深度学习模型可Ｗ更加具有可用性，是当前的研巧热点。如果可Ｗ在ＣＰＵ模式下也可用实现深度学习模型达到基本满足用户要求，即模型输出速度加快，则可Ｗ大大减少企业的商业成本。除了上述的加速问题，基于深度学习方法的图像标注还面临着训练数据集处一于弱标注环境的问题。由于深度卷积神经网络的学习是个监咨学习的过程，因此深度卷积神经网络的训练需要大童的商质童的训练数据集作为教师信号，训练数据集的好坏直接影响着深度卷积神经网络的预测能为。可是在现实情况下，要获得大量的离质量的训练数据集千分困难，即使是人工标注获得的训练数据集也往往存在着，：标签不完整情况即已标注的语义标签相比于该图像实际包含的语义标签而言不够完整，即商；语义分布不平衡的情况频语义标签的图像数据和低频语义标签的图像数据不平巧，往往低频语义标签的图像数据量相比于高频语义标签的数据量而言近乎可Ｗ忽略；这种训练数据集称为弱标注环境下的训练数据集，这种弱标注环境下的训练集不仅会严重巧响模型Ｗ的学习？，，大幅度降低模型的團像的标注性能因此如何在弱标注环境下进行图。像标注，具有很强的实际应用意义１．２图巧标注研究现状１．２．１图巧巧注方法类别依据建模方法进行分类，目前图像自动标注的方法可划分为Ｈ类，分别是生成模型、判别模型和图模型１基于生成模型的图像标注（）生成模型是指利用己有算法，从而生，统计两个或者多个数据集合进行比较成这些数据集合之间的关联模型。应用于图像标注领域的生成模型就是通过统计一？图像和对应的语义标签起出现的联合概率分布，得到用于图像标注的模型最早由Ｄｕｙｇｕ，该巧译模型通过图像分割和区ｌｕ等人提出巧译模型就属于生成模型一域聚类的方法，进步生成相对应的字典，从而将，将视觉特征转化为视觉单词留像标注问麽转换巧了词典和视觉特征之间的巧译过程Ｊｅｏｎ等人提出用图像聚类的结果来表示困像并统计子区域类型和关键词的额率来实现图像标注的交叉巧Ｗ体相关棋型；Ｌａｖｒｅｎｋｏ等人提出用连续的围像区域特征来表示图像并估计单词的］生产概率，这种连续空间相关模型方法相比于交叉媒体模型可１＾１防止围像信息丢３ｉ 北京交通大学硕卡专、Ｉｋ学位论文绪论Ｗ失问题。Ｆｅｎｇ等人利用多重伯努利分布来估计单词的生成概率，效率相比之前一的方法有明显提髙，但是间接的损失了定主题基于生成模型的图像标注优点在于标注更加准确ｆＷ，但是过于复杂导致常用于小规模数据集；２）基于判别模型的图像标注（一一个语义栋签当成是基于判别模型的團像标注是将图像的个类别，即将图像标注问题看作为语义标签的分类问题，起初基于判别模型的图像标注主要为二分类，用于对国像的类别进行区分，如区分城市和非城市风巧、区分室内和室外。但是随着人们对图像检索的需求不断提高，简单的二分类己经不够满足图像的标注需求，因此图像的语义标注问题也趋向为多分类问题。Ｃａｒａｅｉｒｏ等人提出利用髙斯混合模型对同类图像进行建模，通过估计类间的概ｆＷ率得到类分布模型，然后对困像进行标注之后路晶等人提出基于多例学习和；ｔＷＳＶＭ的图像标注方法，该方法通过后发式的迭代来最小化分类误差；Ｆａｎｇ等人ｔｗ判别模型的图像语义标注由于提出结合层次分类的方法对图像进行标注；基于只需要对图像进行分类即可，因此可应用于大规模固像标注，但是缺点在于往往需要高质量的训练数据；（３）基于图模型的图像标注一一围模型是类用图来表示概率分布的类技术的总称。卢汉清等人提出将图像与图像之间的相似性作为依据训练得到图像初始标注，接着结合词语间的语义ｔＷＰ相关性，通过图学习优化巧始标注实现團像的标注；ａｎ等人通过构造出困巧和ｔＷ人语义标签的相关图，利用相关图之间的权值关系进行图像的标注；巧晓光等提出将困像的视觉特征代入图模型并采用大规模图像数据集对词典限制进行突破，１【＾Ｌｉｕ使得该模型适用于大型数据集；等人在前面的基础上提出了新的图像标注方法，这种方法结合了图像与困像、图像与语义标签、语义栋签和语义标签之间的。关系，最后通过流形式排巧进行信息传播，实现图像标注但是基于图模型的图，像标注模型离度复杂，不仅要对困像集充分了解还要设计存储空间和模式，因ｔｗ此不利于海量困像的标注。１２．２．图像巧注关键问題ｔｗ图像的自动语义标注主要有Ｗ下两个关键问题：（１语义鸿沟问屈）国像的视觉特征和人类理解的自然语言之间的差异称为语义鸿沟。围像标注中：，困後特征和巧层语义之间存在巧多种层面的语义鸿沟问麼提取的视觉特征一和图像的视觉内容之间的鸿沟，即两幅视觉上看起来不致的图像视觉特征却十４ 北京交通大学硕±专业学位论义绪论一分相似，：视觉内容和高层语义的不致性的鸿巧，如蓝色的天空和蓝色的大海，但是语义则完全不同视觉内容虽然相似；高层语义模糊的鸿沟，用户对图像的一种主观理解语义内容往往是，缺少客观的确切的判断准则。（巧多标签学习问题图像标注是一个多标签分配过程，需要将图像包含的多个语义标签都标注给图像。多标签学习存在着Ｗ下问题：语义概念相关性问题，由于语义概念之间并不完全独立，它们之间存在着很强的共现性，因此清晰的学习不同语义概念之间的边界是十分困难的问题ｆｗ数据不平衡Ｗ及标签集不完整问题；，其中数据不平衡表现在不同语义概念之间的数据不平衡，即现实世界中存在着髙频语义标签和低频语义标签之分，在训练数据集中低频语义标签的图像数据十分低频，而髙频语义标签的围像数据相比而言过多。而标签集不完整体现在图像己标注的语义禄签和该图像实际上该包含的语义标签相比，总是不够完整，由于标注模型训练的准确度和训练数据息息相关，数据的不平衡Ｗ及标签不完整等问题给图像标注带来很大困难。１．３深度学习的研究现状、深度学习作为人工智能的新的突破点，通过模巧神经细胞网络，在围巧文本等多个领域都取得了突破。最早的深度学习结构是基于人工神经网络进行构建的，但是效果并不突出，在１９８９年，ＹａｎｎＬｅＣｕｎ等人在深度神经网络中运用反向传播算法，成功运用于手写识别，可是这种网络不但训练时间消巧过长，而且也受到其他简单模型如支持向ｆｉ机等巧层模型的拂战。直到２００６年，加拿大教授Ｈｉｎｔｏｎ提出了基于ＲＢＭ（受限玻尔兹曼机，ＲｅｓｔｒｉｃｔＢｏｌｔｚｍａｎｎｍａｃｈｉｎｅ，ＲＢＭ）的深度置信网络（Ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ．ＤＢＮ），这种深度网络在手写数识别上实现了惊人的突破：，证明了Ｈｉｎｔｏｎ教授提出的两个观点多隐层的人工神经网络相比于人工的特征提取，具有更加优异的数据刻画能力，即可Ｗ学习到更加本质的巧２１’‘‘’１１－－据特征］通过（ｌａｅｒｗｉｓｅｒｅｔｒｉｉｎ）。深度神经网络可（＾１逐层初始化ｙｐａｎｇ来实现ｕｉｆ一网络模型的收敛．这开创性的理论为之后的深度学习莫定了扎实的基础。随后Ｌｅｃｕｎ等人提出了针对困像应用领巧的的卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏ出ＣＮＮ）它的卷积层结构有利于获得图像特征之间的相对位Ｓ信息。，，Ｋｒｉｚｈｅｖ出ｙ等人把深度卷积神经网络ＡｌｅｘＮｅｔ应用于困像分类，并取得了很好的结２３［］果。Ｓｉｍｏｎｙａｎ之后提出深度卷积神经网络ＶＧＧ和Ｓｚｅｇｅｄｙ等人提出的深度卷ｆＷ积神经网络ＧｏｏｇｌｅＮｅｔ都探索了加深网络深度，并取得了显著的成功。卷积神经网络方法的最大的好处就是不再需要人工挑选特征，获得的图像特征都被证明５１ 北京交通大学硕±专化学位论义绪论比人工挑选的更加底层。，在同样的分类器下，有着更加好的分类效果上述的深度学习方法都是针对的单标签的分类问题，直到２０１４年Ｇｏｎｇ等人提出的－Ｍｕｌｔｉｌａｂｅｌｓｏｆｔｍａｘ和ＷＡＲＰｌｔ深度卷等基于多标签学习的损失函数，结合ＡｅｘＮｅ－Ｗ积神经网络，在ＮＵＳＩＤＥ数据集上取得了比传统的多标签分类算法更加优秀的Ｐ５１效果。随着深度卷积神经网络的不断发展，基于多标签深度学习的图像标注越正成为人们研巧的热点。１．４本文主要工作及结构安排分析Ｗ上研巧现状－，本文的主要工作和章节安排如图１２所示。研巧背巧与意义提出问睡＾＾研巧现状＾＜１＾＾０＝评诚式下５网络处理训练数据美处于弱标注环巧＾＾＾｜＾＾－－ｒ妙－ｉｍ理论基础深度巧巧神经结合深度模型现有的Ｗ决强巧理弘论至脂础ＩＩＩ眶旧化《化巧－网络ＶＧＧ１６及的《标签学习巧注环巧的方ｇ評其原理Ｉ支法Ｉ法Ｉ本文提出的的深解决办法经Ｉ繁神就＿異＼７＿提出特征巧合Ｉ、、件ＩＳ喔巧Ｒ刪架ＩＩ算法实验验证巧度与巧度巧ｉｉＴ致据优化程度訟ＩＩＩ—－巧总结与展望总结与展里田－２本文主要工作层次结构示意图１巧ｕｒｅ＾２ＳｔｒｕｃｔｕｒｅｏｆｍａｉｎＷＯ出ｈｉｅｒａｒｄｉｙｉｎｔｈｅａｅｒｐｐｇ一：本文针对基于深度学习的西像标注间鹿，拟针对两个问趣进巧优化个是６ｉ 北京交通大学硕±专业学位论义绪论深度卷积神经网络参数过大导致标注图片速度过慢问题；二是多标签训练数据集的弱标注环境问题。本论文的工作主要分为两个一，个是对深度卷积神经网络的改进从而实现加一速，个是通过结合数据补充等策略实现数据迭代优化从而优化弱标注环境的训练数据。第一章是绪论部分；阐述了基，首先介绍了本文的研巧背巧和意义于浅层学习方法图像标注的研巧现状，并介绍了弱标注环境的研巧进展：接着详述了深度学习的发展和现状；最后总结了本文的主要工作Ｗ及章节结构。第二章是论文关于图像标注的深度学习的基础知识介绍：首先介绍了图像标一注的基本框架、多标签学习的相关算法レッ及针对弱标注环境的些解决办法；然后介绍了深度学习的概念，着重介绍了卷积神，然后对比了浅层学习和深度学习经网络原理广泛的深度卷积神经网络ＶＧＧ－１６讲解了基，并详细分析了当前应用；于多标签深度学习的图像标注算法框架；最后介绍了常用的应用于图像标注的评。价方法，为之后的章节做基础铺垫第王章是介绍了本文的主要工作：针对基于多标签深度学习在ＣＰＵ模式下运算过于缓慢的问题，通过修改卷积核的大小和深度，提出参数较少的深度卷积神－经网络Ｎｅｗｎｅｔ，本文提出的模型在计算参数量上相比深度卷积神经网络ＶＧＧ１６＿减少近７倍。在此基础上本文继续对Ｎｅｗｎｅｔ的相应卷积层进行ＳＶＤ分解，使得＿ｗＳＶＤ－ｅｎｅｔ参数量相比于ＶＧＧｎｅｔ１６模型减少近分解得到的深度卷积神经网络Ｎ＿＿１０倍；针对训练数据集的弱标注环境，提出了从数据角度出发通过改善训练数据集从而能提升模型巧度的算法框架，分为算法框架的整体介绍，Ｗ及在迭代预測时为提升预测结果所提出的多模型特征巧合和ＫＮＮ分类器替代ｓｏｆｔｍａｘ分类器的方法。第五章是实验验证，首先介绍了Ｃａｆｅ框架的基本运行流程和实验的硬件环巧，接着分别对本文提出的加速模型和数据迭代优化巧法框架进行了实验验证，在腾讯Ｑｚｏｎｅ十万张多标签数据集上进行模型的训练和效果的评价，对比了加速模型一－６Ｃａｆｅ框架下ＣＰＵ模型的速度和同测试集上多标签图像标和ＶＧＧｎｅｔ１模型在一－－－ｌｌ、ｎｕ注的ｍａｃｒｏｒｅｃｉｓｉｏｎ、ｍａｃｒｏｒｅｃａｍａｃｒｏａｃｃｕｊｙ的指标Ｉ对比了同模型在数ｐ据迭代前后的效果。第六章是本文的总结和展望，系统总结了本文的工作，提出了本文仍可Ｗ优一工作进行了展望化和进步的地方？，对下步研巧７ 北京巧通大学硕±专化学仿论义图化掠注和深度学习相关知识２图像标注和深度学习相关知识在深度学习理论出现之前，图像标注就己经有了众多学者针对不同的应用场景和领域提出了很多不同的理论和方法。本文提出的方法结合了两者的相关方法，因此本文将分别介绍图像标注和深度学习。由于基于多标签深度学习的图像标注属于基于判别模型的图像标注方法，因此接下来本章将详细分贝介绍基于判别模型的图像标注算法框架和相关的标注知识和深度学习的相关知识，为之后网络和算法框架的提出做铺垫。２．１多巧签图像标注框架－如图２１所示，基于判别模型的图像标注的关键步骤分别是图像的特征提取和。模型的多标签分类：将数据集分成Ｈ部分，分别为训练集、验证集和测试集在训练过程中，首先提取训练集的图像特征，然后用分类模型学习特征和对应的语义标签的对应关系，直到模型在训练集和验证集上都收敛，就说明分类模型己经训练完毕；在测试过程中，通过同样的图像特征提取方法得到测试数据集的图像特征，分，然后用训练得到的多标签分类模型对测试集图像的图巧特征进行分类。类得到测试集的语义标签类别，就完成了图像标注过程从图像标注框架中可Ｗ看出，图像惊注最为关键的两个步巧分别为特征提取和分类模型？，下面本文将详细介绍人王特征提取的方法和相关的多标签分类算法训练图像测试困像Ｉ集集王击特征提取轉征提取巧类盛测试模型结果－困２１困像标注流程巧ｕ历－ｈｅｏｆｉｍａｅａｎｎｏｔａｔｉｏｎｇ２１Ｔｒｏｃｅｓｓｇｐ８＊ 北京交通大学硕±专北学仿论义函復标注和深巧学习相关知识２．１．１图像特征提取图像特征不仅是图像标注的关键之一提取，也是实现图像标注的前提，特征是将一副图像的髙维数据矩阵简化表达。分类算法要从这些简化的矩阵中找到和语义标签的映射关系，因此特征的提取直接决定了效果的好坏。图像特征提取是。图像标注的前提，也是影响图像标注效果的关键因素传统的特征提取需要人工Ｊ进行主观挑选，由于图像在各个层面的表现都可＾＾ｌ提取特定的特征，例如有视觉底层特征如颜色、纹理、形状，而各种特征提取的表达图像的主要信息在面对不同的分类需求时表现也不尽相同。针对如何从图像中提取出有效的特征，众多学者进行了很多的尝试。总体来说、纹理特征、形状特征等底层特征和局部特征等。，图像特征可包括颜色特征一其中颜色、纹理、形状等属于图像的底层特征，是种全局的视觉特征，适合图、，，比如旋光照等，而局部像理解使用比较广泛，但是容易受到环境的干扰转。特征虽然不容易受外界环境干扰，具有很好的稳定但是它只能反映图像的局部。特征，只适合于图像匹配等应用这两种都是传统围像特征提取常用的，下面分别介绍常用的底层特征和局部特征。底层特征主要包含Ｗ下：（１）颜色特征颜色是图像中非常重要和使用十分广泛的视觉特征，其和困像的尺寸和方向、物品等息息相。等都不相关，颜色往往可Ｗ和图像里面的场巧关颜色特征的提取有下方法，从而表达出不同颜：颜色直方團是通过统计图像中所有的像素值色在图像中所占的比例，有全局、主色，可Ｗ通过坐标系或者颜色空间计算得到。调等颜色直方图，常用来描述颜色特征此外、ＲＧＢ与ＨＳＶ空间转换等方法，其中颜色巧合向量，还有颜色聚合向量色空间的位置，，优势很明显它将像素分为巧虽然比较繁琐，但是它可Ｗ确定颜一民ＧＢ与ＨＳＶ！另外合和非聚合，然后对颜色族的两部分进行比较得到结果种ｅ色彩Ｓａｔｕｒａｔｉｏｎ饱和度，Ｖｌａｕｅ即ＨＳＶ空间转换，亮度，则是由于人眼对Ｈｕ（）（）（）三个分量比较敏感ｅｄ红色，Ｇｒｅｅｎ绿色，，而基本上大部分的團片都是用的Ｒ（）（）Ｂ山ｅ蓝色即ＲＧＢ空间，因此要进行ＲＧＢ至ＨＳＶ的转换。ＲＧＢ转换成ＨＳＶ颜（）简单一Ｈ进行，色空间为非线性转换，是可逆的而且十分巧转化之后只需要考巧ＶＲＧＢ低，因此可Ｗ提升西像的处理速度运巧，此外ＨＳ颜色空间维数相比２纹理特征（）。纹理是与图像中物体的表面性质相关的特征，因此十分重要纹理基元具有不变性Ａ不同形变、方向多次出现组成纹理，是空间，它在巧定区域的多个位ＳＵ９ｉ 北京交通大学硕±专业学位论义图便标注和巧巧学习相关知识区域里的像素灰度值变化模式。常用的纹理特征的提取方法分为统计、信号处理、结构和模型法四类统计方法是对像素灰度值的特性和规律进行统计分析从而一进行描述，适用于人工纹理和些自然纹理如树、草等纹理。常用的算法主要有灰度－梯度共生矩阵、半方差图和自相关函数等；模型方法的思路是把特征提取当成是一种分布的估计一，主要有两种做法：种是用定量学习得到概率模型参数，再用聚类实现参数更新，这样得到概率就可得到归属的概率一，叫做随机场另外种是确定图像尺度变化时的分形维数，叫做分形法，；ＰＷ常用的算法有Ｇｉｂｂｓ随机场模型法和马尔科夫随机场模型法。（３）形状特征形状特征是与图像中物体边界相关的特征，形状可Ｗ很好的对物体进行归纳，比如火车的形状、飞机的形状，它比颜色或者纹理有更好的表达性能。但是目前如何获得国像中物体的形状特征仍然是十分困难的。形状特征包括对形状边界描一述的轮巧特征和对包含区域进行描述的区域特征，它们般都是用形状无关矩和傅里叶变换来描述的。、局部特征常分为斑点和角点两类，其中斑点是指图像中与周围物体的颜色一。灰度等有着明显差异的区域，如湖中央的个小岛而角点则是图像中的物体的。线条相互交叉的部分，因此斑点往往比角点有更好的稳定性本文侧重介绍常用ｔＷＰＷ、ＳＵＲＦ于图像标注的斑点局部特征提取方法ＳＩＦＴ恃征提取特征提取：１）ＳＩＦＴ特征（由Ｌｏｗｅ提出的ＳＩＦＴ是全称是尺度不变特征变换算法，通过高斯核卷积建立高斯差分空间金字塔，该特征点不仅仅有尺度不变性，在角度旋，再提取特征点转，因此得、图像的光照强度或者图巧视角的情况下依然有很好的特征表达性能到了广泛的使用。ＳＩＦＴ特征提取主要分为Ｈ个步巧；构建高斯差分金字塔、捜索特征点、描述一一特征。首先通过阶髙斯差分建立个具有线性关系的金字塔结构，然后对缝隙位置进行插值，，再求极值点的位置即特征点捜索其中巧要注意的是要册除边缘效应的点，得出，最后就是通过统计分析恃征点领域内的点的梯度方向的直方图特征点的主方向。巧ＳＵＲＦ特征ＳＵＲＦ特征是基于ＳＩＦＴ算法的基础上，针对幻ＦＴ巧法计算１：大的缺点进行改一？它进的的加速鲁棒特征，是种斑点检測方法的思巧是在不同尺度上用积分困像计算出近似的Ｈａｒｒ小波值。ＳＵＲＦ特征提取的不停在于使用了盒子淹波巧，这种裙波器可简化二阶微分，从而相比于ＳＩＦＴ算法能巧少计冀量，缩短计度时间，２－－其近似构建的Ｈｅｓｓｉａｎ矩阵如下公式（１）巧口２）所示。１０Ｉ 、学仿论义北京交通大学硕±专Ｉｋ图像标注和深巧学习相关知识萨。〇ｗ）如巧ｊ＇＝－〇ｃｘａ．９Ｄ（，ｙ，）（）＾＿２口）＇－其中〇、〇和公是近似卷积值，是通过盒子滤波器得到的。公式口２中．）ｕ，，ｃ；ｃａ是用来判断像素关键点的，大于闽值则为关键点，反之不是。对特征点（，ｙ，）进行定位时于ＳＩＦＴ算法近似，就，对关键点领域做非极值抑制然后进行插值运算完成了ＳＵＲＦ算法的特征点捜索一向的Ｈａｒｒ小。最后用个扇形来统计两个不同方，求得特征点的方向波模板计算的到的梯度，完成ＳＵＲＦ算法的特征描述。近些年来随着机器学习的发展一避新的算法不断引入到特征提取的研巧中，Ｓ口１Ｐ１ＰＳ１ｐｗ１、、ｖｌａｄ，开始出现对底层特征做比如稀疏编码费舍尔向量编码等做ＰＳ１处理之后得到的特征，有空间金字塔用来使用于分类的图像特征具有空间信息一的特征等等件非常费力、费时的事情，不仅需要。但是传统的特征提取依旧是专业知识的步骤。，而且能不能选取效果好的特征很大程度上需要依靠经验和运气２．１．２多标签分类算法对于图像标注来说，有了图像的特征描述，剰下的关键在于标注算法。本章侧重介绍传统的基于多标签学习的标注方法。多标签学习是从每个实例对应多个标签的实例集进行学习的过。一一，Ｄ＝ＸＸＸ．．．．其中表示副图像的特征，假设公表示个图像数据集｛，，，｝，，２３＝．．．，１＂．．．，其中从表示每幅图假设巧表示图像对应的标签集合，知｝，｝习就是通过构建分类函数／来学习公一＾的映射关系。像对应多个标签，多标签学Ｐｑ？当前主要的多标签学习方法可Ｗ分为两种类型：问巧转换法和巧法适应法问题转换法是基于单标签分类的基础上进行改进，把多标签学习看成是多个单标签？从而能学习图学习的组合。算法适应法则是对单标签分类算法进行适当的修改像和多标签映射关系。下面将介绍这两种类型的主要算法：问题转换法主要如下方法：（１）二元转换法一，二元转换法是使用巧为多的个问超转换法，因为其思路巧单效果也相对一－比较出色个标签都训练出个分类摸型，然后再将这些分类。该方法是针对每？模型进行组合对測试样本进行分类，便得到了測试样本的分类结果但是当数据一。，计算量十分的大比如有千个标的标签很多时，这类方法便显得千分的笨重一不现实的，而且这种方法丝毫没有考巧标签之签，就巧要千个模型，这是十分１１ｉ 北京交通大学硕±专业学仿论义图像标注和深巧学习相关知识间的相关性，因此在面对比较复杂的情况时是不适用的。（２）分类器组合链法ＰＷＷ组合分类器链法顾名思义是依靠分类器链将标签之间的联系考虑进去，它把通过二元关系法得到的多个分类器组合成链一，并把每层分类器的预测结果给下一层用，并采用多条随机产生的纪合链来减小链的顺序对结果的影响，从而达到有效的结合语义标签之间相关性进行分类的效果。（３）标签集融合法一标签融合法是把每张图片的所有标签看作是个标签，这样就把多标签学习ｔＷ问题转换成了单标签学习问题，就可单标签分类算法进行解决。但是这（＾使用一种方法存在两个比较大的缺点：第个是这种方法可处理训练数据中出现的标一二是由于每张，样的测试集合就无法正确分类签集合但是对于和训练集不：第图片的标签集合分布太过复杂，很容易会使标签集合的空间太大，使得训练难度大大提升，根本无法正常使用。算法适应法主要有如下方法：（１）ＮＮ（最近邻算法）一ＮＮ算法的基本思想是假设相似的图像倾向于享有样的语义标签。ＮＮ算法首先提取图像的地层特征：颜色特征和纹理特征，然后进行距离计算。假设人表’？Ｉ张酉片示第Ｉ张图片，表示第张图片，并且上个步骤中己经分别提取好了第ｊ＝．和第张图片的Ａ．．．，并且定义表Ｔ个特征於，，，，，＿／於乃芳乃方４，，＊ＮＮ算法中定义困片和的距离为示特征乂和乃之间的距离，人式＇，八２－３叮（）ＮＮ算法提出一这种距离被称作ＪＥＣＪｏｉｎｔＥａｌＣｏｎｔｒｉｂｕｔｉｏｎ），接下来种简单的标（ｑｕ签预测方法。＝．乂假设测试围片为／Ｋ张国片为／，１１２．，这些围片依照距，于其相近的，＾，离进行排序：首先对的标签进行排巧？如果中，然后按照下来的步巧进行计算的标签大于《／的巧签，如果小于ｎ则对依据标签，则这些标签就当做是测试图片＾【］。／，的标签进行排序，＾此类推巧终得到測试困片的标签出现的频率继续对１２口）ＴａｇＰｒｏｐ（标签传播法）标签传巧法是基于带权重的最近邻算法的思想，相比于ＮＮ算法，由于给标，在很多数据集上也达到了更好的签加上权重，因此更好的利用了标签的相关性［Ｗ，很难用于效果。但是本方法的缺点在于当巧据量十分大时计算童也十分巨大工业界？本方法假设义表示測试图片ｆ是否有Ｗ标签，有则为＋１，没有－，用索引表示训练图片，１？／则为，定义预满图片的标签是带权重的训综留片的和１２ 北京交通大学硕±专业学位论义图像标注和深巧学习相关知识有如下公式户＝＋１＝＝＋＊１４）＾１ｙ）口此乙鸣的於）？其中代表图像ｉ的邻近图像来预测标签时的权重ｙ，定义算法的目标就是最大化ｒ，其中ｒ＝ｃｈ－５ＺｗｐＣＯ口）？＇，》针对如何确定权重，该算法提出基于排序和基于距离的权重计算方法，其中基于排序的权重算法是定义方．表示测试图像／的第ｋ个近邻，有如下计算公式，１，沁ｃ。＿麻ｐＯＵＩ＊）－６ｙ（２）抑ｋＩ＊’而基于距离的权重算法则用ｒｆ表示距离矩阵，，其中０是要优化的参数有如下计ｇ算公式设料化饼巧＝－７＂＾口）ｅｘｐ－Ｓ／（或化八）标签传播法在通过爸理地权重设置，充分利用了标签和图像之间的关系，在很多的多标签分类的任务里都有着十分良好的表现。２．１．３弱标注环巧下的图巧标注在国像标注任务中，分类模型十分依赖训练数据集，对，对于监容学习来说于这种分类模型来说，最理想的情况便是训练数据集的标签集十分完整和准确，训练数据集信息越清晰，，分类模型学习到的知识越淸晰图像标注的效果也越好。ｉ由于Ｗ往需要的数据量相对较小，通过人工的多次标注就可ｔｌ获得十分巧确和完整的训练数据集，因此这个问题当时并没有受到重视？但是对于深度学习而。言，对训练数据集的数量需求是越多越好要获得数据量较大的巧质量的训练数据集就无法通过人工标注去实现了，要人工多次标注这些训练数据集过于耗巧时间，而这，效率十分低下。因此往往只能是人工粗略的进行标注样得到的训练数据集就存在着标签集不够完整的问题。－２所示、汽车、广场、树如图２，图片中实际应该包含的语义标签应该有天空一木、人，但是在人工标注时往往由于语义标签太多而导致很那次性把所有标签都正确的标注上，因此大多巧巧况下都会出现标签集不完整的巧况，图中所示便、，这。是这种情况，标注的标签只有天空人就是标签集不完整的情况１３ｉ 北京交通大学硕±专业学位论文围復标注和深度学习相关知识．．实际标注Ｇｒｏｕｄｔｒｕｔｈ■Ｐ．－、；天空■本ｆ广场汽车Ｉ广场—图２－２数据集的标签集不完整情况Ｆ－ｉｕｒｅ２２Ｉｍａｅｔａｓｅｔｇｇｇｉｓｎｏｔｃｏｍｌｅｔｅｐ除了上面的情况之外，包含低频语义标签的图像数量相比于包含高频语义标签的图像来说过少，严重影响模型的识别能力。本文实验所用的腾讯Ｑｚｏｎｅ十万张多标签数据集中，低频语义标签的数呈和离频语义标签数量相差十分巨大，其中包含与语义标签树木的图片的数量几乎是包含语义标签火焰的图片数量的６倍之多。上面两种情况，对于多标签图像标注来说，称训练数据集处于弱标注环境。对于绝大部分的多标签图像标注算法来说，含有准确完整和均衡的语义标签集的图像训练集是保证算法有效的前提。但是，要获取大量的完整的用于深度学习模型的多标签图像数据目前必须要由人工标注来完成，而人工标注速度有限且过于耗费成本，因此要有人工来完成几乎是不可能的事情。一总而言之：是训练数据集的图，本文针对的弱标注环境主要包含两个方面一像的标签集不够完整，己经标注的标签集只是真实标签集的个子集；二是语义概念标签数据的不平衡性，依据奇普夫词频分布定理只有少部分的语义标签出现频率很髙，而大部分的语义标签的出现频率都比较小。依据出现的频率可Ｗ把语义标签分为常用标签和稀有标签，这是语义标签的不平衡性。因此弱标注环境训练集是指不同语义标签分布不均巧，不完整的标签描述的图像构成的集合，。经证明训练集中髙质量的标签在同样的算法中在同样测试集Ｗ上的表现要远远大于处于弱标注环境下的标签在该测试集上的表现。因此弱标注环境的图像数据集不利于属于监暂学习的多标签学习算法的学习Ｉ学习的信息不。全就肯定会影响模型能力，因此弱标注环境是不得不去考虑的问题许多学者都展开了针对弱标注环境的研巧４２针对训练图像只有一个标，文献［］此算法要求每张图像至少提供一签正确时的情况提高了分类性能，但是个准确的一４３语义标签且还需要额外的堅辅助信息；文献［针对像素标签缺失使用了判，而］ 北京交通大学硕±专业学仿论义图復标注和巧巧学习相关知识别模型和主题模型的融合方法，虽然结合两种模型的方法效果较好，但是像素标签的获取难度十分大一；但是上这些方法大都要么只着眼于弱标注环境中的个方面的问题，要么对数据有前提要求。文献［４４］则针对语义标签包含的图像数据分布不均衡的问题即高频语义标签和低频语义标签的问题使用ｓｉｇｍｏｉｄ激活函数来相应提髙低频标签的预测概率。文献［４５］通过去除坏标签的方法来提升数据质量，这两个方法针对数据问题进行特定的算法改进，并且尝试通过数据质量的提升来实现模型精度的提升，取得了良好的效果。本文的解决思路亦是从数据角度出发，结合深度学习的方法，来处理弱标注环境问题，通过提升训练数据集的质量，不仅有利于数据的积累，而且可通过更髙质量的训练数据集来获得更加精准的模型。２．２深度学习的基本概念深度学习理论是机器学习领域的新的分支，它的概念来源于人们对传统人工２－３。神经网络的深入研究，其典型结构如图所示Ｑ输入层Ｑ潑……―〇〇〇隐藏层输出层０）巧２－３深度学习的典型结构－３ｆｄｅｅｌｉｎＦｉｕｒｅ２Ｔｈｅｔｙｐｉｃａｌｓｔｒｕｃｔｕｒｅｏｐｅａｒｎｇｇ深度学习理论通过模巧人类大脑的多层模型结构，实现逐层提取数据的巧层特征表示的算法。在过去几年发展迅速，不断在在困像、文本等多个领域的成果转化上取得显著效果。深度学习的本质是学习巧据之间的非线性复杂关系的多级的层级结构棋型，１５ 北京交通大学硕±专业学仿论义图復标巧和深巧学习巧关知识其多级的层级结构使得深度学习可Ｗ通过一征中学系列的非线性变换，从低层特习到更加抽象的髙层特征，从而构建出深层次的特征表示。深度学习表现为通过多隐层的机器学习模型抽象表达出大规模训练数据，其中深度模型是深度学习理论的承载工具，并最终达到高级语义概念的特征学习。虽然深度学习的参数复杂，计算量大，但是随着硬件设备如芯片等的计算处理能力不断提升，和使得深度学习得Ｗ在各个领域广泛应用。２．２．１浅层学习和深度学习在深度学习之前，机器学习领域中相对于深度学习而言的巧层学习是机器学一习的第次浪潮。区别于深度学习的多隐层模型结构，浅层学习模型是指模型结构的隐层数量只有一层、两层或者没有隐层结构的机器学习模型，如支持向量机巧ＶＭ）、逻辑回。归、条件随机场、核回归、传统神经网络等，这些机器学习模型都属于巧层模型它们在处理简单问题时。，在理论研巧和实际应用中都表现良好但是由于浅层模型本身的特征表达能力有限，，泛化能力受到限制，在面对高维的复杂函数时如。处理声音这类事物时，往往表现不佳在２００６年之后，深度学习的提出Ｗ及在多个领域的成功，使得其成为机器学习领域的第二个浪潮。深度学习是从传统的神经网络演化而来，深度指的就是神，相经网络的深浅，其多隐层的结构更加接近人类大脑的神经层比于巧层学习最明湿的优点就在于可Ｗ利用多层的非线性变换来表示更加复杂的函巧集合，也因此深度学习有着更好的特征学习能力，可Ｗ从数据中学习到更加本质的东西，如图２＊４所示。ｃｏｓ（ｘ）ＡＩＩｅｘｐ（ｘ）ｌｏｇ（ｓｉｎ（ｅｘｐ（ｃｏｓ（ｘ））））ｓｉｎ（ｘ）Ａｌｏｇ００￣ｊｊｚｓｚ＿ｒｅｓｕ——ｔｌｔｒｅｓｕｌ巧２＾多层结构巧巧复杂西数原理＞ｒｉｎｌｍｌｅｘｍｃｄｏｎｏｆ田ｕｌｔｉｌａｅｒｓｔｒｕｃｔｕｒｅ巧ｕｒｅ２４Ｔｈｅｃｉｌｅｏｆｓｉｍｕ妃ｎｇｃｏｐＡｙｇｐｐ１６ 北京交通大学硕±专、学仿论义Ｉｋ图復标巧和巧巧学习相关知识用一层结构表达出结构复杂的函数显参数复杂过多层的简单函Ｉ明，但是通数进行组合，不仅可达到同样的效果。，而且要实现起来也简单的多因此，在用于描述同等情况下的复杂函数时，多层结构的深度学习要优于浅层学习。２．３深度学习模型深度模型是深度学习的承载工具，虽然深度学习由人工神经网络演化而来，レ但是其结构却有多种，而且有各自不同的适用范围和条件，总体可ッ划分为生成ｔｗ性、区分性和混合型三种结构。生成性结构的深度模型主要有ＲＢＭ（限制波尔兹曼机）、ＤＢＭ（深度波尔兹曼机）、ＤＢＮ（深度信念网络）等，它们都是通过采样有效的样本生成模型从而实现描述数据的联合概率分布情况。区分性结构主要有ＣＮＮ（卷积神经网络），用于描述数据的后验分布情况，至于混合型结构则是生成性和区分性结构的合成。本文着重介绍在图像领域应用广泛的区分性结构深度学习模型卷积神经网络。２．３．１卷积神经网络（ＣＮＮ）由于卷积神经网络来源于传统人工神经网络（ＡＮＮ），因此首先介绍传统的人工一？种数学模型，用于信息的处理等神经网络，人工神经网络是在计算机领域是其发展源自于人类对在神经元的电生理的研巧的突破，人们通过这些对人脑的认、识开始尝试模仿人类大脑的结构来组成数学模型，从结构实现机理和功能上模连接的神经元构成的自适应非线性动态系统。巧生物神经网络，通过大Ｓ这种类似神经元的数学模型通过大＊的相互连接的神经元来对输入和输出之。因此，人们对人工神间复杂的非线性关系进行数学建模，具备很强的学习能力经网络的研巧热倩十分髙涨，逐渐发展出现如ＢＰ（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）神经网络等具？有显著成效的神经网络，在很多领域都有着广泛的应用人工神经网络的基本沮成单元为神经元，是由大量神经元组成的并行分布结一一２－５构的信息处理网络。个神经元的结构如围所示，神经元也成为感知器，个一出连接方法输出，毎个连神经元具有单。每个神经元与其他神经元都有多种输—一二分接的方法对应着个连接的权重系巧？神经元是个线性类器，假设输入是？＝？＝．．．，乂＾则有公式义．．．出为，毎个输入都会设＊枚重值抑，２＾，｝扣，２而｝谦＞２－８（）？－＝ｘｔｉｏＹｘ２８ｙａｃｔｍ（）＾）７１ 北京交３§大学硕±专业学｛六市图復标注和深巧学习相关知识其中化丸ｗｒｔｏｎ是激活函数入向量通过它映射成了一，输个杨量输出值，通过权值向量的不断学习使输出不断的逼近期望的输出，这就是感知器的原理和功能。围２－５神经元模型巧－ｕｒｅ２５Ｎｅｕｒｏｎｍｏｄｅｌｇ其中最常用的激活函数是ｓ－ｉｍｏｉｄ函数ｇ，其计算公式２９如下（）＝２－９客口）点（）这样就有了神经元的公式＝＝ｗｘｈｘ２－ｙ｛）｛）（１０ｇ＾）输入己知，目标就是通过训练数据来学习权重向量Ｗ，上述公式可Ｗ等价于－－－Ｊ＝ｏ－（Ｗ）ｌ１ｌｏｌＡＷ）口１１＾ｇ、Ｗ（ｙ）ｇ（ｗ）对上述公式采用梯度下降法对向Ｓｗ求导，令倒数为０，得到＝－＾ｗｘ２１２｛Ｋｙ）（）这样在之后的每次训练迭代时，就可依据＝—－ｗＷ£ｘＡｗ（２１３）进行迭代计算已得到最优的权重向＊Ｗ。卷积神经网络属于人王神经网络的一９８４种，属于前巧网络，其历史最早是１年Ｆｕｋｕｓｈｉｍａ基于Ｈｕｂｅｉ和Ｗｉｅｓｅｌ提出的感受野的基础上提出了神经认知化一其中个神经元所反应（支配）的剌澈区域就叫做神经元的感受野，而神经认知。机的核也思想是将视觉模式分解成子模式，实现模型化很多学者由此启发不断改进和优化神经认知机，推广出卷积神经网络？区别于传统人工神经网络的全部连接，卷积神经网络邻近层之间的神经元只是部分连、：局部感受野、空间或时间亚采样等，这些特接，其核也思想主要是权值共享点使得卷积神经网络和生物神经网络类似，大大巧少了网络的计巧量，巧免了传统方法复杂的特征提取等过程，而且局部感受域可Ｗ挖掘困像巧据的局部特征，如图２＊６所示便是神经元局部感受域的示意困。１８ 北京交通大学硕±专业学位论义图像标注和深巧学习相关知识神经元＾／特征／／丄神经元图２－６局部感受野巧ｕｒｅ－ｇ２６Ｌｏｃａｌｒｅｃｅｐｔｉｖｅｆｉｅｌｄ这种局部感受提取到的特征对图像的各种变换如尺度变换等都有高度不变性。这种具有局部感受野的神经元的连接权值各自组成一个滤波器，每个滤波器遍历一ｍ整个二维特征就得到了个新的二维特征，称之为ｆｅａｔｕｒｅａｐ。有Ｎ个滤波器就会得到Ｎ个ｆｅａｔｕｒｅｍａｐ，通过这种方式可提取图像中不同位置的相应特征。每层的每个二维特特国都会对应一个卷积核，注意这里的卷积核信号里面的卷积完全不一样，卷积神经网络里面的卷积代表的是权重，之所称为卷积神经－二维。２７所网络是因为这个权重矩阵和特征图的匹配类似于卷积操作如图示，为相应的卷积运算步巧。二巧特征图ｆｅａｔｕｒｅｍａｐＭｉ卷积核Ｉ１１１１Ｋｊ输出—－１步长为ＩＩ｜｜００１１ｒＴＴＴ—－－－－—￣￣—二Ｘ１２２｜０１１０１Ｉ０Ｉ＇２３１０１１０困２－７卷积运算巧ｒｅ－ｇｕ２７Ｃｏｎｖｏｌｕｔｉｏｎｏｐｅｒａｔｉｏｎ图中可见，输入的二维图像特征是４ｘ４维，卷积核大小是２ｘ２维，当步长为一一４－２＋－ｌｘ４２＋３ｘ３１时就是说卷积核毎次只移动步时，就会得到个）（大小（リ即一ｆｅａ。二维特征的大小？卷积层巧到的的ｔｕｒｅｍａｐ步长和卷积核样决定了输出的一—层的ｆｅａｔｕｒｅｍａ通过不同的卷积核作卷积并累加后，每个ｆｅａｔｕｒｅｍａｐ都是上ｐ一ｉｄ函，因此输出矩加个偏ａ激活后得到，巧活函数为前面巧到的ｓｇｍｏ数阵ｙ与二维输入特征Ｍ和卷积核Ｋ的计算公式为＊－＝ｉｓｗｎ＋ｂｉａｓ４ｍｏｉｄＭＫ１ｓ（（）ｙ）口）ｇｇｙＸｎＡ，则这层的ｆｅａｔｕｒｅｍａｐ假设上层的二维特征ｍａｐ大小是《，卷积核大小是１９ 北京交通大学硕±专业学仿图像标注和巧巧学习相关知识＋一ｎ－Ａ７ｘ－Ａ＋大小为ｊ如。般卷积核大小都是通过经验设定ＬＪｌ（＂，再由：上计算公式和原理便可Ｗ是实现卷积特征的提取了。卷积神经网络的关键还有参数共享的特点，就是说每个输入的二维特征对应多个卷积核Ｗ学习更多不同的学习特征。把卷积操作看成是特征提取，则每个卷积核对于整个二维特征上的权值都是一一样，，这就是参数巧享。简单来说从个二维一小块二维输入特征随机选取８ｘ８作为样本，由于这个输入特征用于计算的一所有的权值都是样的，因此可把这个８ｘ８的样本对整个二维特征进行随机探测。在实际的应巧中，往往会使用多层卷积层，并且加上其他用于防止过拟合等一的参数层－。下面就主要介绍目前广泛使用的深度学习模型ＶＧＧ１６，这是个深度为１６层的卷积神经网络。－２．３．２深度卷积神经网络ＶＧＧ１６ＶＧＧ－ＧＧ－介绍１６模型除了么前介绍的卷积神经网络，还需要介绍Ｖ１６模型中用到的Ｐｏｏｌｉｎｇ（池化）层、民ｅＬｕ（激活）层、Ｄｒｏｐｏｕｔ（随机丢弃）层这些用来减少模型Ｌ参数和防止过拟合的参数层，义及在卷积层上处理局部关联问题的卷积深度、巧ｚｅ－充值处理（ｒｏｐａｄ出雌。）理论上当图像通过卷积层之后就可用于训练分类器，例如用于深度模型中常用的ｓｏｆｔｍａｘ分类器，可是如果直接这样经过多层的卷积神经网络，就进行计算，会出现计算宜：千分庞大且容易出现过拟合的现象？假设输入是５００个１２８ｘ口８的二８ｘ８，步长为１时，则每个卷积得到的ｆｅａｔｕｒｅｍａｐ都会维特征，卷积核大小是一－。ｆｅａ－＋＋ｌ那么５００ｔｕｒｅｍａ有（１２８８ｌ）ｘ（１２８８）即ＭＭｌ维的卷积特征共个输入的ｐ３２０５００７百万维＾级别的特征用就会有５００Ｘ１４６４１即７维卷积持征向量，这种１＾１上分类器去进行学习是很难实现的。因此在，即使实现也会出现严重的过巧合现象卷积神经网络中加入池化层等用于防止过巧合。一池化就是对上层输入的二维特征的采样处理？由于通过卷积后的特征具有？而这种，因此静态属性，容易出现重香现象考巧使用巧合统计不同位Ｓ的特征聚合的操作就叫做池化。它的主要优势不仅仅可降低上层的计算复杂度，更提一供了。种变换不变Ｓ２ｘ２的窗口实现就会有３个准确例如对于有８个方向变换的单巧巧，如果用一的结果３／８，而旦窗口经过池化后变成３ｘ３，准确巧率就会提巧至５化，，概率是可见池化操作不仅降低中间维度更是提升了特征的鲁棒性。简单的池化操作如图２－８所示。２０ 北京交通大学硕±专业学位论义图您标注和深麼学习相关知识二Ｚ二ＺＺＺ池化层特征ＩＩ：：三？１Ｉ过卷积层之后输出的二维特征图２－８池化过程Ｆ－ｉｇｕｒｅ２８ＴｈｅｒｏｃｅｓｓｏｆＰｏｏｌｉｎｐｇ右侧深灰色颜色的小矩阵就是左侧同样颜色大矩阵的平均值或最大值。这就是简单的池化操作。ｔＷＤｒｏｐｏｕｔ层则是有最近几年Ｈｉｎｔｏｎ提出的，目的是为了防止由于训练样本一太少导致的模型过巧合，原理是在训练模型的时候，每次反向传播时都随机的一样的让部分神经元不工作，只是保存其权重值，每个神经元被暂停的概率都是。至于为什么Ｄｒｏｏｕｔ会有这么好的防止过巧合效果，因为在训练过程中使用ｄｒｏｏｕｔｐｐ．当ｄｒｏｐｏ山系数是０．５时，即每次随机让每层的半数神经元不工作，类比于训练很多个半数网络，这样就会有很多个半数网络模拟训练样本和标签之间的非线性关系行，，，就会出现多数的半数网络是正确的少数的是错误的，随着训练的不断进这样就可Ｗ很好的防止过巧合。ＲｅＬｕ层使用的主要是线性修正函数，它的作用是让小于０的值变成０，而大于０的值则不变，相比于Ｓｉｇｍｏｉｄ函数，ＲｅＬｕ函数具备更好。虽然同是激活函数的引导稀疏的能力。，可Ｗ使网络加快收敛速度和去除冗余等一，全连接层是用于计算每个类别的概率输出，假设有个类别则这层的输一出为这层区别于卷积层，它的神经元不再是局部感受域，而是连接了一上层的所有神经元。一卷积层中的卷积深度代表的是这卷积层的神经元个数，即卷积深度为３２意一一咪着这层有３２个神经元和上层的输入进行连接。而填充值处理是为了可Ｗ实现完全卷积而又不会导致特征维度过大，因此在原始数据的周围不上值为０的值，一而且这种处理不会影响神经元的局部感受野，是种便于的计算的处理方法。有一了这两种方法后可Ｗ发现每卷积层的输出矩阵的计算公式有所改变，输出矩阵。的大小也会由卷积深度和填充值处理而影响，本文在下章会详细介绍＾１ 北京交通大学硕±专业学位论义图復标注和巧度学习相关知识－接下来介绍ＶＧＧ１６的模型结构－，ＶＧＧ１６为１６层的深度卷积神经网络，如２－９所示图。￣－－Ｃ〇ｎｖ３Ｃｏｎｖ３６４１２８Ｍａｘｐｏｏｌ｜Ｒｅｌｕ＂＊Ｒｅｌｕｖ９Ｍｓ９Ｍ＾＇＇－－．Ｃｏｎｖ３６４Ｃｏｎｖ３１２８，ｇＲｅｌｕｕｐＭａｘｐｏｏｌＩＩＣｏｎｖ－３２５６ＲｅｌＳｏｆｔｍａｘ＾ｒ－ｃｃＣｏｎｖ３２５６ＦＣ＿ＸＲｅｕＣｏｎｖ３－２５６７ＲｅｌｕＭａｘｐｏｏｌＦＣ－４０９６Ｃｏｎｖ３－５－１２Ｃｏｎｖ３５１２ＩＲｅｌｕＲｅｌｕＲｅｌｕ－ＤｒｏＣ加ｖ３５２－ｐｔＭａｘｌ１ＭａｘｐｏｏｌＣｏｎｖ３５１２＿ｏｕｐｏｏ－二ＦＣ４０９６扛Ｒｌ：Ｒｅｌｅｕｕ－－ＲｅｌｕＣｏｎｖ３５１２Ｃｏｎｖ３５１２ＤｒｏｐｏｕｔＲｅｌｕＲｅｌｕ＿２－９ｎｅ－困深度学习巧型ＶＧＧｔ１６模型结构困Ｆｉｕｒｅ－－ｇ２９ＴｈｅｍｏｄｅｌｓｔｒｕｃｔｕｒａｌｄｉａｇｒａｍｏｆＶＧＧｎｅｔ１６ｎｖ３－６４表示卷积核大小为３Ｘ３其中Ｃｏ，卷积深度为６４即输出的ｆｅａｔｕｒｅｍａｐ的个数为６４，填充值处理为在二维特征的周围填充０，最终输出的维度为２２４ｘ２２４ｘ６４维，其中还有Ｒｅ山层是上面介绍的ＲｅＬｕ激活函数，Ｍａｘｐｏｏｌ层是池化取最大值，一￣４０９６是全连＊直到ＦＣ接层，输出维１Ｘ＾４０９６维，该层经过的Ｄｒｏｐｏｕｔ层是在－模型训练的时候才用的用于防止过巧合的函数层，最后经过的ＦＣＸ是依据类别来设定的全连接层，假设要分类的类别是１０００类，那么Ｘ就等于１０００。最后经过ｓｏｆｔｍａｘ分类器，得到对每个类别的预測概率。其中预测概率大的就表示围巧中巧有可能包含该标签，预测概率小的语义标签则代表图中可能不包含该语义标签。２．４基于多巧签深度学习的图巧标注深度卷积神经网络的分类能力不仅巧多层卷积神经网络抽取得到的高ｉ级抽象一。特征，另外个关键是损失函数损失函数是决定模型能力和实现任务的关巧之一，也，它不仅决定了深度卷积神经网络要学习的方向决定了深度卷积神经网络最终的能力。因此要实现多标签图像巧注，损失函数也必须是能巧实现多标签学习，接下来本文详细介绍基于多标签学习的损失函巧。２２ 北京交巧大学硕±专业学位论义图復标注和深巧学习相关知识２．．４１基于多标签学习的损失函数目前应用于深度学习模型的多标签学习损失函数基本都是对传统算法的改进，主要有Ｓｏｆｔｍａｘｌｏｓｓ、ＰａｉｒｗｉｓｅＲａｎｋｉｎｌｏｓｓＷｅｉｔｅｒｏｉｍａｔｅｇ（成对排序损失、ｈｄＡｘ）ｇｐｐ４９ＲａｎｋＷＡＲＰ［］ｉｎｇ（Ｘ权重逼近排序片种方法。用于多标签学习的Ｓｏｆｔｍａｘ损失函数思路来自于标签传播算法Ｔａｇｐｒｏｐ，是在Ｓｏｆｔｍａｘ的基础上进行了适应性的修改。原本Ｓｏｆｔｍａｘ是解决多分类问题的模型，＞＂，＞）【＞一＝；假设训练集０．．，其中标签卢是个多标签集合｛护，比如，严），知，＞）｝ｗ＝０１０．．．，ｙ，１表，０表化，，｝代表包含的标签序列号示有示没有这个标签，即包？含的标签分别是０类一，２类。对于给定的测试输入第Ｉ张图片，我们定义它的每个类别ｙ的估算概率为＇＇＾＾－－＝ｘ０＝口－ＫＰ＆ｊ＼＼））＾ｉＴｅＸ艺／．．，然后通过最小化预测概率和Ｇｒｏｕｎｄｔｒｕｔｈ即真实类别的ＫＬ散度，定义概率巧代表ｇ第’Ｉ张图包含第ｙ个标签的巧率，则有如下损失函数－丄－丄丄＝＝－ｌｏｌ〇？／ｇ（ｇ（２１６ＺＺ馬如Ａ）（）ＺＺＷ■ＷＣ！＋；Ｃ其中代表每张图包含的正确的标签，即每张图多栋签的数量。＋应用于深度学习的ＰａｉｒｗｉｓｅＲａｎｋｉｎｇｌｏｓｓ（成对排序损失函数）是文献５０］中的排［序损失的简单修改，该损失画数的思路在于把准确的标签排在错误的标签的前面，２－因此便有公式１７）（＝－Ｘ－？＾ａｘ〇，ｌ＋２１７（／乂（，））（）心，）ＺＺｉ＞．ｆ．Ｍｌｙｉ其中ｃ代表是正确标签，ｃ＿代表的是错误标签，最小化该损失函数就达到了预測＋正确标签的概率最大、预测错误标签的概率最小的目的。使用损失函数结合深度。卷积神经网络时，在反向传巧的时候计算的是子梯度成对排序损失函巧是针对Ｃ即ＲＯＣ曲线面积－ｋ即ｋ优化ＡＵ，并不直接优化Ｔｏｐ排在前面的个语义标签的，前准确率，但是由于在多标签图像标注中几个标注的标签的准确性显得尤为重要？，因此成对排序损失函巧并不完全适合多标签困像标注ＷＰＵ一ＷＡＲＰ权重逼近排序）首次被ｅｓｔｏｎ提出，是种使用随机抽样方法的专（口针对优化Ｔｏｐ４ｃ的损失函数，这种算法比较适合深度学习的巧机优化框架，它通过最小化损失函数－＝王〇了－？卸１＋１８ＺＸ（），乂（Ｉ）六切）口）Ｚ０Ｗ－１７２３ 北京交通大学硕±专业学仿旅义图饭标注和深度学习相关知识一？其中！（）是种用于不同排序的加权函数表示第ｙ张图片第。，ｙ个标签的排名加权函数的定义为＝２－王含０．（１９）（０，巧叫２气－１７等于该加权函数可レ：－其中口Ｊｌ用于优化Ｔｏｐｋ语义标签的原理在于如果正确的，一名语义标注排在第，那么加权函数句／〇就会分配给该标签很小的权重，该标签占用的ｌｏｓｓ就越小。相反，如果正确的语义标注排在靠后，那么加权函数就会给该标签分配较大的权重，损失函数就会较大。最小化损失函数的过程中就会把正确的标签推至排名靠前的位置。最后最关一键的问题就是如何估计排名具体方法便是：为了得到个正确的标签，持续，从错误标注的标签中抽样，直到抽到正确标签然后记录抽样的次数。计算方法有如下公式－ｒ＝—２２０（）ＪＳＬＪ其中Ｃ表示Ｃ个类别，Ｓ表示尝试抽样的次数。在结合深度学习模型迸行优化时此－损失函数计算的是子梯度。考虑到Ｍｕｌｔｉｌａｂｅｌｓｏｆｔｍａｘｌｏｓｓ易于收敛，而且效果也４９［］－十分优秀。本文在实验中使用了Ｍｕｌｔｉｌａｂｅｌｓｏｆｔｍａｘｌｏｓｓ损失函数作为深度学习模型的损失函数层进行模型的训练。２．４．２深度模型的训练－法却完全不。虽然深度卷积模型是传统神经网络演化而来，但是训练方样ＢＰＢａｃｋＰｒｏａａｔｉｏｎ即反向传播算法实现网络模型的收传统的神经网络主要依巧（ｐｇ）图２－０。１，敛，如所示为反向传巧算法的计巧过程反向传巧算法主要分为两个过程：工作信号的正向传递过程，直到计巧出期望输出和实际输出的误差；误差信号的反向传递过程，判断出误差信号是否满足？，要求，如果满足则网络训练完毕如果为满足则将误差信号反馈至网络中反向传巧算法学习能力很强，结构简单，而且能够在网络內部的隐藏层发现有用的中间表示。但是ＢＰ神经网络对于深度卷积神经网络是无效的，因为训练值和预測值的差值在进行反向传巧时会出现梯度扩散的问越，导致差值传巧到最初凡层时的值就会变得异常的小。２４ 北京交通大学硕±专业学仿市＿图您栋注和巧麼学习相关知巧开始（）吾各权值和闽值为初始古给定输入向量和目标输出［量＾Ｉ选取比率参数？求隐层和输出层各单元ｒ求期望输出和实际输出ｒ哀差是是否结束）计算权值梯度？Ｉ权值学习修正围２－０１反向传巧计算流程图－Ｆｉｕｒｅ２１０－ＴｈｅＳｏｗｒｔｏｇｃｈａｆｂａｃｋｐｒｏｐａｇａｔｉｏｎｃａｌｃｕｌａｔｉｏｎ针对深度模型的训练问题：，陆ｎｔｏｎ提出了解决办法（１）自下往上逐层训练一一一首先用训练数据训练第层的参数，这是个无监巧学习，然后接着将第层的参数作为第二层的输入进行学习，依次类推不巧学习，这样训练得到的模型就可Ｕ尽Ｓ的学习到数据的本质特征信息。（巧自上往下微调网络参巧（经过第一个步巧得到了各层初始参数之后，用測练数据集对模型使用－Ｗ泌ｅＳｌｅｅｐ巧法进行参数调整，具体做法就是把除了巧顶层Ｗ外的所有层间的权重都设Ｓ为双向权重，在Ｗ址ｅ阶段通过梯度下降来实现下行的权重更新，在Ｓｌｅｅｐ？阶段通过更新上行的权重，如此进行微调，使得模型巧终达到收敛，那么具体的对于深度卷巧神经网络有了Ｗ上的解决思路，比较关巧的便在于其前向计算和反向计算，前向计算是为了巧到损失值即Ｌｏｓｓ，反向计算是为了。假设有Ｌ层卷积神经网络更新神经元参数，本文着重介绍反向计》，输入为Ｗ个（Ｘ，乂）样本，输出为／（Ｘ，），权重为Ｗ，则有巧个後型的损失函数为２５ 北京交通大学硕±专业学位论文图像标注和巧巧学习相关知识２＝－＊－放ＳｙｌｏＸ＋／Ｉ腫２１；ｇ（）（）口）／，１茲Ｉ阿｜去技１其中前一项是交叉滴一，后项是惩罚项用于防止过拟合。对于第Ｌ层的权值的偏导为＝－１＊－？＋２－２２；１（）裳（如）八拂／（坤听ｏＷｍ＾对于输出层偏置的偏导数则有－－＊－＝－／口２３＾（心）（蝴）ｄ〇ｍＬ上面两个公式中的却＞〇代表样本标签值，／（Ｘ）是网络输出值，已经包含所有的训练样本。在确定了模型，损失函数之后，就要开始考虑更新模型权重的方式，权重更新主要有如下两种方式：一：这种方法的做法是随机从训练样本中选取副图像随机梯度下降，送进深一度学习模型进行学习，依据损失函数算出梯度，进行次权重更新，直到所有的一轮的迭代样本都被选取过了再进行下，这种方法适合在线训练，但是由于每次。更新都是单个样本，容易导致过拟合，模型参数收敛的方向不利于整体样本小批量训练（ｍｉｎｉｂａｔｃｈ）：为了防止随化梯度下降的过热合风险，人们考虑使用一定数量的训练样本一，泣组训练样本也是经过随机抽取得到的，把这小沮训练一组样本得到的梯度之和进行权重更新习模型依据这，直到所样本送入深度学，有样本完成训练。这种方法相比于随机梯度下巧更加快速，也巧小了模型过拟合的风险。２．５图像巧注的评价标准由于图像标注问题往往看成是多标签算法问题，因此在评价指标上也基本上一是和多标签算法的评价方式致，目前主要的针对多标签算法主要分为基于样本基于样本的多标签评价指巧是先获得每一和基于类别的多标签评价指标，其中个测试样本的结果然后对整体样本做平均，而基于类别的多标签评价指标是获得每一个类别的结果然后整体类别的结果做平均，这两种评价指标都有各自的优点，都从不同的方面对多标签分类的结果进行了评价？下面详细介绍这两种方式的主要评价指标。’一Ｘ饥地扣化中第／张困片的对应的巧签集，其中１別＾，定统定义Ｇ为陆，片，．个数为ｎ：？则基于样本的多标签评价指标有义多标签分类器为／（），标签类别汉明损失ａｍｍｉｎＬｏｓｓ，是巧预满的语义标签时错误的和应该含有的语义标（Ｈｇ）２６ 北京交通大学硕±专业学位论义图像标注和巧巧学习相关知识签没有被预测这两种情况所占的比例，值越逼近于０表示预测的越准确，计算公式为－＝－ｈａｍｍｍｌｏｓｓ－ｇｊｃＡＧ２４＿（ｆ）／（）口），，｜｜＾其中ａＡＧ表示集合Ｘ和集合Ｇ一／（〇，／（）的对称差，即只属于其中个集合而不属于，，一另外个集合的元素，其中ｘＡＧ表示的里面两个集合的对称差的个数（。／，），｜｜Ｓｕｂ一ｓｅｔａｃｃｕｒａｒｙ是种比较苛刻的评价指标，用于评价样本集中完全正确的样本的所占比例，计算公式如下说６旅／可（／）＝丄／（ｘ）＝口－２５），幻｜勾Ｉ－片１１＝其中／（ｘ．）表不条件成立则为１反之则为０当讯为１时表示，，｜｜勾Ｉ模型的能力最优，但是现实情况下模型能力很难达到于真实标记完全吻合的水平，尤其是当类别数目很大时，这种评价指标更加湿得苛刻。Ｏｎｅ＊ｅｒｒｏｒ评价指标用于评价模型预测标签概率大的属于相关标记集合的情况，即预测概率越大的属于相关标记集合的越多表示该系统性能越优秀，计算公式如下－＝ｏｎｅ－ｅｒｒｗａｒｇｍａｘ２２６（／）／知《）６Ｇ（）ｇ祐］，巧｜［Ｈ？？？其中为于多标签分类器／对应的实值函数，此评价指标为０时表示性能最／（，）（）优，当类别数目为１时，该评价指标等同于传统的分类误差。基于类别的评价指标由于是针对巧个类别进行评价，有四个统计＊来描述对＊、模型的对毎个类别的分类性能，分别是ＴＰ、ＨＴＮ、ＦＮ，其中ＴＰ代表的是被判定为正样本，实际上也是正样本；ＦＰ代表的是被判定为正样本，实际上是负样本，ＴＮ代表的是被判定为负样本，实际上也是负样本；ＦＮ代表的是被判定为负样本，一实际上样本是正样本。通过上四个统计量，可Ｗ推导出针对每类别的巧确度ｐｒｅｃｉｓｉｏｎ：ｒｅｃ＝－ｉｓｉｏｎＴＰ！ＴＰ＋ＦＰ２７ｐ）口（）准确率ａｃｃｕｒａｃｙ：ａｃｃｕｒａｃ＝ＴＰ＋ＴＮ／ＴＰ＋ＦＮ＋ＦＰ＋ＴＮ－２ｙ（）（口＾巧召回率ｒｅｃａｌｌ：ｌｌ－ｒｅｃａ＝ＴＰ！ＴＰ＋ＦＮ２２）｛（＾－Ｗ及常用的Ｆｍｅａｓｕｒｅ指标，送是巧确度和召回率的加权调和平均，计算公式如下＾？＊（ｏｃ＋１ｒｅｃｉｓｉｏｎｒｅｃａｌｌ？）ｐ＂＞，《、Ｆ—ｍｅａｓｕｒｅ二■－——２－３０（；＊）ａ｛ｐｒｅｃｉｓｉｏｎ＋ｒｅｃａｌｌ）ａ１，此时常用的为仍，即当等于时有２７ 北京交通大学硕±专业学位论义图像标注和巧巧学习巧关知识＊ｐｒｅｃｉｓｉｏｎｒｅｃａｌｌｐｒｅｃｉｓｉｏｎ＋ｒｅｃａｌｌ一有了每类别的准确率后ｒ－－ｕｒａ，则有ｍａｃｏｐｒｅｃｉｓｉｏ。、ｍａｃｒｏｒｅｃａｌｌ、ｍａ灯＾ａｃｃｃｙ、－Ｆｍａｃｒｏｌ评价指标用于评偷整体的类别分类结果，上评偷指标都是是直接相加所有每个类别的相应指标再求平均，计算公式为＇－—ｍａｃｒｏｒｅｃｉｓｉｏｎ＝－ｒｅｃｉｓｉｏｎｍ２３２ｐｐ（）（＾）Ｗ－ＭＩ＂１－＝—ｍａｃｒｏ－ｒｅｃａｌｌｒｅｃａｌｌ（ｍ）口３之＾＂１－—＝－ｍａｃｒｏａｃｃｕｒａｃｙａｃｃｕｒａｃｙｍ２３４＾（）（）Ｗ－ｍｌ—＝ｍａｃｒｏ－３５口）巧－ｍ１其中ｐｒｅｃｉｓｉｏｎｍ、ｒｅｃａｌｌｍ、ａｃｃｕｒａｃｍ、Ｆｌｍ分别代表类别ｍ的精确度、召回（）（）ｙ（）（）率、准确率Ｗ及ＦＩ值。由于本文侧重的是函像标注，而图像标注的目的是用于检索，对于检索来说，每个类别的指标更为重要，因此本文使用的评价指标是基于类别的评价方式。２．６本章小节本韋首先简述了多标签图像标注相比于单碌签團像标签的优势和意义，接着，分析了多标签学习的难点，并分别从特征提取和分类算法两个方面入手分别介绍了当前比较常用的传统多标签学习和多标签深度学习的特征提取方法和多标签，标注算法，对这些方法的基本知识作了基础讲解为之后的章节做了铺垫。在本章的第Ｈ节本文分析了什么是巧据窠的巧标注环巧，并且概述了当前针对该问煙一些研巧，的，接着第四节介绍了多种多标签巧法中常用的评价方式为之后的实验章节的实验做准备。２８ 北京交通大学硕±专业学位论义弱标注环巧下基于茗标豁深巧学习的加巧困便标拌３弱标注环境下基于多标签深度学习的加速图像标注３．１深度模型的加速方法深度学习的多层非线性结构虽然有着强大的髙级特征学习能力和对非线性复杂任务的模型重建能力，但是深度学习模型不仅本身的计算参数量巨大，涉及的训练数据集也十分巨大。深度学习的参数训练中，随机梯度下降是最常用的方法，但是由于随机梯度下降本质上是串行的，因此需要十分庞大的计算资源，训练时间也千分漫长。针对深度模型的加速问题，本文下面将详细介绍目前常用的几种方法一，并针对其中种进行改进。３．１．１主要思路针对深度学习模型的加速问题，目前的主要的思路有：（１）硬件思路深度学习模型主要是计算量庞大一，从硬件角度对深度学习进行加速是种十分有效的手段。结合硬件的方法主要有ＧＰＵ加速和参数服务器架构等。ＧＰＵ是目前应用于计算加速的常用处理器。ＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓＵｎｉｔ，围像一处理器）是，包含几千个流处理器种众核体系结构的处理器，通过并行运算大幅缩短计算时间。相比于单核ＣＰＵ，ＧＰＵ运行速度往往可提升几十甚至上千倍。训练深度卷积神经网络时ＧＰＵＷ及己经成为了业界的首选解决方案，但是ＧＰＵ的价格相比于普通单核ＣＰＵ的价格也时昂贵许多。参数服务器架构主要是ＣＰＵ集群方案，这种方案包括执行训练任务的Ｗｏｒｋｅｒ、用于分布式存储分发模型的参数服务器（ＰａｒａｍｅｔｅｒＳｅｒｖｅｒ）和控制巧体功能的主程序（Ｍａｓｔｅｒ）。ＣＰＵ集群方案是面向训练ＧＰＵ内存不够的超大模型和稀疏连接的神经网络。口）数据、模型并行计算思路数据并行的加速方案是通过将训练数据分成Ｎ份，然后并行训练这Ｎ份数据从而达到加速的目的？在并行训练时，每份数据训练过程相互独立，对所有并行数据的梯度求平均作为模型的梯度，然后对巧型参数进行更新，如此迭代直到模一型收敛定的缺点，当训练数据太多时，巧要通过小学习率来保？数据并行也有证训练过程的平稳。２９ 北京交通大学硕±专业学位论义弱标注环巧下巧于《标签深巧学习的加巧图復标注模型并行的思路是将模型的每一层都进行拆分，分开训练，共同协作训练。但是拆分之后，神经元与神经元么间的通信开销会随着拆分的越多而变大，导致模型效率下降。多数情况下模型并行的通信开销和同步开销超过数据并斤，因此加速比往往不如数据并行。（３）模型结构思路深度学习模型的网络结构直接决定其计算参数量大小，因此通过改变模型的网络结构从而减少计算参数量也是一种有效的加速办法，但是如何实现模型参数量的减少的同时又不影响深度学习模型的能力十分重要。本文从改进模型结构的思路入手，通过减少深度学习模型计算参数量，达到一模型加速的目的。对于深度卷积神经网络模型来说，每层的计算参数都由该层所处理的二维特征的维度、卷积核大小及卷积深度决定。因此，通过改变这些参数可Ｗ相应的减少模型的计算参数量。不过在此之前首先巧要了解这些因素是如何影响模型的计算参数呈，考虑到偏置的计算量相比于卷积计算而言可Ｗ忽略，因此本文在计算计算参数量的过程中并未考虑偏置的计算。如图３－ｆｅａ１所示为卷积层的输入输出过程，其中省略号代表的是未画出的ｔｕｒｅｍａｐ．ｋ个ｆｅａｔｕｒｅ￣ｄｍａｐ。ｍ起正ｍｎ３－巧１卷巧层计算原理－ｌｌｉｒｉｎｄｌｅｏｒｅ３１Ｔｈｅｃａｃｕａｔｏｎｏｆｌｕｔｉｏｎｌａｅｒ巧ｇｃｏｎｖｏｐｐｙ一围中卷积层的输入是Ａ个ｆｅａｔｕｒｅｍａｐ，大小为ｗｘ／ｉ，这层的卷积核大小为ｍｘｍ，则本卷积层的计算参数量大小为，卷积深度即神经元个巧为ｄ＊＊＊＊＊＝ｎｍｍ－Ｆｎｋｄ３１＾（）一二其中若为第层卷积层即输入的是图像的维特征，则其中ｋ为１，若为全连接层，其神经元个数为，则本全连接层的计算参数量大小为Ｓ个３－２心（）二一层的计ｇ参巧量大小十分重由Ｗ上公式可知，输入的维特征的大小是影响每３０ 北京交通大学硕±专业学位论义弱标注环巧下基于《标游深巧学习的加巧图傻标注一一要的因素之。此外，因为总计算参数量是每Ｌ：层的计算参数量相加得到Ｊｌ，所深度卷积神经网络的网络层数也是影响计算参数量大小的重要因素。总而言之，卷积神经网络的输入特征大小和模型深度是控制模型计算参数量的关键所在一。通过改变每层的输入特征大小或者网络深度就可Ｗ减小计算参数量。其中卷积层中的卷积深度、步长、填充处理是Ｈ个影响输出的特征维度的主要因素。假设原始图像输入特征维度为ｎｘｎｘｊ３３，其中表示的是ＲＧＢ的通道，下－层的卷积核大小为ＡｘＡ，卷积深度为ｒｆ，步长为１，填充值处理填充０的个数为〇一，则得到通过这层后的输出矩阵大小计算公式为－＊－－＊－＊＊ｗ＝－ｎｋ＋２ｄｌｌ＼＼ｎｋ＋ｌａＩＵ＼ｄ｛ｉ））｛｛））３３（）３－３可知由（，如果相应的加大卷积核的大小、减少卷积深度和加大步长），便可心文使输出矩阵的维度减小。但是单纯的进行这些操作虽然可［＾＾使的参数减少，但是模型能力却有可能受到很大的影响，如何有效的减少参数并保留模型的能力是关键所在。３．１．２加速深度卷积神经网络的设计－本文结合ＶＧＧ１６中的网络结构和深度，进行了加速改进。依据巧小ｆｅａｔｕｒｅｍａｐ大小从而减少网络计算参数量大小的思路，本文设计加速神经网络的过程如一图３－２所示，由于每个卷积层之后都接着Ｒｅ山层，图中将其省略未画出。一层处理二维特征大小相对较大一考虑到第，因此本文令第层卷积层的大小７ｘ７２样输入图像为２２４ｘ２２４时一二，第为，并且步长为，这层处理的维特征大－６的ｆｅａ小为１１２ｘ１１２。接着巧循ＶＧＧ１ｔｕｒｅｍａｐ的规律，分别令处理的ｆｅａｔｕｒｅｍａｐ大小为５６ｘ５６、２８ｘ２８、１４ｘ１４、７ｘ７，而且本文将最后的全连接层改成全卷积层，这样得到的网络ＮｅｗＮｅｔｌ为１５层。此时参数依然较大，加速效果不够明显。＿ｆｅａｔｕ在此基础上，本文继续通过改变卷积层步长达到巧小ｒｅｍａｐ大小的目的，使得网络处理的二维特征大小分别为１０９ｘ１０９、３６、１７ｘ１７、７ｘ７、３ｘ３，网络深度不变，得到网络Ｎｅｗ＿Ｎｅｔ２；此时的网络计算量参数大大巧少，但是经实验证明网络效果较差。？将网络深度增加至因此，本文考虑通过增加网络深度来提巧网络性能１７层ｅｗＮ始时网络性能得到了提升，因此继续对网络深度进行加深，直至为Ｎ＿ＮｅｗＮｅｔ４络达到１９层时网络性能巧升至巧巧？继续加深至２０层甚至更深时，，网＿发现网络性能并没有得到明症提高？因此本文巧终设计的加速网络为ＮｅｗＮｅｔ４，＿本文将巧终得到的巧度卷积神经网络成为Ｎｅｗ＿Ｎｅｔ．３１ ｊｌ：京交ｊ§大学硕±专业学位论义巧掠注环巧下惠子《标答汉巧学习的加巧图便掠注输入田巧大小输入函像大小输入图？大小输入困像大小２２４Ｘ２２４２２４Ｘ２２４２２４Ｘ２２４２２４Ｘ２２４。＂２２１＂－／２…Ｗ节００７２原Ｖ二哉品；就心Ｉ：Ｉ「Ｉ！＾Ｐ＾３Ｐ°°１２／２！Ｐｏｏｌ３Ｉ亂ｖ—Ｉ３１２８／３！ＭＣｏｎｖＷ巧Ｃｏｎｖ３－２８／３？１＇＂－３Ｃ畑Ｖ３１２８６ｃ〇ｎｖ３－口８就ｔ贯严ｔ器－？Ｃ〇ｎｖ３－１２８Ｃｏｎｖ３１２８Ｓｎｖｔ２ｆｉ？＾ＰｍＩ２Ｐｏｏ２／２ｌＰｏｏｌ２＊２口八ＫＶ３－２５６／２口口ｃ〇ｎｖ３－２５６／２吁Ｓｔ可。式哉！Ｓ：３：２５６＼ＪＳ—：Ｓ６Ｋ０＾Ｃｏｎｖ３－巧６＾Ｃｏｎｖ３－２５６＾１。／９）。，。＾］—Ｐｏｏｌ２／２Ｐｏｏ—＇￣￣ｌ２－＾＾ｃ〇ｎｖ３２５６Ｃｏｎｖ３－２５６Ｐ°°ｌ２Ｐｏｏｌ２－ＵＣｏｎｖ３５１２Ｃｏ肌３－５１２／２７Ｃｏｎｖ３－７－洁７５１２／２Ｃｏｎｖ３５。／２：ｒ詔＂严Ｔ記？ＩＴｒｆｓ可謂ｒ謂ｒ－７Ｃｏｎｖ３５１２Ｃｏｎｖ３－５１２／２，气Ｐ记ｗｌ严１Ｃｏｎｖ３－５１２－Ｃｏｎｖ３５－１２Ｃｏｎｖ３５。－－１２ＣｏＣｏｎｖ３５ｒｗ３５１２ｎｖ－３５１２／２，Ｃｏ＿－ＦｃＸＦ－Ｘｃ－－Ｃｏｎｖ３５１２ａＣｏｎｖ３５１２／２Ｓｏｆｎａｘ－－ｔ！ＳｏｆｔｍａｘＣｏｎｖ３５１２Ｃｏｎｖ３５１２－ＦｃＸＣｏｎｖ３－５１２ＮｅｗＮｅｔ－ｌＮｅｗＮｅｔ２ＦｃＸ＿＿ＳｏｆｔａａｘＳｏｆｔｎａａＮｅｗ＿Ｎｅｔ３ＮｅｗＮｅｔ４＿图３－２加速网络设计过程Ｆ－ｗｏｉ３２Ｔｈｅｄｅｓｉｎｒｏｃｅ巧ｏｆａｃｃｅｌｅｒａｔｉｎｔｈｅｃｏｎｖｏｕｇｕｒｅｇｌｔｉｏｎｎｅｔｒｋｐｇ－Ｎｅｗｎｅｔ结构和ＶＧＧ６的结构－１３３最终的深度卷积神经网络＿对比如图所示。一其中每个卷积层和全连接层后面都连接着Ｒｅ山激活函数层，函中未显示。图中‘‘’’＂Ｃｏｎｖ３＊６４３ｘ３卷积核，卷积深度为６４，其他卷积层＾此类推表示的是，Ｐ〇〇１２［＂‘‘＂／２表示的是用于池化的窗口大小为２ｘ２２ＦＣ＊４０９６，步长为，表示的是全连接层，神经元个数为４０９６。一レ－从图中可ッ看出，本文提出的模型主要有Ｈ处与原模型ＶＧＧ１６不样，分别是卷积核和Ｐｏｏｌｉｎｇ层的核大小和步长，其次是输出的二维特征大小，最后是模型深度的差别。—ＮｅｗＮｅ－深度卷积神经网络ｔ保留了和ＶＧＧ１６样的直线型结构，但是在层＿－－６为１６层ｗ数上比ＶＧＧ１６要深，ＶＧＧ１，而本文提出的加速模型Ｎｅｎｅｔ达到了＿Ｎｅ－１９层。此外Ｎｅｗｔ将ＶＧＧ１６中的全连接层去除，只留下最终输出本文提出的＿标签预测概率的全连接层，一－Ｐｏｏｌｉｎ层的核大小和步长：第层的卷积核大小ＶＧＧ１６首先是卷积核和ｇ，一３ｘ３，是的卷积核，步长为１而本文中的模型第层卷积层的卷积核大小是７ｘ７，一－样的是Ｐｏｏｌｉｎ层１６但是步长为２此外明显不ｇ，ＶＧＧ的Ｐｏｏｌｉｎｇ层大多核大小，Ｉ 北京交通大学硕±专业学位论义弱标注环境下基于《标签巧巧学习的加速歯您巧注为２一一个，步长也为２，但是本文提出的模型中第Ｐｏｏｌｉｎ层核大小为３个ｇ，最后Ｐｏｏｌｉｎｇ层大小为１，且全部是步长为１，全部通过卷积核的步长为２来实现二维特征的减小－二维，通过这些改变使得输出的二维特征相比ＶＧＧ１６模型的特征大大减小－二维；其次是模型的输出的二维特征的大小，深度模型ＶＧＧ１６处理的特征大小分别为２２４ｘ２２４、１１２ｘ１１２、％ｘ５６、２８ｘ２８、１４ｘ１４，而新模型中二维特征３６ｘ％一大小分别为１０９ｘ１０９、、１７ｘ１７、７ｘ７、３ｘ３，相比较可Ｗ发现新模型每次输出的二维特征大小都要小于ＶＧＧ－二维１６的输出的特征大小。输入围像大小输入困像大小２２４Ｘ２２４２２４Ｘ２２４＿ｏｇ－Ｃｏｎｖ３６４ｌＣｏｎｖ７６４／２Ｃｏｎｖ３－６４Ｐｏｏｌ３３６－Ｐｏｏｌ２／２Ｃｏｎｖ３１２８／３Ｉ｜－＿Ｃｏｎｖ３１２８Ｃｏｎｖ３１２８Ｉ｜＿Ｃｏｎｖ３Ｃｏｎｖ－２８１２８３１３－Ｐｏｏｌ２／２Ｃｏｎｖ１２８－说ＰｏｏＣｏｎｖ３２５６ｌ２Ｉ－２５６－Ｃｏｎｖ３１７Ｃｏｎｖ３２＾６／２Ｃ￣２５６Ｃｏｎｖ３－２５６ｏｎｖ３Ｐ３－２５６ｏｏｌ２／２Ｃｏｎｖ－５２－Ｃｏｎｖ３１２８Ｃｏｎｖ３２５６Ｃ￣５２Ｃｏｎｖ３￣２５６ｏｎｖ３１－ＰｏｏＣｏｎｖ３５１２ｌ２Ｐ７－ｏｏｌ２／２Ｃｏｎｖ３５１２／２ＩＣｏｎｖ－５－５３１２Ｃｏｎｖ３１２＾－Ｃｏｎｖ３￣５１２Ｃｏ打ｖ３５１２Ｃｏｎｖ３￣５－５１２１２Ｃｏｎｖ３Ｃｏｎｖ３－１２Ｐｏｏｌ２／２５Ｉ￣￣Ｆｃ二４０９６Ｐｏｏｌ１ＩＩ－Ｄｒｏｐｔ３Ｃｏｎｖ３５１２／２—ｏｕ－Ｆｃ－４０９６Ｃｏｎｖ３５１２ｖ３－５ＤｒｏｐｏｕｔＣｏｎ１２—＂￣Ｆｃｘ－ＩＦｃＸＩ１Ｓｏｆｔ職Ｓｏｆｔｍａｘ－ｆｉｅｗＶＧＧ化＿Ｎｅｔ－３－３ＮｅｗＮｅｔ困ＶＧＧ１６棋型巧本文巧出的巧的巧型＿－化扣ｄ－３ｅｍｏｄｅｌＶＧＧ化ｗＮｅｔＦｉｕ３Ｔｈｏｆｇｒｅ＿－Ｓｏｆｔｍａｘ层，ＶＧＧ１６１６层，而本最后是模型深度的差异，不算上樓型的层数为－化模型多出三层了《文提出的新模型深度达到１９层，相比ＶＧＧ－－１３２，和新模型的深度虽然増加了，但是计算量参巧却大大巧少了由公式口）（）巧 北京交通大学硕±专业学位论义弱标注环巧下基于《标答深巧学习的加速图像标注一层的计算量大小３－可知这两个模型在每１，如表所示，从表中可看出，由于新提出的模型处理的二维特征大小远远小于ＶＧＧ－二维特征１６模型处理的，因此每一－层的计算参数量都远远小于ＶＧＧ－１６，新模型的总计算参数量是ＶＧＧ１６的将近１／７，参数量减少必定会加快模型处理图像的速度，模型能力是否得到相应的保留，一在之后实验验证节会详细验证本文提出的模型和ＶＧＧ－１６在腾讯Ｑｚｏｎｅ空间多标签数据集上的速度和精度，在该实验中，本文提出的深度卷积神经网络ＮｅｗＮｅｔ＿在测试集上的平均准确率ｍａｃｒｏ－ａｃｃｕｒａｃ相比于ＶＧＧ－２％ｙ１６虽然降低．５，但是在ＣＰＵ模式下处理每张图片的平均速度速度却加快了近６倍。表３－ＶＧＧ－６１１和ＮｅｗＮｅｔ的计算参数量＿－ｌａｂｅ－ｌ３１ＴｈｅＣｏｍｐｕｔａｔｉｏｎｏｆＶＧＧ１６ａｎｄＮｅｗＮｅｔ＿ＦｅａｔｕｒｅｍａｐＶＧＧ－１６ＦｅａｔｕｒｅｍａｐＮｅｗＮｅｔ＿？２２４Ｘ２２４１９４＊〇９１０９Ｘ１０９０．１１２＊１０．ｌ９９１１２Ｘ１１２２．７７＊ｌ〇０．６６９＊１〇３６ｘ３６９９５６Ｘ５６４．６２＊ｌ〇１７Ｘ１７０．７６７＊ｌ〇９７Ｘ７＊？２８Ｘ２８４．６２＊ｌ〇０．５２０１０？？１４Ｘ１４１．３９＊１０３Ｘ３０．０６４＊１０＊９＊９０１２３ｌ〇０．００５ｌ〇全连接层．全连接层９９３＊〇２．１３７＊１〇总和巧．４６ｌ总和３．１．３加速网络卷积层的ＳＶＤ分解ＮｅｗＮｅ－本文提出的深度卷积神经网络ｔ在计算参数上巧少至ＶＧＧ１６的近＿，对ＮｅｗＮｅｔ进行相应ＳＶＤ分解，实现进１／７，本文在提出的加速模型的基础上＿一步的巧少计算参数量的目的？ＳＶＤ即奇异值分解，奇异值分解是用于分解任意矩阵并提取出特征的方法，巧切，因此先介绍恃征值分解：由于奇异值分解和持征值分＃关系十分３４ 北京交通大学硕±专业学位论义弱标注环巧下巧于《标答巧巧学习的加巧图饭标注（１）特征值分解假设矩阵＾为方阵ｎｘｎ一，大小为，且向量０是＾是特征向呈，则定有如下公式Ａ０三Ｘ０（３＾）其中；Ｉ就是向量０所对应的特征值，因此方阵＾的特征分解可Ｗ表示为－＇＾＝１０３－５０（）一其中由特征向量组成一０，Ｚ代表个对角线上每个值代表个特征值的对角矩阵。这就是特征值的分解，分解得到的特征向量和特征值是表示这个矩阵的最重要的一特征，特征向量用来表示有多少个特征Ｗ及每个特征是什么，而特征值用来表示对于特征的权重，但是特征值分解的前提是用于分解的矩阵必须是方阵，奇异值矩阵就是来解决这个问题。２奇异值分解（）针对特征值分解只能用于方阵的问题，奇异值分解在其基础上进行了改进从而实＞现了可Ｗ分解任意矩阵提取出任意矩阵的特征，分解示意图如困３４所示。Ｔ二ＸＸＶＵ＇Ｂ玄ｂｘｂａｘａａｘｂａｘｂ３－４函ＳＶＤ分解示意围Ｈ３－４ｕｒｅＴｈｅＳ浊ｅｍａｄｃ出ａｇｒａｍｏｆＳＶＤｄｅｃｏｍｏｓｉｔｉｏｎｇｐ０ｘ６，假设矩阵Ｂ为任意矩阵，大小为则其奇异值分解为Ｕ是一一个ａ其中左奇异矩阵个ａｘａ的正交方阵，ｒ是ｘ６大小的对角线上为奇＾７异值其余皆为〇的矩阵，＾是６＾６的正交方阵。其中奇异值是奇异值分解的关巧，ｒ跟特征值类似，其对角线上的元素从大到小排列？在大多数巧况下，几乎前１０％〇甚至１／〇的奇异值的大小就几乎等于整个奇异值么和的大小，这也是奇异值分解的一些奇异值来近似的描述整个矩阵。因此，可＾＾用奇。最关键的地方（异值矩阵的前：假设用前＊大的奇异值来描述真个矩阵，则有如下的近似奇异值分解公＊３－７？。＊（）一个接近于原始矩阵Ｂｋａ，其中往往远远小于，这样巧可Ｗ通过王个矩阵来表示？同时又可Ｗ大大巧少计算量，这也是本文利用到的奇异值分解的优点有了ＳＶＤ的基础知识后，接下来本文详细介绍如何对深度卷积神经网络进行ＳＶＤ分解。假设输入ｔ通道的二维特征义＊？，，经过Ｃ个神经元，输出为；３５ 北京交通大学硕±专业学位论义弱标注环巧下甚于《巧答深巧学习的加速图饭标注－ｒ＝－ｆｆａ３８（）２一其中Ｗ是ｃ＊ｓ＊一个（ｆ＋ｌ）维的矩阵，１代表的是每层偏畳单元，可Ｗ看出计算２＊＊复杂度约为０（ｃＣｓ〇）．假设输出向虽为低秩子空间，则可Ｗ重新有如下计算公式：＝ｒＭｆｆ：＼ｒ＋ｂ３－９（）＝－＊？其中６ｆｆ是输出向量的均值，而Ａｆ可Ｗ用两个ｃｃ大小的矩阵戶和０ｒ＇＇２＊＝＊表示Ｍ，即Ｍ戶Ｗ＝，同时令啼表示ｃｓｆ＋大小的矩阵ｇ０，贝！Ｊ输出可（Ｕ从重新表示为＝ＹＸ＾ｈ－ＰＷ３１０（）＇＊２此时的计算复杂度约为０＊（ｃ（＊ｆ＋ｌ）），可Ｗ发现经过这样处理后计算复杂度为原始计算复杂度的ｄ＇／ｄ当分相比于ｄ越小则计算复杂度越小。为了得到上面提，到的戶和就使用了ＳＶＤ分解，即Ｍ－＝ＵＳＶ３１１，：／（）２则可得到Ｐ＝＝。二和ｅ本文考虑到新模型在处理维特征大小为７Ｘ巧７、３ｘ３时计算参数ｉ己经千分小，因此本文只针对新模型中二维特征大小为％Ｘ３６和１４ｘ１４时进行了相应的ＳＶＤ分解。在选择前Ｎ个奇异值的Ｎ值时，本文选择保留能量９８％Ｌ：Ｊｌ上，即首先确定前Ｎ个奇异值之和满足占比所有奇异值的比例为９８％的这些Ｎ的取值，然后从符合条件的前Ｎ个奇异值选取出最小的Ｎ，这样该层的计算参数量也就相应较小。本文己经训练收敛的模型中的输入二维特征大小为％Ｘ％和１４ｘ１４的卷积层进行尝试，对它们进行ＳＶＤ分解之后，计算出符。合能ｉ条件的前Ｎ个奇异值，并选取了其最小的满足能量要求的Ｎ深度卷积神经网络ＮｅｗＮｅｔ的ｆｅａｔｕｒｅｍａｐ大小为的卷积层经ＳＶＤ分＿解后符合条件的Ｎ为７６，ｆｅａｔｕｒｅｍａｐ大小为１４Ｘ１４的卷积层经ＳＶＤ分解之后符合条件的Ｎ为５得到新的模型如图３－５所示１１，最终Ｃｏ－ｎＶ７６４／２￣－Ｃｏｎｖ３２５６／２Ｐｏｏｌｌ＾＾＿Ｃ畑ｖ３ｌ１ＳＩ－－Ｃｏｎｖｌ２５６Ｃｏｎｖ３１２８／３＾－Ｃｏｎｖ－Ｃｏｎｖ３１１５３７６Ｐｏｏ１ｌ２－２化〇１－ｌＷＷＣｏｎｖｌ２５６ｃ〇ｎｖ３５口／２Ｃｏｎｖ－Ｃｏｎｖ３５。／２＾－－－Ｃｏｎｖ３＂Ｓ＾Ｃｏｎｖ３５１２￣Ｃｏｎｖ３巧Ｃｏｎｖ３５１２－－－Ｃｏｎｖｌ２５６ＣｏｎｖＣｏｎｖ３５。ｖ３－ｌ１２８Ｃｏｎ５口－Ｃｏｎｖ３－Ｃ－１１５Ｃｏｎｖ３５１２－１ｉｏｎｖ３７６Ｆｃ０００－－Ｃｏｎｖ－Ｃｏｎｖｌ２５６Ｃｏｎｖ３５＂ｌ１２８ＳｏｆｔｎａｘＮｅｗＳＶＤＮｅｔ＿＿３－５ＮｅｗＮｅｔ进行ＳＶＤ分解后巧到的樓型ＮｅｗＳＶＤＮｃｔ巧＿＿＿－ＴｈｅＮｅｗＳＶＤＮｅｔｏｂｔａｉｎｅｄｂＳＶＤｄｅｃｏｍｏｓ拍ＭｌｏｆＮｅｗＮｅｔＦｉｕｒｅ３５ｙｐ＿ｇ＿＿３６ 北京交通大学硕±专业学位论古弱标巧巧巧下某子多标《巧巧学习的化巧图您标注由图可Ｗ看出，ＮｅｗＳＶＤＮｅ＿ｔ中将原来的输入二８ｘ＿维特征为１２％ｘ％输出也是１２８ｘ３６ｘ３６的卷积层Ｃｏｎｖ３－二１２８分解成了两层卷积层，分别是输入维特征为８１２＾６Ｘ％输出为７６ｘ３６Ｘ％的卷积层Ｃｏｎｖ３－７６和输入二维特征为７６Ｘ３６ｘ％输出ｘ％ｘ３６的卷＂为１２８积层Ｃｏｎｖ－－ｌ１２８，其中Ｃｏｎｖ３７６是经ＳＶＤ分解之后得到的，一这些参数保留了之前Ｃｏｎｖ３－１２８的９８％Ｗ上的能量。为了保持输出维度的致，在后面接上卷积核大小为ｌｘ１，卷积深度为１２８的卷积层。可レッ发现把这两个卷积层看作整体之后，其输入输出的二维特征和分解前的输入输出的二维特征一致，对卷积核为３输出为２５６的卷积层保留了前５个奇１１－异值。对Ｃｏｎｖ３１２８卷积层的分解的原理如图３￣６所示。输入二维特征＾出二维巧征１２８３６Ｉ输ＸＸ化１Ｉ化ＩＩ１１厂ＩＩ原始巧巧层—－－－一输出二维特巧一１２８Ｘ３６Ｘ３６输出二巧特征Ｉ？Ｘ３６Ｘ３６１＿＿巧入二推特征…＂？＾，２８３６Ｘ３６—！１Ｘ．厂１１１｜＇进行ＳＶＤ解后―分！！０（Ｉ＇的两个巧巧层Ｗ＝＝－＿＿＿ｊ－＾ｒ１□—ｂｒ者巧技大小３Ｘ３卷积ａ大小１Ｘ１图３－６卷积层分解原理图＾－Ｆｉｒｉｎｉｉｉｇｕｒｅ３６Ｔｈｅｄｅｃｏｍｐｏｓｔｉｏｎｃｌｅｄａｒａｍｏｆｃｏｎｖｏｌｕｔｉｏｎｌａｅｒｐｐｇｙ一通过卷积核大小为１ｘ１的卷积核使得最后的输出与之前是致的，但是在计算参数量上却发生了变化。＊－依照公式（３１），可得图中原始卷积层的计算参数量大小为１２８巧６巧６巧３１２８，而分解之后得到的两个卷积层的计算参数量大小为两个卷积层计算量相加，很明显它们的和要远小于原始卷积层的计算参数量大小。３－２为深度卷积神经网络ＮｅｗＳＶＤＮｅｔ和ＮｅｗＮｅｔ的计算参数量对比，表＿＿＿－－ｅｗＳＶＤＮｅｔ和ＶＧＧ１６计算参数量对比表３３为深度卷积神经网络Ｎ＿＿。由图可ＷＮｗＳＶＤＮｅｔ相比于ＮｅｗＮｅｔ的区别在于输出二维特征大小为％Ｘ％和，ｅ＿看出＿＿＊９．１７ｘ１７过ＳＶＤ分解后，这两部分的卷积层的计算虽参数从０６６９１０的卷积层，经９９＊＊＊化４７４０．４２５１０。和化％７１护分别减少至１０和总体而言这两处的计算量参数减３７．４％，ＮｅｗＳＶＤＮｅｔ的计算参数量减少至Ｎｅｗ＿Ｎｅｔ的０．７５倍。少了约＿＿ 北京交通大学硕±专业学位论义弱标注环巧下巧于《标答深巧学习的加速困饭标注表３－２ＮｅｗＳＶＤＮ幻与ＮｅｗＮｅｔ的计算参巧＊＿＿＿Ｔａｂ－ｌｅ３２Ｔｈｅｃｏｍｕｔ出ｐｉｏｎｏｆＮｅｗＳＶＤＮｅｔａｎｄＮｃｗＮｅｔ—＿＿ＦｅａｒｅｍａｔｕｐＮｅｗ＿ＮｅｔＦｅａｔｕｒｅｍａｐＮｅｗ＿ＳＶＤ＿Ｎｅｔ９１０９０９０Ｘ１．１１２＊ｌ〇１０１０９０１１２＊１炉９Ｘ．９？３６Ｘ３６０．６的＊１〇３６Ｘ３６０．４７４＊１０９９１７Ｘ１７＊ｌ〇７０４２５＊ｌ〇０．７６７１７Ｘ１．９？７Ｘ７０．５２０＊１〇７Ｘ７０．５２０＊１０９３Ｘ３０．０６４＊１炉３Ｘ３０．０６４＊ｌ〇９９全连接层０．００押ｌ〇全连接层０．００５＊１〇９９总和２．１３７＊１〇总和１．６０＊１〇－表３－３ＮｅｗＳＶＤＮｅｔ于ＶＧＧ１６的计算参巧＊＿＿－－Ｔａｂｌｅ３２ＴｈｅｃｏｍｕｔａｔｉｏｎｏｆＮｅｗＳＶＤＮｅｔａｎｄＶＧＧ１６ｐ＿＿ｒｅｍａｗＳＶＤＮｅｔＦｅａｔｕｒｅｍａｐＮｅｗ＿ＮｅｔＦｅａｔｕｐＮｅ＿＿？２２４２２４１＊１０９１０９０．１１２＊１０Ｘ．９４０炉１Ｘ１炉３６３６０炉１２２２．４７４＊１１Ｘ１１．７７０＊Ｘ９４＊１〇１７Ｘ口０．４２５＊１炉５４Ｘ５４，６２０？４＊１炉７Ｘ７０．５２０＊１０２８Ｘ２８．６２０，？３Ｘ３０＊１１３９０Ｋ１０．０６４１０１４Ｘ４．９全连接层０．口３＊１炉全连巧居０．００５＊１〇＊＊＊１０总和１．６０总和巧．４６３１炉３８ 北京交通大学硕±专业学位论义弱标注环巧下基于《标答巧巧学习的加速函復巧注从表－９３３中可知，此时的ＮｅｗＳＶＤＮｅｔ网络计算参数量大小为１．６０Ｍ０，是＿＿ＶＧＧ－１６深度模型的化１倍，模型的计算参数量大大减少，本文将在第五章实验中验证，并详细对比本文提出的ＮｅｗＳＶＤＮｅｔ和分解前的模型＾－＾？及ＶＧＧ１６＿＿模型准确度和速度。３．２结合深度学习的弱标注数据的迭代优化目前大多数的针对弱巧注环境的改进办法大都是从算法角度进行改进，使得算法更能学习到标签之间的相关性，从而提升模型在弱标注环境下尽量学习到更多的图像与标签之间的对应知识。本文针对弱标注环境的语义标签集不完整问题和语义标签围像数量分布不平衡问题这两个问题，尝试从数据角度，使用少虽完整的标注数据，基于深度学习通过多种策略进行优化迭代，来改菩弱标注环境数据，进而提升模型精度。接下来本文将从思路和具体策略进行详细的介绍。３．２．１基本思路首先针对弱标注环境中的图像的语义标签集不完整问题，本文考虑到由于对于深度卷积神经网络，其本事是通过《层的多个神经元学习图像数据和语义标签之间的非线性映射关系，也就是说训练收敛的深度学习模型对于相似的输入，通过巧度学习学到的映射关系，可Ｗ得到相应的输出。＾：１＝公以。假设多标签图像乂的对应标签集为，．．＾．．＾｛，，，，句｝代表包含标；＾，２３＝Ｘ的映射关系签标签集，深度卷积神经网络的就是学习王／。而对于单标签学ｙ（）习ｉ，＝，假设團像的对应标签为则深度学习的目标就是学习切〇〇的映射关，／系，则；对于弱标注环境可Ｗ看成多标签图巧乂的标签集不完巧，即＇一Ｌｘ＝ＬｘＺｘＬｘ。＜．．．，缺少本应该有的语义巧签卸当模型的参数中包含了某｛，，，｝，，，，那么在面对缺少该语义标签的图像时标签的图像和语义标签之间的映射关系，该图像经过了模型的参巧？，就会相应的映射出该标签习模型可Ｗ从别的困片学习到皆＝本文假设深度学０的映射关系，那么深／〇度学习模型从新对这张弱标注环巧的图片进行预測，则可Ｗ得出较高的标签邸的，可定程度上补充该图片未标注到的语义标签输出概率，，通过对巧值的选取一。如巧３－７所示这样就可＾１，深度学习模型从其他图（定程度上优化弱巧注训练集片学习到了图像数据树和语义标签树的映射关系，那么输入相似的树的特征时，深度学习模型就会输出语义标签树。巧 化京交通大学硕：ｉ：专业学位论专弱标注环巧下基于《掠答深巧学习的化速巧值标注Ｍｏｄｅｌ树木＝ｆ１Ｃ（图片巧术特征）＾、孕子巧，．…树木－＇—ｉＩｎｐ字子湖六树村（气＞１树木特醉心１＾團３－７数据迭化原理图：Ｆｉｕｒｅ－ｇ３７Ｔｈｅｐｒｉｎｃｉｐｌｅｓ出ａｇｒａｍｏｆｄａｔａｉｔｅｒａｔｉｏｎ其次针对弱标注环境中的语义标签图像数量不均衡问题，比如相比于人来说，＇金钱豹的图像数据集肯定是低频的，这就是不同语义标签圍像数据分布不均衡的问题。对于大部分传统机器学习和深度学习来说．语义标签的图像数据数量都会大大影响模型对于该语义标签的判别能力一。对于多标签学习来说，对某单惊签的判别能力下降肯定也相应的影响模型整体的巧度，本文考虑到获取单标签图片的成本是远远小于获取多标签图片的成本，因此针对弱惊注环境的这个问题采用添‘＇加相应单标签图像数量来减少由于数量多少导致该标签精度过低的影响。当豹子的数量相比人的数量少很多时，模型的预测结果显示豹子的识别能力也相对较低一定数量的豹子的单标签图像数据进训练数据集，此时可Ｗ添加，在对模型进行训练，再重新预测时模型对豹子的识别能力就会相应的提升。在这里通过获取相对较容易的单标签图片来实现提升模型对低频语义标签的识别能力，这样的可行性比较高。在本模型中比较关键的在于预测结果的分析和单标签困片的添加，其中预测结果的分析是Ｗ标签的平均Ｆ１值作为参考，当某个标签的Ｆ１值相比于平均Ｆ１值－过低时，如图３８所示。，则需要相应添加该语义标签的单标签图片 北京交通大学硕±专业学位论义弱巧注巧巧下某于《栋答深巧学习的加巧图化标注人的国像数据远远大于金钱豹的图像数据人有更麵准＾巾巾旨金钱豹预测准确率雲自Ｕ帛幫晒置肋；爱懿注相比较低图３－８图像数据分布不均衡解决办法Ｆ－ｉｕｒｅ３８Ｔｈｅｓｏｌｕｔｉｏｎｆｏｒｈｅｂａｌｈｅ出ｒｉｂｕｉｉｍａｇｔｕｎａｎｃｅｏｆｔｓｔｔｏｎｏｆｇｅｄａｔａ添加的单标签图片需要人工进行筛选，即图像要求尽量只包含该语义标签对应的图案，此外添加数量是循序渐进的添加，每次添加完要相应的分析模型的预测结果，因为若添加过多势必会影响模型对其他语义标签的识别能力，因此当出现模型对其他语义标签的识别能力大幅下滑时即停止加入该单标签图片。如此循一环的进行迭代添加，直到每类的语义标签的Ｆ１值都得到相应提升。ＬＪ：ｌ上是针对弱标注环境的标签语义集不完整和数据分布不平衡的两个问题的相对应的改进思路和大致策略，在结合深度学习模型进行数据的迭代优化时还需一要加入些针对深度学习的策略，本文接下来将从算法流程和具体实现来详细介绍如何结合深度学习来实现弱标注训练数据集的迭代优化。３．２．２算法框架模型上面介绍了依靠模型学习別处的图像和标签之间的映射关系来解决标签集不完整问题和増加单个标签数据集处理数据分布不平衡问题。结合深度模型的数据迭代算法框架－，如图３９综合之前的解决思路，本节提出、＾一所示：是通过补充数据从而提升化频标签的识，算法框架中主要包括两个步骤二是通过预测原始训练集并合并原始标签集和新预测的标签集。通过这别精度；两个步骤算法框架最后输出迭代后的训练数据集。Ｉ 化京交通大学硕±专业学位论专弱巧注巧巧下基于《掠游深巧学习的化法亞ａ标注＾ＳＥ０学习户因Ｉ了ｆ加入而合并Ｊｌ的标始标ｉｚ＾向＾＋店＾為—Ｙ分一巧Ｖｉ相巧得￣麵对而言每个标１＾＾ｆｃＵＢｆＩ一签都己络ｇｉｐＨＣ兰原始数据集图３－９数据迭代巧法框架－Ｆｉｕｒｅ３９Ｔｈｅｆｒａｍｅｗｏｒｋｏｆｇｄａｔａｉ化ｒａｔｉｖｅａｌｇｏｒｉｔｈｍ为了获得更精准的模型能力的评价，本文使用的测试集为人工二次标注，即相比于人工一次标注的测试集其标签集要更加完整和可靠，这样才可＾心更精准的。其中深度学习模型在训练数据集上进行训练评价模型的标注能力，收敛后在二次标注的测试集上进行测试，，然后分析其预测结果将Ｆ１值相比于数据集平均Ｆ１值过低的语义标签挑选出来，然后相应的添加该语义标签的单标签图像，按照４．１节中的介绍进行循序渐进的迭代训练，直到模型在二次标注上的预测结果显示每■’－，接着就对原始训练集进行预测类标签对应的Ｆ１值都有了较好的提升，预测得到的新标签集合和原始的标签集合进行合并，最终得到迭代后的标签集合。下面详细介绍其中的两个关键步骤。（１）补充数据，提升低频标签的识别精度由于当训练数据集里面的标签数据分布相对比较均匀时，有利于模型更加精一准的预测语义标签集，问题进行了分析预测结。因此本文的框架中首先针对这果和加入数据的步骤一工补充标注从而获得对于标签体系。这步的前提是通过人二每张图片的标签集完整的测试集，即通过人工次标注来获得相对更加精准的测。试数据集，因此耗巧的人工也小很多。由于测试集相比于训练集小得多结果分析是依据每个语义标签的最优Ｆ１值，由于模型预测输出是概率值，因Ｉ 北京交通大学硕±专业学位论义弱标注环巧下某于《标答深巧学习的加巧图您标注此需要计算出在每一个概率值下的Ｆ１值，即预测概率大于或者等于指定概率时该语义标签预测为真。假设测试数据集中包含语义标签Ｌ的图片数量为ａ一，在某概率／下有／张图片预测输出为该标签？，其中／张图片预测正确，则该语义标签的准确率计算为ＰＬ＝－ｌｔ３１２（）ｒ（）召回率计算为ＲＬ＝－ｒ！ａ３１３｛）（）则该标签的最优Ｆ１值为Ｆ＝＊＝－ＩＰＬ＋ＲＬＰ（Ｌ、ＲＬａ＋１／２ｒ（３１４（）（）Ｌ（）（））由Ｗ上公式变可Ｗ分析得到每一个语义标签的最大ＦＩ值，同时获得其对应的概率。值，称为最优截尾闽值，即大于该巧值才能将标签设置为真如果结果分析发现一语义标签的Ｆ某１值过低，则通过补充该标签的单标签图数据来提升模型对该。レ标签的识别能力当然，数据的补充也不是可ッ无限加入，因为加入过多必定会影响其他语义标签的精度。因此，本文每次迭代都依据训练数据的大小先尝试加入两千或，经过数次迭代后，在不过于影响其他标签（＾上的不等单标签图片数据一Ｆ的精确度的前提下尽＊提商了每类语义标签的最优１值。（２）预测原始训练集并合并原始栋签集和新预测的标签集此时的深度卷积神经网络己经收敛一类标签都有着相对较巧的识别，针对每率。接下来本文用此模型对原始训练集进行预测输出，输出时每个标签的闲值选取则是依据之前获得景优Ｆ１值时的巧率值。接着再把每张图片预测得到的语义标？签集和原始的语义标签集合进行合并，获得了更加完整的标签集为了验证数据集是否得到了优化，本文用迭代后的数据重新用原始模型进行训练？，在相对完整的验证集上对比在原始数据集上用原始模型训练得到的模型Ｆ１，若每个标签的最优值得到了提升，说明模型能力得到提升而且间接说明迭代后的数据得到了优化。经实验证明，也间接证明新的巧据集，数据迭代方法有效的提升了模型巧度获得了更加完整的标签集？３．２．３特征融合和分类器优化？上述数据迭代过程中，其中己收敛网络的预巧输出也十分关巧预測输出的结果越精准意味着可＆就更好的补充弱标注训综巧据集的缺失标签集，这直接巧巧巧是否能实现更好的巧据迭代化化。一由于数据的迭代优化巧是在巧线倩巧下完成，不巧要过于考虑速度，因此巧 化宏学硕±专业学弱标注环巧下巧于《标豁深巧学习的加速函像掠注本文在不考虑速度的前提下－，针对预测步骤提出了如图３１０所示的优化的模型预测的方法。训练数巧集ＶＧＧ－ｗ１６特征ｉｉ取ＮｅＮｅ＿ｔ特征巧取ｆｃ７屠特征（働维）口〔４５１２Ｃｏｎｖ４３巧维至＿层特维征（Ｓｌ２维）＼７＼７几何平均得到巧合特征７Ｚ３ＬＺＴＫＮＮ分巧器３－困１０预測步巧的优化方法－Ｆｉｇｕｒｅ３１０Ｔｈｅ）ｔｉｉｎｉｚａｔｉｏｎｍｅｔｈｏｄｏｆｉｅｄｉｃｄｏｎｓｔｅｓ巧ｐｐ（１模型巧合）模型巧合是机器学习中常用的方法，巧于窠成学习方法，是指组合《个巧模一型，，使得最终的模型的泛化能力更强般的巧合方法是使用多个弱模型进行投票或者加权平均。本文借鉴这个思路，尝试使用本文提出的深度卷积神经网络－？ＮｅｗＮｅｔ和ＶＧＧ１６进行特征巧合区别于传统的对巧型的预满结果进行巧累或＿一ＶＧＧ－１６和ＮｃｗＮｅｔ两个模型的最后层特征进行凡何平者加权平均，本文使用＿一ｘ４０９６－６７ｌｘｌ。ＮｅｗＮｅｔ的最后，维度为维均，ＶＧＧ１的最后层特征名称为位＿一４－３＾＾５层特征名称为０：〇１＾，维度为１２维。一－７层ＰＣＡＶＧＧ１６的ｆｃＰｒｉｎｃｉａｌ为了使两个模型的锥度致，本文对特征进行ｐ（５一Ｃｏｍｔｓｓ，１２维？ＰＣＡ是常用的种基于变量ｐｏｎｅｎＡｎａｌｙｉ．主成分分析）巧维巧至协方差矩阵对样本信息进行处理、压缩和抽取的有巧方法？其关巧思想是用更少空间降维的目的？下面本文将介绍的数据特征来描述样本从而实现对数据的特征４４ 北京交通大学硕±专业学位论义弱标注环巧下基于《标签深度学习的加速困傻标注ＰＣＡ的计算原理。介绍ＰＣＡ前先介绍协方差的概念一。协方差是种用来度量两个随机变量关系的统计量。假设两个随机样本分贝为乂、Ｆ，个数为《，则有协方差计算公式Ｉ－￣￣＾ｃｏｗ｝——－Ｋ（义口）？—１其中克和ｆ分别代表两个样本的均值。协方差是面向二维问题，当数据维度超过二维就需要用协。方差矩阵来度量协方差矩阵计算是不同维度之间的协方差，而不是不同样本之间的。协方差矩阵的定义公式为＝ｃｃ＝－ｃｏｎｖＤｉｍＤｉｎｉ３１６（，（，）），ｊ，，ｊｔｊ（）一其中Ｃ代表ｎｘＭ的矩阵，就是计算矩阵每列与其他列数据的协方差，得到的矩阵就是协方差矩阵。得到矩阵的协方差矩阵之后计算出该矩阵的特征值和特征向量，将特征值按从小到大排列，然后取你希望取的前Ｐ个特征值。接着用前Ｐ个特征值乘特征向量就得到特征向量矩阵，最后用得到的特征向里矩阵的转置左乘原始矩阵就得到了ＰＣＡ降维后的矩阵。依据Ｗ上ＰＣＡ降维原理，把提取出的训练数据集的伍７层特征当做是二维矩阵，将４０９６为特征降维至５１２维。ＣＡ５－用得到的Ｐ降维后的１２维特征和本文提出的ＮｅｗＮｅｔ的Ｃｏｎｖ４３层特征＿－６ＮＮｔ特征进行几何平均，即定义ＶＧＧ１提取的特征向量为ｅｗｅ提取的特征＿向量为公：，则计算平均的公式为＝１－£．．．３１７，１晒，＾／＾１（）则由Ｗ上计算公式获得新的酷合特征》口）ＫＮＮ分类器－ｂｏＫ近邻算法ＫＮＮＫＮｅａｒｅｓｅｉｒ，是思路简单的成熟的（ｔＮｇｈ）分类算法也成为货法，它依据特征空间中距巧最小的那些样本的语义标签类别来判定自己所巧的？ＫＮＮ的计类别，也就是说特征巧相似的两张图片越有可能包含相同的语义标签算步巧主要有：算距离、确定織近Ｋ个对象、依据这Ｋ个对象确定測试对象的语ＫＮＮ分类巧的计算步巧：义巧签。下面介绍计算距离的目的计算測试困片的特征巧训练巧据集困片特征的距巧，特征距一一张巧试困片特征为义，张训练巧据集图片离越小代表两证图片越相似，定义《：特征为ｒ，特征维度为？则计算两张图片的距巧的主要方式有余弦距离：＝－＝＾＞３１８？＞＊＜Ｚ义（）Ｕ义ｎ欧式距离：４５ 北京交通大学硕±专业学位论义弱巧注环巧下巧于《标签深度学习的加速函復标注击－－＝＝ｙ－又１９化ｎ忘化［（）林柳（３）＝ｉｌ切比雪夫距离：－＝－ｍａｘ２０Ａｋ（义ｎ（《）口），ｉ。本文使用余弦距离计算两张图片之间的相似度，通过计算距离就可＾＾得到和测试图片距离最近的Ｋ张图片。也就是说，对测试图片进行预测时，先要保存好训练集的图像特征及其对应的语义标签一，然后计算出测试图片和训练集中每张图片的余弦距离，然后按距离的大小进行排序，距离越近的图片表示与测试集的国片越相似，那么距离越近的图片的语义标签是测试集图片的语义标签的概率就越大。ＫＮＮ算法中如何选取这些距离很近的国片的数量是千分重要的，若选取的图片太多，就会添加过多杂乱的语义标签，选取的图片太少，则会影响使得语义标签标注太少。因此Ｋ值的选择对ＫＮＮ算法十分重要，不同的Ｋ值所得到的结果相差十分一巨大旦近邻的实例是噪声则预测结果就会出错，，Ｋ值选取过小则会这样使得模型抗噪声能力弱且容易出现过拟爸的现象，而Ｋ值选取过大则魚味着过多的近，邻实例影响预测结果，使得模型预测巧度下降在确定Ｋ值时本文通过交叉验证的方法进行确定，即依次计算Ｋ从小到大时的测试集的平均景优Ｆ１值，取效果最好时的Ｋ。确定好了Ｋ个近邻之后就进入分类投票环节，即通过这Ｋ个近邻来确定测试图片的语义标签集，传统的ＫＮＮ方法是依照少数服从多数进行投票决定，Ｋ个近一：邻的权利是样的，则测试图片的概率输出计算公式为ＰＣＸ＝口－２〇（ｊＩ）？！！一一化图片的特征向量ＣＩ，表示某其中Ｘ表示测试图片的特征向＊，为近邻中的ｊ？／包含类别Ｃ则等于１，若不包含则等于０？个语义标签类别，化Ｃ）代表若近邻ｔｊｊ本文在计算得到测试数据集的语义标签概率之后，同样也分析了毎个语义标签在不同巧值下的Ｆ１值，得到最优截尾闲值，此时语义标签输出公式为：－－Ｃｘ＝Ｄｘ／ｃｂ２２ｙ｛），〇／（，）口）（ｊ１５＾＾ｊ－ｉ１１０则为０，即当预測概率大于巧优截尾巧值其中ｊｃ大于０则为，小于Ｉ）。时该标签即设置为真，代表測试图片包含该标签是添加泣单标签数据集的训练数巧集？ＫＮＮ时Ｉ练数据集本文使用，使用的巧分别得到补充后训综巧据集和二次标注測试堯的巧合持征，然后使用ＫＮＮ算法得比优化预巧和宋优化的预巧结果，到測试集的标签集。在接下来的实验章节将对。实验证明模型巧合和拉欣分类巧提升了困像标注效果，有利于巧据迭代优化化 化京交通大学硕±专业学仿论义弱标注环巧下基于《标签深巧学习的加速图像标注３．３本章小节－本章首先针对深度模型ＶＧＧ１６由于计算参数量过大导致在ＣＰＵ模式下预测一一，提出ＮｅｗＮｅｔ输出张图片的速度太便种新的改进的深度卷积神经网络，同＿时分析了新网络与ＶＧＧ－Ｎ１６ｅｗｅｔ网络的结构差异。接着在深度卷积神经网络Ｎ＿的基础上进行ＳＶＤ分解，得到分解后的深度卷积神经网络ＮｅｗＳＶＤＮｅｔ，并比＿＿－较了ＶＧＧ１６、ＮｅｗＮｅｔ、ＮｅｗＳＶＤＮｅｔ这王个模型的计算参数量。＿＿＿接着本章详细介绍了如何结合深度学习从数据的角度，解决弱标注环境数据集的两个主要问题。首先描述了弱标注环境的主要问题，然后详细分析了为解决，习的用这两个问题设计的算法框架，并解释了思路流程接着介绍了结合深度学于提升迭代预测时效果的两种方法：多模型特征融合、ＫＮＮ分类器的替换，多模型特征的思路来源于集成学习，ＫＮＮ分类器是传统分类器中比较好可Ｗ学习到标ｓ签相关性的分类器，因此本文尝试使用ＫＮＮ替换原始深度学习模型中的ｏｆｔｍａｘ分类器。最后本文在实验试验中，介绍了本文为实现设计的算法迭代框架的实验？ｚｏｎｅ的本步骤，并用腾讯Ｑ数据集上的效果证明了算法框架的有效性和实用性章中提出的数据优化流程中的提供比较完整的验证集和补充单标签围片数据虽然一，十分的小，也需要耗资定人力，但是耗巧的人力相比于重新惊注训练集来说因此本文对于企业来说实用意义较大，此外优化后的数据获得了更加巧准的模型，间接提升了弱标注环境下的图像标注效果。４７ 北京巧通大学硕＋专业学位论文《验验证４实验验证当前实现深度学习算法的开源软件有很多，各大科技巨头和著名商校都纷纷开源了自己的用于深度学习的计算框架。如Ｆａｃ洗ｏｏｋ开源的Ｔｏｒｃｈ深度学习框架，蒙特利尔理工学院开源的Ｔｈｅａｎｏ深度学习框架等。这其中最被广泛使用的深度学一ｆ习框架之是来源于加州伯克利分校的贾扬青博±开源的Ｃａｅ深度学习框架。Ｃａｆｅ是基于Ｃ＋＋／ＣＵＤＡ的深度学习框架，架构清晰简单、友好，运算速度快，在ＣＰＵ模式下运算也可Ｗ在ＧＰＵ模式下计算。最能够运行海量的数据，既可Ｗ主要的是由于Ｃａｆｅ深度学习框架的结构模块化，不仅可＾心方便自定义模型结构，也方便扩展任务。，利于用户自定义模型和任务因此很多高校甚至企业都选择使用Ｃａｆｅ深度学习框架作为深度学习应用开Ｃ。发的基础，本文的实验环节也使用ａ抵框架作为实验验证的开发框架４．１实验环境的搭建本文使用开源深度学习开源框架Ｃａｆｅ，对ＣＰＵ模式下本文提出的加速模型进行测试。接下来介绍实验环境Ｗ及搭建Ｃａｆｅ的环境准备Ｗ及对Ｃａｆｅ源码修改使之适用于多标签学习的方法。Ｃａ筋开源框架有Ｓ种语言的接口，包括Ｃ＋＋、Ｐｙｔｈｏｎ、ｍａｔｌａｂ，本实验中所＋＋口ＣＰＵ横式。运行的是Ｃ的接，在实验巧ａ中制定为限于ＲＣＰＵＥ５－２６２０ｖ３ＲＸｅｏｎ；２？４０ＧＨｚ实验的硬件环境：虹ｔｅＫ））（：Ｃｅｎｔｏｓｒｅｌｅａｓｅ６．７Ｆｉｎａｌ）实验的操作系统（Ｃａｆｅ实验的软件环境；深度学习开源框架－．、Ｃａｆ要的配Ｓ环巧如：ｂｉａｓ、ａｔｌａｓ、ｂｏｏｓｔ１５５此外本实验安装了其他ｅ框架巧Ｏｅｎｃｖ２．７等。由于本文的前向预測时在ＣＰＵ模式下迸化因此在前向预測时巧ｐ要指定运行模式为ＣＰＵ－４－白色箭头表示前向计算，黑色箭头的架构如困１巧示，其中Ｃａ饭深度学习，表示反向传播的计算。框架主要分为两大部分分别是数据转换部分和卷积神经巧标签转换成便于快速读取的格式；卷积网络部分．数据转换部分主要是将图片经网络中的卷积层、民ｅ山层、池化层、Ｄｒｏｐｏｕｔ神经网络部分则主要包括卷积神层Ｗ及对整个模型起关键作用的Ｌｏｓｓ层．出当前巧型的预巧结果和实际巧签其中在训练时巧要通过Ｌｏｓｓ损失函巧计＞巧时则只巧要进行前向计算，此时就不巧的差值，并进行反向传巧计而在巧４Ｓ 北京交通大学硕±专＃学位论义《验验证要Ｌｏｓｓ层，而是分类器层，模型通过分类器层对预测数据进行分类预测。首先Ｃａｆｅ框架需要首先对图片进行预处理，如尺寸转换，然后把图片和其对应的标签存储为ＬＭＤＢ格式一，这是种键值对的嵌入式数据库管理系统编程库，利于数据的快速读取。＾－—＂Ｉｉ４Ｐｏｏｌｉｎｇ—…１ｆ化ｉＲｅｌｕＦＣＬａｙｅｒ麵巧ＣｏｎｖＬａｖｅｒＶ〇ｐ？．甘１Ｔ／ｒＡ＿Ｊ＼」ＩＬＭＤＢｆ０Ｄａ化ＬａｙｅｒＩＳｏｆｔｍａｘＬｏｓｓＩ４－ｆ圍１Ｃａｅ框架计算流程Ｆ－ｉｇｕｒｅ４１Ｔｈｅｃａｌｃ山ａｔｉｏｎｒｏｃｅｓｓｏｆＣａｆｅｐ此外，Ｃａｆｅ中数据的读取、运算、存储都是采用ＧｏｏｇｌｅＰｒｏｔｏｃｏｌＢｕｆｅｒ来实一现的。这是种十分髙效和轻便的结构化数据存储格式，适合语言、平台无关和可扩展的序列化数据格式。模型参数都是依据这种格式进行存储，这也是Ｃａｆｅ框一架运行速度快的主要原因之。数据处理好之后便是输入到定义的网络模型，进Ｂ一ｌｏｂＢｌｏｂ行前向和反向计算，这些数据是按照ｓ的数据结构进行工作的．ｓ是个四维数细，例如对于数据为Ｎ、通道数、商度、宽度，对于偏置为Ｎ、１、１、１，真中Ｎ为二维特征的数量。前向计算是用来计算深度卷积神经网络预测输出的结果，然后计巧与Ｇｌｏｓｓ。。Ｃａｆｅ里面的反向计巧ｒｏｕｄｔｍ化的差值得到接着依据误差进行反向计算使用的是前面提到的小批量训练法，即小批量的计算出梯度之和然后反向计算进。ｌｏｓｓ行权重更新，不断重复直到收敛至不再下降为止在Ｃａｆ，对于用户来说只需要调整学习速率和确ｅ框架中这些方法都己经内置一轮所有的训练数据集时会前向定小批量训练的批量大小值即可。在训练迭代完验证数据集于训练数据集完全独立，只是数据分布类计算验证数据集的．由于ｌｏｓｓ证集上的ｌｏｓｓ大小。似。因此，在深度卷积神经网络的训练中会参考网络在验ｓｓ远大于训练集上的ｌｏ，则说明深度卷积神经网络己如果验证集上的ｌｏｓｓ要远止训练：如果验证集上的ｌｏｓｓ出现震荡或者收敛很巧，则经出现过巧合，需要停需要调整学习速率来使得深度卷积神经网络更好的收敛：如果在训练集和测试集？上的，则说明模型及收敛ｌｏｓｓ都收敛至不离下降ｍ■ ｉｔ＿ｓ＿交通大学硕±专化学位论文实验验证４．２加速模型实验４．２．１实验数据本文的实验数据集为腾讯Ｑｚｏｎｅ上的１０万张人工标注的多标签图片，全部是用户公开分享的照片，标签类别数为２００，每张图片平均包含标签数为约为２，．１４数据集的示例图如图４－２所示。曝酣Ｓ麵營圓４－２数据集中的图片和标注的标签Ｆ－ｉｕｒｅ４２Ｓｏｍｅｉｍａｅｓａｎｄｌａｂｅｌｓｉｎｄａｔａｇｇｓｅｔ４－数据的统计信息描述如表１所示。４－表１多标签巧据集－－Ｔａｂｌｅ４１Ｔｈｅｍｕｌｔｉｌａｂｅｌｄａｔａｓｅｔ数据来源数量标签类别数总标签个数标签平均数人工标注的腾巧１０４３２０２００２２３０４８２．１４Ｑｚｏｎｅ空间公开分享图片一０１０４，随机挑８００００１Ｅ在本次实验中，共有３２张己标注的多标签图片选出张Ｈ作为训练集，１００００张作为测试集，１４３２０张作为验证集，对于验证集，考虑到需Ｉ 北京巧通大学硕十专业学仿论义实驗验证要更加准确才能更好的用于评价模型的预测能力一，因为假如些测试集图片少标一注了某语义标签，而模型预测出了该语义标签，即本来模型预测应该是正确的，但是会由于测试集自身的问题导致判定模型错误。，导致对模型的预测评价有误因此本文对送１４３２０张测试集进行了人工二次标注，即在原始的测试集的基础上进行査缺补漏，这样得到的测试集的标签集更加接近于实际的Ｇｒｏｕｄｔｒｕｔｈ，这样的测试集就可Ｗ更好的评价模型能力。４．２实验设计．２为了验证本文提出的加速模型的有效性，更，不仅要验证模型的加速比需要一Ｃａｆ验证在同数据集上的平均准确率。因此，本文在同样的硬件环境下，使用ｅ－，化、ＮｅｗＮｅｔ、ＮｅｗＳＶＤＮｅｔ三个深开源框架分别用深度卷积神经网络ＶＧＧ＿＿＿。度模型在腾讯Ｑｚｏｎｅ空间多标签数据集上进行训练巧测试直至收效一一然后在同测试集上进行测试，这，测试之前都统先转成全卷积模型样有利于模型处理任意尺度的照片。之后分别计算这王个深度卷积神经网络在测试集一－－上的ｃｒｏ－ｒｅｃｉｓｉｏｎ、ｍａｃｒｏｒｅｃａＵ、ｍａｃｒｏａｃｃｕｒａｃＷ及在ＣＰＵ模式下平均处理ｍａｐｙ张图片的平均时间。。此外，由于模型训练时只使用训练集和验证集，込样就保证了测试集独立模型预测输出的是每个类别的巧率，因此如何选取每个类别的巧值十分重要。因Ｆ１值来确定，即计算每个类别在每此，本文在选取每个类别的闲值时是通过最优。Ｆ１值，Ｆ１个闲值下的最优，然后进行比较最大时对应的巧值即为对应的最优巧值本文分别计巧了间隔为化０１的从０到１的巧率，这样每个模型预测输出所取的闲值都是该模型对该类别的预测可＾＾达到最优？１值时的閣值，使得再闲值选取时兰一个模型处于同选取标准下。在验证ＣＰＵ模式下的速度时，本文首先将ＣａｆｅＳ于ＣＰＵ模式，由于Ｃａｆｅ一首先巧这在处理第张图片时模型初始化等巧要较长的时间，因此在计算时间时２００张巧片，考虑到困片的尺寸个时间去除。然后让不同的王个模型处理相同的，大小对模型前向速度影巧较大，有些围片过于巧满导致全卷积懊型的计算参数一ｉｒｅｓｚｅ成２５６巧％大小，这样量过大对测试困片进行预处理，即裕围片，因此统，，也利于速度的提升分别做对模型巧度影响不大，但是有利于模型速度的比较测试Ｈ个模型处理２００张困片时总时间，再通进计算得到处理每张困片的平均时处理单张困片的平均速度？间，这样就比较均巧的测得模型５１ 北京交／ｊｊ大学硕±韦、１１学位论义连验验证４．２．３实验结果Ｐ乂及分析本节介绍加速模型在腾讯Ｑｚｏｎｅ空间二次标注的多标签数据测试集１４３２０张图片上进行试验的结果－，Ｗ１６深度模型在相同条件下的测试结果及ＶＧＧ，本文选取使用基于类别的评价指标来对模型的预测结果评价－ｉ、，包括ｍａｃｒｏｐｒｅｃｓｉｏｎ－ｍａ订０寸ｅｃａｌｌ、ｍａｃｒｏａｃｃｕｒａｃ４－２。ｙ，如表所示４－２表Ｈ个模型在测试集上的平均巧准率、召回率和准确率－＇？Ｔａｂｌｅ４２Ｔｈｅ＊ｍａｃｒ〇ｒｅｄｓｉｏｎｍａｃｒｏ历ｃａｌｌａｎｄｍａｃｒｏａｃｃｕｒａｃｏｆｈｒｅｄｌｓｐ，ｙｔｅｍｏｅ－－模型ｍａｃｒｏ－ｐｒｅｃｉｓｉｏｎｍａｃｒｏｒｅｃａｌｌｍａｃｒｏａｃｃｕｒａｃｙＶＧＧ－１６０．５７２０．６３２０．４２９ＮｅｗＮｅｔ０．５５７０．６８０４４＿１．１ＮｅｗＳＶＤＮｅｔ０．５４８０．６０６０．４０４＿＿可Ｗ发现本文提出的加速模型ＮｅｗＮｅｔ在腾讯Ｑｚｏｎｅ空间多标签围片测试集＿－－上的结果相比于ＶＧＧ１６，ｍａｃｒｏａｃｃｕｒａｃｙ相比巧少了１．５％。ｅｗＳＶＤｅ－Ｎｅｔ进行ＳＶＤ进行加速的ＮＮｔＶＧＧ１６在针对Ｎｅｗ＿相比于腾讯＿＿－Ｑｚｏｎｅ空间多标签测试集上的ｍａｃｒｏａｃｃｕｒａｒｙ巧少了２．５％，也就是说，在腾讯Ｑｚｏｍ空间多标签国片数据集上，本文提出的加速模型虽然参数相比巧少，效果也是可Ｗ接受？那么在效果相差不大的情况下，本文提出的模型在ＣＰＵ模型下的加速比如表４－３所示。表４－Ｈ个巧型的在ＣＰＵ懊式下的平均速度３Ｃａｆｅ框架下扣４－３ａｖｅｒａｅｍｏｌｓｉｎＣＰＵｍｏｄｅ化Ｃａｆｅ１１１６？〇出ＴａｂｌｅＴｈｅｇｓｅｅｄｏｆｔｈｒｅｅｄｅｐ模型困片巧童（张），大小总时间（Ｓ）平均速度（Ｓ／张）－３巧８６３ＶＧＧ００２５６＊２５６．７０１ｓ１．１６２，ＮｅｗＮｅｔ２００，２５６＊２５６７８．０．３９４＿ＮＳＶＤＮｅｔ２００，２５６＊２５６的．６５２０．３化ｅｗ＿＿模型在ＣＰＵ模式下，Ｊ出的深度卷积神经网络由表可！＾ｌ看出，本文提巧 北京巧通大学硕±专、Ｉｋ学位论文车龄验证在Ｃａｆｅ框架下处理图片的平均速度是深度卷积神经网络ＶＧＧ－６的平１均速度的约１／５，而ＮｅｗＳＶＤＮｅｔ处ｅｗＮｅｔ的平均速度的基础上加快＿理图片的平均速度在Ｎ＿＿８０ｍｓ，当图片数量十分庞大时。，了近，这个时间的节省就会明显的体现出来由此本文提出的ＮｅｗＳＶＤＮｅｔ在腾讯Ｑｚｏｎｅ多标签数据集上，平均准确率指标相比＿＿一ＶＧＧ－６低２１，于深度卷积神经网络．５％。但是处理张图片的平均速度却快近６倍大大提高了模型的处理速度？，使得在ＣＰＵ模式下深度模型的可用性大大提升４．３迭代优化实验４．３．１实验数据一本实验的实验数据依旧是腾讯Ｑｚｏｎｅ的十万张多标签数据集．和上个实验样也是８００００张训练集，１００００张测试集，１４３２０张验证集，但是区别于上个实验．工的二次标注－３所示。本次实验中的测试集经过了人，如图４巧；；：就Ｆ抑＊：｜〇教１ｍ＾＂ｒ＂：月告ｒＩ户知特，就；；１Ｐ遊ｉｎｉ／＾／Ｉｉｉ马－ｆｉ．３脯獅二次标注麵试集对比４ｔｔａｅｄａｎｄｔｗｉｃｅｔａｅｄ－ｍｅｉｍａｇｅｓｏｆｆｉｒｓｇｇｇｇＦｉｇｕｒｅ４３ＳｏＨ ／北京交通大学硕±专、１１举仿卞实验驗证图中是人工一次标注的测试集和人工二次标注标注的测试集对比的示例，其一中Ｆｉｒｓｔ表示的是人工次标注的语义标签ｗｉ二ＩＴｃｅ表示的是人工次标注的语义二一标签，可Ｗ发现次标注的语义标签要比次标注的语义标签更加完整，更加的接近真实的标签数据集一一。本实验中的训练集和验证集和上个实验样是人工次标注得到的多标签数据集，并没有改变。除了１＾上数据集，数据迭代算法框架中会有单标签图片的补充，用于补充训练数据集中某些低频语义标签的图片数据，在选择补充这些单标签图片时数据来源多来源于网络，并且图片中尽童不出现其他物品，即补充的图片中基本只包含该语义标签。４．３．２实验设计为了得到最优的预测标签，本文特征酷合和ＫＮＮ分类器替代ｓｏｆｔｍａｘ分类的－优化预测的方法。使用深度卷积神经网络ＶＧＧ１６和本文提出的深度卷积神经网络ＮｅｗＮｅｔ连个模型进行特征巧合。＿ｅ－Ｎ。因此首先需要分别在腾讯Ｑｚｏｎ的数据集上分别训练ＶＧＧ１６和Ｎｅｗｅｔ＿－再训练之前先将这两个模型的ｓｏｆｔｍａｘｌｏｓｓ修改成ｍｕｌｔｉｌａｂｅｌｓｏｆｔｍａｘｌｏｓｓ。修改好一５６之后将所有数据集图像统ｒｅｓｉｚｅ为２５６ｘ２大小，然后开始进行模型训练，直到收敛。每次训练完之后，需要分析每个语义标签的Ｆ１指标，若相对较低则需要补充该语义标签的单标签困片。本文中使用的数据集的平均Ｆ１值为化６，因此在实验一时若某语义标签的Ｆ１低于０．６时就相应的补充该语义标签的数据？每次补充的一Ｆ１０００张１值指标出现明显的巧低，数量为，但是若发现在加入之后另标签的－则停止加入该语义标签的单巧签围片。如此循环迭代，直到分别训练出ＶＧＧ１６和ＮｅｗＮｅｔ的最终收敛模型。＿得到了这两个深度卷积神经网络的最终收敛模型么后，分别对训练集数据进－行特征提取ＶＧＧ１６的ｆｃ７层特征和深度卷积神经网络，分别取深度卷积神经网络Ｃｏｎｖ４－３５口－？层是维Ｎ４３由于技７层是４０９６维，而，因ｅｗＮｅｔ的Ｃｏｎｖ层特征＿一此对ＣＡ致。ｆｃ７层特征进行Ｐ巧维使得这两种特征的维度一？然后将这两个维度致的持征进斤几何平均，得到胜合之后的模型持征接了许多单标签围片的数据集，老用ＫＮＮ分类器进行分类，分类时的训练集是加入即得到最终收敛网络的巧后的数据集？巧试集就是原始的训练集，本实验中ＫＮＮ？即从开始，逐个计＃预满准确率，取７０通过交叉验证得到的Ｋ取值为，是准确率最髙时的Ｋ值，５４ ３Ｌ京交通大学硕＋专业学仿古实驗验证然后分别对比模型融合和ＫＮＮ分类器Ｗ及原始的模型的直接预测结果，分别比较这几种方法在二次标注的测试集上的预测结果。最终得到的预测惊签集，再和原始的训练数据集的标签集合进行合并，得到新的迭代后的数据集。由于数据迭代后靠人工去检验迭代后数据的标签是否更加完整相当于人工的第王次标注，过于耗时。因此，为了验证本文提出的数据迭代算法框架的有效性，本文提出使用模型进行验证，即让迭代前的数据和迭代后的数据分别在本文提出的ＮｅｗＳＶＤＮｅｔ上面进行训。＿训练期间模型参数的配置全＿练部一致，直到模型收敛。然后在相同的二次标注的测试集上进行测试，对比这两－个模型在测试集上的ｍａｃｒｏｒｅｃｉｓｉｏｎ、－ａ－ｐｍａｃｒｏｒｅｃｌｌ、ｍａ舟〇３（：（：励〇六这兰个指标，如果迭代后的数据训练得到的模型的这王个指标优于迭代前的数据训练得到的模型的这Ｈ个指标，则表明迭代后的数据得到了优化，标签集相对更加完整。４．３．３实验结果从及分析在验证迭代后数据的优劣么前，本文先对模型巧合和ＫＮＮ分类的结合是否比原始的模型直接预测的结果进行了比较＊－。表４４是深度卷积神经网络ＶＧＧ１６和ＮｅｗＮｅｔ经过模型融合和ＫＮＮ分类器之后ｉＵ及未优化预测步巧的结果对比，测试＿集为二次标注的测试集。表４－４预测优化与未优化的巧型分别在二次巧注的测试集上的结果巧４－４ｕｒｅＴｈｅｒｅ出ｃｔｉｏｎｒｅｓ山ｔｏｂｔａｉｎｅｄｂｏｔｉｍｉｚａｔｉｏｎｍｏｄｅｌａｎｄｎ加ｏｔｉｍｉｚａｔｉｏｎｍｏｄｅｌｇｐｙｐｐ－－－模型ｍａｃｒｏｐｒｅｃｉｓｉｏｎｍａｃｒｏｒｅｃａｌｌｍａｃｒｏａｃｃｕｒａｃｙＮｅｗＮｅｔ０．４８００．５４１０．３４１＿－０ＶＧＧ１６．４９５０．５５２０．巧３预測优化０．５１１０．５７３０．３７０可１＾＾发现，模型巧合和ＫＮＮ分类器的替换相比于原始横型的提升了预測的准确度。，因此本文提出的这两种方法的结合更有利于数据的迭代－Ｎｅｔ上都进行了验ＶＧＧ１６、ＮｅｗＮｅｔ、ＮｅｗＳＶＤ＿＿在本次数据迭代的结果在＿证，如表４－５所示，分别对比了原始训练巧据集和迭代后的训练数据集的在不同巧＊－ｒｅｃａｌ、型上的得到的ｍａｃｒｏ中ｒｅｃｉｓ沁ｎ、ｍａｏｏｌｍａｃｒｏａｃｃｕｒａｃｙ这Ｈ个指惊？由表可了一Ｗ发现定的的提升，即巧，迭代后的数据集在三个模型上的识别指标巧得到据的优化得到的验证。巧 北京交通大学硕±专、Ｉｋ学位论Ｉｔ实验於证表４＊６是对比了原始数据集和迭代后的数据集的标签个数，迭代后的数据集的标签个数相比原始数据集増加了１７５２０个，约７％，平均标签个数提升了化１７。表４－５原始数据和迭代后数据的模型指标Ｔａｂｌｅ４－ＳＴｈｅａｃｃｕｒａｃｆｔｈｒｅｅｍｏｄｅｌｓｏｂｔｙｏｚｕｎｅｄｂｙｔｗｏｄｉｆｆｅｒｅｎｔｄａｔａｓｅｔ－－模型ｍａｃｒ〇－ｐｒｅｃｉｓｉｏｎｍａｃｒｏｒｅｃａｌ１ｍａｃｒｏａｃｃｕｒａｃｙＶＧＧ－１６原始数据０．４８２０．５４６０．３４４迭代后巧据０．４９８０．５６１０．３巧ＮｅＷＮｅｔ－原始数据０．４７４０．的８０．；３３７迭代后数据〇．４扣０．５５４０３４８．ＮｅｗＳＶＤＮｅｔ＿＿原始巧据０．４６３０．５２７０．巧７迭代后数据０．４巧０．５４１０．巧９表４－６原始数据和迭代后的标签巧１及平均标签个数１＾－ｌｆｒｉＴａｂｅｌ４６Ｔｈｅｌａｂｅｓｏｏｉｎａｌｄａｔａｓｅｔａｎｄｎｅｗｄａｔａｓｅｔｇ总标签个数平均标签个数原始数据２２３０４８２．１４迭代后数据２４０５６８＾５６ 北京交通大学硕＋专化学仿论义总结与展望５总结与展望５．１总结一－本文主要解决了两个问题：个是由于深度卷积神经网络ＶＧＧ１６模型的计算参数量十分巨大，在只有ＣＰＵ的情况下运算速度十分缓巧。虽然当前ＧＰＵ计算虽然可分快速的运行深度学习模型，但是成本较商。为了让企业可更充分利用现有ＣＰＵ资源和降低成本开支，因此研巧可Ｕｉｌ在ＣＰＵ上运行的深度学习模一型是具有实际意义的。另外个问题是对于多标签图像标注来说，当前大部分互、联网图片都处于标签集不完整语义标签團片数据分布不均巧的弱标注环境，要获得完整标签集的训练数据集十分困难，，依靠人工过于耗时耗力因此如何在这，种弱标注环境下，尽可能的用少量人工付出来实现模型精度的提升和数据的优化是十分具有研究意义的。针对这两个问题，，本文分别通过修改深度模型和数据迭代来尝试解决并经实验验证这两个方法有效：－层的卷积深度，针对深度模型的加速问睡，本文通过改变卷积核步长和每减少网络处理大型输入二维特征的卷积层数，増加处理维度更小的二维持征的卷积层数来补充层数，从而实现计算参数大大巧少；此外，对网络计巧参数＊大的卷积层进行ＳＶＤ分解，得到分解后的模型？虽然分解后模型的平均准确率相比－，ＣＰＵＶＧＧ１６损失２．５％，但是运巧速度却近６倍大大缩短了模式下基于多标签深度学习的围像标注时间，使得基于多标签深度学习的困像标注的实用性大大巧强。针对弱标注环境问题，本文首先分析了从数据角度出发的语义标签不完巧和合深度学习设计了一不同语义标签图片分布不平巧的解决思路，结个实现数据迭片代的算法框架。巧法框架中通过补充模型识别率不巧巧的语义标签的单标签巧来提升模型对该标签的识别能力，接着依据模型可Ｗ从它处学习到的语义标签和上的原理，通过得到的比较完巧的深度图片的映射关系应用到缺失该标签的图片模型预测输出处于弱标注环境的训练数据集？此外，预渊输出时为了提升预測结出了基于深度学习的多模型特征巧合和深度特征加ＫＮＮ分类巧替换果，本文还提，巧原深度特征加ｏｆｔｍａｘ分类器的两个方法，获得新的训练数巧集的语义巧签失ｓ一个新的迭代后的训练巧据集的语义标签失。始的标签集进行合并后，巧终得到经实验验证对比，迭代后的训练巧据集的语义标签在同样的棋型训练下获巧巧 北京交通大学硕±专、心举位论义总结与展望了更加精度的结果，也证明迭代后的数据得到了优化，证明该算法框架的有效性，该算法框架在腾讯Ｑｚｏｎｅ数据集上获得了验证并己经实际应用于内部业务。５．２未来工作展望本文提出的加速深度模型在ＣＰＵ模型下处理速度虽然接近—０．５ｓ张图片，但是依然有很大的加速和优化的空间，此外本文提出的通过数据迭代处理训练数据集弱巧注环境的方法依然需要很多的人工的步骚，，并没有实现端到端的自动迭代Ｗ上的相关研巧工作都有着很大的扩展和延伸空间，主要表现在如下凡点：（１深度模型的持续优化和多标签分类损失函数的优化）由于当前的深度学习引起了大量学者的研巧，因此更加优秀的深度学习模型正源源不断的涌现出来，因此之后可Ｗ使用模型精度更高且计巧参数更少的深度模型，此外多标签分类损失函数也是有很大的优化空间进行图像标注，有大量的好的多标签损失函数都可巧深度学习组成新的组合。（巧从算法角度和数据角度的双重角度解决弱标注环境下的困像禄注问题本文设计的数据迭代方法虽然一定程度上优化了大型训练数据集的弱标注环境问题，，过，更，但是还是远远不够而且算法框架不够自动程中不仅需要补充数据ｉ需要人工分析多次结果进行判断，未来可ｔｌ结合巧法角度，结合巧签相关性的学一习算法，此外从数据角度可Ｗ搭建更，从而进步改奋训练数据集的弱标注环境加智能的实现自动数据迭代标注的算法框架，从而大大较少人工消耗，使得再面对更加庞大的训练数据集时有更好的实用性。３结合分布式计算和模型并行方法（）本文的深度学习模型无法实现并行，而当前越来巧多的并行化的深度学习模型结－ａｒｋ的技术实现并行计算的Ｃａｆｅ框架Ｃａｆｅｓａｒｋ，构被提出来，例如ｐ就是依据ｓｐ心习模型使其更加适合并行计算，这样可文因此未来可ｉｉｉｌ优化本文的多标签深度学。大大节省深度学习模型的计奠时间，大大优化企业产品体验质量５８ 北京交通大学硕±专业学位论文参考文献参考文献１ＤａｔａＲＪｏｓｈｉＤＬｉ［，ＪｅｔａｌＪｍａｔｒｉｉｄｉ］，ｇｅｒｅｅｖａｈｅａｓｎａｕｅｎｃｅｓａｎｄｔｒｅｎｄｓｏｆｔｈｅｎｅｗａｅ，，ｇ．ＡＣＭＣｏｍｕｉ…ｐｔｎｇＳｕｒｖｅｓ，２００８４０２：ＡｒｔｉｃｌｅＮｏ．５ｙ，（）［２１何希圣．留像自动标注方法研巧［Ｄ］．复旦大学，２０１０．３王梅？基于多标签学习的图像语义［？２００８．］自动标注研巧［Ｄ］复旦大学，４Ｓｉｍｏｎａｎ之ｉｓｓｅｒｍａｎＡ．ＶｅｒＤｅｅＣｏｎｖｌｔｉｏｌＮｆ－Ｓｃａｌｅｅ［］ｙ氏ｙｐｏｕｎａｅｔｗｏｒｋｓｏｒＬａｉｅＩｍａ］ｇｇＲｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＥｐｒｉｍＡｎｄ乂２０１４．一５田巧？［沈旭昆种适合弱标签数据集的图像语义标注方法阴？软件学报２０１３］，，，２４－１〇２４０５２４（）：１８．６郑政宇．图像自动标注算法研巧及其应用〇．２０１５．［］内蒙古科技大学，［］７ＤｕｕｌｕＢａｒｎａｒｄＦｒｅｉｔａｓＪＦＧＤｅｔａｌ．ＯｂｅｃｔＲｅｃｏｎｉｔｉｏｎａｓＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ：［］ｙｇ，ｊｇＬｅａｒｎｉｎａｅｘｉｃｏｎｆｏＨｇＬｒａｘｅｄＩｍａｇｅＶｏｃａｂｕｌａｒｙ．ＥｕｒｏｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｕｔｅｒ［Ｃ］ｐｐＶ－－ｉｓｉｏｎ．ＳｒｉｎｒＶｅｒｌａ２００２：９７１１２．ｐｇｅｇ，巧］Ｊｅｏｎ，Ｊ，Ｌａｖｒｅｎｋｏ，乂Ｍａｎｍａｔｈａ＊氏？Ａｕｔｏｍ泣ｉｃｉｍａｇｅａｎｎｏｔ地ｏｎａｎｄｒｅｔｒｉｅｖａｌｕｓｉｎｇｃｒｏ巧－Ｉｔｅｒｎａｔｍｅ出ａ巧ｌｅｖａｎｃｅｍｏｄｅＩｓｉｏａｌＣＨ反ＣｏｎｆｅｒｅｎｃｅＷＧＩＲ．ｎｎＡＣＭＷ＊［。２００３－６：１１９１２．ＬａｖｒｅｎｋｏＭａｎｍａｔｈａ民ＪｅｏｎＪ．ＡＭｏｄｅｌｆｏｒＬｅａｒｎｉｎｔｈｅＳｅｍａｎｔｉｃｓｏｆ巧ｃｔｕｒｅｓＪ．Ｎｉｓ巧］乂，ｇ［］ｐ，２００４５３－５６０．：５＂０ＦｅｎＳＭａｍｎａｔｈａＬａｖｒｅｎｋｏ乂ＭｕｌｔｉｌｅＢｅｒｎｏｕｌｌｉｒｅｌｅｖａｎｃｅｍｏｄｅｌｓｆｂｒｉｍａ巧ａｎｄ］ｇＬｐｖｉｄｅｏａｎｎｏｔａｔｉｏｎＣ．ＣｏｍｕｔｅｒＶｉｓｉｏｎ姐ｄＰａｔｅｒｎ民ｅｃｏｎｉｔｉｏｎ２００４．ＣＶＰＲ２００４．［］ｐｇ＊Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２００４ＩＥＥＥＣｏ扣ｕｔｅｒＳｏｃｉｅｔｏｎｆｅｒｅｎｃｅｏａＩＥＥＥｇｐｙＣ，－－１１－９２０１０．２．：１１１００２１００ＶｏｌＤＵ祝静文．围像语义自动标注方法的研究［Ｄ］？南京理工大学，２０１３．ＧｔＣＣｈａｎＡＢＭｏｒｅｎｏＰＪｅｔａｌ．Ｓｕｅｒｖｉｓｅｄｌｅａｒｎｉｎｏｆｓｅｍａｎｔｉｃｃｌａｓｓｅｓｆｏｒｉｍａｅ［１２］ｕｓａｖｏ，，，ｐｇｇｌｉ皮Ｍｉａｎｎｏｔ地ｏｎａｎｄｒｅｔｒｉｅｖａｌＪＪ？圧ＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｙｓｓａｃｈｎｅ］９４＊ｎｔｅｌｌｉｎｃｅ２００７２９．Ｉ！３：３４１０ｇｅ，，（）晶，马少平．使用基于多例学习的肩发式ＳＶＭ算法的图巧自动标注机计算机研［巧路巧与发乾２００９，４６（巧：８６４＾１．ｉＹｕｌｉ．Ｈｉｅｒａｒｃａｌａｓｓｉｆｉｃａｔｉｏ凸ｆｏｒａｕｔｏｍ地Ｃｍａ１４巧啤Ｆａｎ知〇，ＨａｎｚａｉＬｕｏｄｉｉｄｇｅ］邸＊ｇ［ａｎｎｏｔａｔｉｃｍＣ．ＳＩＧＩＲ２００７：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｍａｔｉｏｎａｌＡＣＭ到ＧＩＲＣｏｎｆｅｒｅｎｃｅｏｎ［］ｔｉｎＩｎａｔｉｏｎＲｅｔｒｉｅｖａｌ，ＡｍｓｔｅｒｄａｍｔｈｅＮｅｔｈｅｒｌａｎ也Ｊｕｌ．民ｅｓｅ扭ｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｆｔ讯ｎ，ｙ－８２００７．：１１１１１－巧９２００８３１１６２９．？计算化学化㈱１，１？基于围学习的自动困像标巧巧［引卢汉病刘挣－ｌ地ＨＣｔａＬＡｕｔｏｍａｔｉｃＭｕｌｔｉｍｅｄｉａＣｒｏｓｓｍｏｄａｌＣｏｒｒｃｏｎ１６ＪＦａｌｏｕｔｓｏｓｃＰａｎＪＹＹａｎ，［】，，ｇＫｄ２００４巧？６５８Ｄ：６．ｉｓｃｏｖｅｉ，ｄｙＷｊｌｈｒｅｉｎｆｏｒｃｅｍｅｎｔｍｏｄｅｌｆｏｒｗｅｂｉｍａｅａｎｎｏｔａｔｉｏｎＣ．Ｂｉａｒｔｉｔｅｎ）ｇ］１７民山义ＬＬｉＺｅｔａ．ｌｉＭｐｇｑ［］，？ＣｏｎｆｅｒｅｎｏｅｏｎＭｕｌｔｉｍｅｄｉａ２００７Ａｕｓｂｕｉａｕｄ＊ｒｏｃｅｅｓｏｆｅ５化Ｉｎｔｅｍａｔｉ，ｇｇＰ出ｎｇｔｈ１－－２９２００７：巧５．ｔｅｍｂｅｒ．２００７５９４ｅｒｍａｎＳｅ２４Ｇ，ｙ，ｐｕＪ。Ｍａｌ．ｔｏ巧ｅａｍ试地ｏｎｖｉａｇｒａｐｈｔｅａｍｉｎｇ［Ｊｌ．Ｐａｔｅ扣Ｒｃｏ＾ｔｉ啤＊ＵｕＱ，巧。巧Ｕ，５９ 北京交通大学硕±专业学位论文参考文献２００９４２２－；２１８２２８．，（）＾９］祝静文．围像语义自动标注方法的研巧Ｐ．南京理工大学，２０１３．］２０章統晋？基于内容的视觉信息检索［］Ｍ］．科学出版２００３．［化２ｉｎｔｏｎＧＥＳａｌａｋｈｕｉ，ｔｄｎｏｖ民民？Ｒｅｄｕｃｉｎｈｅ出ｍｉｌｉｄｉｈｎｅｕｌ［。ＨｇｔｅｎｓｏｎａｔｏｆａｔａｗｔｒａｙｎｅｔｗｏｒｋｓＪ．Ｓｃｉｅｎｃｅ２００６３１３５７８６５０－［］，，（）：４５０７．２ｉｎｔｏｎＧＯｓｉｍｉｅｒｏＳＴｅｈＹ．ＡＦＬｉｆｉ［引Ｈ，，ａｓｔｅａｒｎｎｇＡｌｏｒｉｔｈｍｏｒＤｅｅｌｅｆＮｅｔｓ［Ｊ］．Ｎｅｕｒａｌｇ巧ＢＣｏｍｕｔａｔ－ｉｏｎ２００６１８７１ｐ，；５２７５４．，（）２ｒｉｚｈｅｖｓｋＡＳ胞ｋｅｖｅｒＩＨｉｎｔｏｎＧＥ－ＩｍａＮｅｔＣｌａｓｓｉＳｃａｔｉｏｎｗｉ化Ｄｅ巧Ｃｏｎｖｏｌｕｔｉｏｎａｌ［引Ｋｙ＾，ｇｅＮｅｕｒａｌＮｅｔｗｏｒｋｓｙ］．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍ泌ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２０１２，２５口）：２０１２．［２４］Ｓｚｅ供ｄｙＣ，ＬｉｕＷ，ＪｉａＹ＊ｅｔａｌ．Ｇｏｉｎｄｅｅｅｒｗｉ化ｃｏｎｖｏｌ地ｏｎｓＣ．Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅｇｐ［］ｇ化ＥＥＣｏｎｆｅｒｅｎｃｅ－ｏｎＣｏｍｐｕｔｅｒＷｓｉｏｎａｎｄＰａｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ２０１５：１９．口５］义Ｇｏｎｇ，乂Ｔ．Ｋ＊ｌｅｕｎｇ＊Ａ．Ｔｏｓｈｅｖ，ａｎｄＳ．Ｉｏｆｅ，ｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｒａｎｋｉｎｇｆｏｒｍｕｌｔｉｌａｂｅｌｉｍａｇｅａｎｎｏｔａｔｉｏｎ＊化ＩＣＬＲ２０１４．＾２６ＰａｓｓＧＺａｂｉｈＭ出ｅｒＪ．ＣｏｍａｒｉｎＩｍａｅｓＵｓｉｎＣｏｌｏｒＣｏｈｅｒｅｎｃｅＶｅｃｔｏｒｓＪ．Ｐｒｏｃｏｆ［］，氏ｐｇｇｇ［］’Ａｃｍ－Ｍｕｌｔｉｍｅ出ａ１９９６：６５７３．，［２７］孙栋．基于纹理分析的目标图像识别技术研巧［Ｄ］．南京理工大学，２００５．２８刘丽，匡纲要．图像纹理特征提取方法综述阴？中国围象图形学报ａ＊２００９，［］－１４４：６２２６３５．（）Ｌｏｗ－口引ｅＤＧ．ＤｉｓｔｉｎｃｔｉｖｅＩｍａｇｅＦｅ泌ｕｒｅｓｆｒｏｍＳｃａｌｅＩｎｖａｒｉａｎｔＫｅｙｐｏｉｎｔｓ［Ｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ］－化ｕｍａｌｏｆＣｏｍｕｔｅｒＶｉｓｉｏｎ＊２００４：９１１１０．ｐｏｂｕｓｔｔｕｒｅｓ￣０ｂＨ．１４０４４１７Ｃ．Ｐｒｏｃ．ｏｆＢａＴＴｕｔｅｌａａｒｓＬＧｏｏｌ．Ｓｕｒｆ：Ｓｅｅｃｔｅｄｒｆｅａ：口］ｙ，，［］ｙｙｐ啤ＥＣＣＶ２００６．．３１杨則．面向團巧分类和识别的视觉特征表达与学习的研巧［Ｄ］？华南理工大学，２０１４．［］３２．２００６．尚丽．稀疏编码算法及其应用研巧Ｐ］中国科学技术大学［］，Ｐｅｒｒｏｅｋｒｎｌｓｏｎｖｉｓｕａｌｖｏｃａｂｕｌａｒｉｅｓｆｏｒｉｍａｅ３ｉｍｉｎＦ，ＤａｎｃｅＣ．Ｆｉｓｈｒｅｅｇ口］ｃａｔｅｇｏｒｉｚ地仰［Ｃ］．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｅｒｎＲｅｃｏｇｎ拍ｏｎ＞２００７．ＣＶＰＲＷ．ＩＥＥＥ２００７－Ｃｏｎｆｅ历ｎｅｅｏｎ：１８．？化ＥＥ，ｌｒｅａｔｉｎｌｏｃａｌ化ｓｃｒｉｔｏｒｓｉｎｔｏａｃｏｍａｃｔｉｎｗｃ４ＪＳｏｕＤｏｕｚｅＭＳｃｈｍｉｄＣ，ｅｔａ．Ａｇｇｇｇｐｐ＾口ｇ，］ＥＨｉＣＰａｔｅｒｎＲｅｃｏｎｉｔｉｏｎＣＶＰＲ２（Ｕ（ＨＥｏｎ．ＣｏｍｕｔｅｒＶｉｓｉｏｎａｎｄｇ，ｒｅｐｒｅｓｅｎｔａｔ］ｐ（）［－Ｃｏｎｆ：３３０４３３１１．ｅｒｅｎｃｅｏｎ．ＩＥＥＥ，２０１０ｔｔｉｌｍｉｄｍａｔｃｈｉｎｆｏｒＪＢｅｂａｓｏｆｆｅａｕｒｅｓ：ＳａａｒａＬａｚｅｂｎｉｋＳＳｃｈｍｉｄＣＰｏｎｃｅ．ｏｎｄｐｙｇ口引，ｙｇｐ，ｔｕｒａｅｓＣ．Ｃｏｍｕｔｅｒ＼＾ｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｎｉｔｉｏｎ２００６氏ｃｏｇｎｉｚｉｎｇｎａｌｓｃｅｎｅｃａｔｅｇｏｒｉ［］ｐｇ，２００６２－Ｃｏｎｆｅｒｅｎｃｅ：２１６９２１７８．－ＣｏｍｕｔｅｒＳｏｃｉｅｔｏｎ．ＩＥＥＥ，ＩＦＦＦｐｙ，．２０Ｍ．王占东安巧大学，口Ｗ．基于多示例多标签学习的巧像分类标注田］．云南民族大学学报：自然科学巧，３７黄族．困像多惊签学习综述阴［，孙剑，谷雨］０－４９６２０１．１６：４９（）－ｌｌｉＡｎｏｒｖｉｅｗＪ．ＩｎｔｅｍａｄｍｉａｌＪｏｕａｌｋｉＭｕｌｔｉｃｌａｓｓｉｆｉｃａｔｏｎ：ｖｅｒｎＴｋａｓＫａｔａｓＩ．ａｂｅｓｏｕｍａ［ｌ口巧Ｇ，２００７３３－Ｍ：１１３．＆ｉｎｉｎ，ｏｆＷｉｎ（）Ｄａｔａａｒｅｈｏｕｓｇｇ，－－拍ｓｋ２００５９５２００．ｌｌｅｃｔｖｅＭｕｌｔｉＬａｂｅｌ口ｉ６ｃａｄｏｎ．打ｍ？：１３９ＧｈａｍｒａｗｉＭｃｃａｌｌｕｍＡ＊Ｃｏｉ机Ｎ［］，ｔｉｏｏ／／ＰｅｅｄｓｌｉｅｏｒＩｍａｅＡｎｎｏｔａＣｒｏｃｉｎ时ｍａｒＡＩ＊ｗＢａｓｅｎｆ［ｇＭｋａｄｉａＰａｖＳ．ｇ］４０ａｌｏｖｉｃ［］乂－ｒＶｉｓｉｏｎ：Ｐａｒｔ．ＳｎｅｒＶｅｒｉ媒ｒｅｎｃｅ畑阳ｈＣｏｍｐｕｔｅｐｒｉｇＥｕｒｏｅａｎＣｏｎｆｅｏｆｔｈｅ１０ｔｐ６０ 北京交通大学硕±专化学位论文参考文献２００８３－１６３２９：．４ｌｉ［ＵＧｄｌａｕｍｎＭＭｅｉＴ，ｎｓｎｋＶｅｒｂｅｅｋＪｅｔａｌ．ＴａＰｒｏ：Ｄｉｒｉｍｉｎ地ｖｅｍｅｔｒｉｃｌｅａｒｎｉｎｉｎ，，ｇｐｓｃｇｎｅａｒｅｓｔｎｅｉｈｂｏｒｍｏｄｅｆ－ｇｌｓｏｒｉｍａｅａｕｔｏａｎｎｏｔａｔｉｏｎＣ．ＣｏｍｕｔｅｒＶｉｓｉｏｎ２００９化ＥＥ１２ｔｈｇ［］ｐ＾ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ．圧ＥＥ２００９－：３０９３１６．，［４引ＮｇｕｙｅｎＨＣａｒｕａｎａ也Ｃｌａｓｓｉ行ｃａｔｉｏｎｗｈｈｐａｒｔｉａｌｌａｂｅｌｓ［Ｃ］．ＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎ她ｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｉｙａｎｄＤａｔａＭｉｎｉｎｇ．ＡＣＭ，２００８：５５１－５５９．Ｓｕｎ－－４ＹＺｈ［引ＹａｎｇＹＺｈｏｕＺ比ＭｕｌｔｉＬａｂｅｌＬｅａｒｎｉｎｗｉｔｈＷｅａｋＬａｂｅｌ．Ｃ．ＴｗｅｎｔＦｏｕｒｔｈ，，ｇ［］ｙＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｅｎｃｅＡＡＡＩ２０１０ＡｔｌａｎｔａＧｅｏｒｉａＵｓａＭ．ｇ＾＾，，＾ｇｙ２０１０．４４ＳｉｖａＰ，ＲｕｓｓｅｌｌＣ，兒ａｎｇＴ．ＩｎＤｅ纪ｎｅｅｏｆＮｅａｔｉｖｅＭｉｎｉｎｆｏｒＡｎｎｏｔ地ｎＷｅａｋｌ［］ｇｇｇｙＬａｂｅＭ—ｌｌｅｄＤａｔａ．ＣｏｍｕｔｅｒＶｉｓｉｏｎＥＣＣＶ２０１２．ＳｒｉｎｅｒＢｅｒｌｉｎＨｅｉｄｅｌｂｅｒ［］ｐｐｇｇ，２０－１２：５９４６０８．［４５］ＹｏｓｈｕａＢ，ＡａｒｏｎＣ，ＰａｓｃａｌＶ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇ：ａｒｅｖｉｅｗａｎｄｎｅｗｐｅ巧ｐｅｃｔｉｖｅｓ？［叮－ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｓｉｓ＆ＭａｃｈｉｎｅＩｎｔｅｌＵｅｎｃｅ２（Ｈ３３５８：１７％８２８．ｙｇ，，（）４６李海峰，李纯果．深度学习结构和算法比较分析［Ｊ．河北大学学巧：自然科学版，２０１２，［］］３２５３８－５４４．（巧：４７］ＦｕｋｕｓｈｉｍａＫＬＴｈｅｉｎｔｅ反ｔｉｔｉａｌｎｕｃｌｅｕｓｏｆＣａ！ａｎｄｉｔｓｒｏｌｅｉｎｔｈｅＣＯ打ｔｒｏｌｏｆｍｏｖｅｍｅ打ｔｓｏｆ［却ｈｅａｄ－ａｎｄｅｅｓ．Ｊ．ＰｒｏｒｅｓｓｉｎＮｅｕｒｏｂｉｏｌｏ１９巧２９：１０７９２．ｙ［］ｇ防，（巧４ｉｎｔｏ打ＧＥＳｒｉｖａｓｔａｖａＮＫｒｉｚｈｅｖｓｋＡｅｔａｌ．Ｉｍｒｏｖｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｓｂｒｅｖｅｎｔｉｎ［引Ｈ，，ｙ，ｐｇｙｐｇｃｏａｄａｔａｔｉｏｎｏｆｆｅａｔｕｒｅｄｅｔｅｃｔｏｒｓ口？Ｉｍｐｒｏｖｉ打ｎｅｕｒａｌｎｅｔｗｏｒｋｓｂｒｅｖｅｎｔｉｎｐ］ｇｙｐｇ－－ｄｅ－ｈＧａｔｅ３４ｃｏａｄ：ｓ．２１２２２３．ｊｔａｔｉｏｎｏｆｆｅａｔｕｒｅｔｅｃｔｏｒｓＲｅｓｅａｒｃ，２０１２ｑ，（）ｐ４ｇ＇地ＹＴＡｌｋｉｎｆｏｒ的４ｏｎ広ｌｅｕｎ＆．Ｔｏｓｈｅｖ処ｄＳ．ｌｏ嵌．ｄｅｅｃｏｎｖｏｌｏｎａｒａｎｍｕ引ＹＧ．Ｊ．，［ｇ，成ｐｇ虹ＩＣＬＲ２０１４．ｌａｂｅｌｉｍａｇｅａｎｎｏｔａｄｏａｆｉｉｉｈｉＷＧＫ０Ｊｏａ沈ｉｍｓｍｅｎｉｎｅｓｕｓｉｎｃｌｉｃｋｔｈｒｏｕｄａｔａＣ．ＥｈｔｈＡＣＭＤＤ口Ｔ？ｚｎｇｓｅａｒｃｇｇ［］ｇ］雌班Ｉｎ地ｌＣｏｎＫｎｏｗｌｅｄｅＤｉｓｃｏｖｅｒａｎｄＤａｔａＭｉｎｉｎ．ＡＣＭ，ｔｅｒｎｏｎａｏｎｆｅｒｅｎｃｅｇｙｇ２００２－：１３３１４２．ＷＢｅｎＳＡＢ店：ｓｃａｌｉｎ化ｌａｒｖｏｃａｂｕｌａｒｉｍａｅｅｓｔｏｎＪ，ｇｉｏＳ，ＵｓｕｎｉｅｒＮ．Ｗｇ哗ｇｅｙｇ口。－ｌｔｌｔｈｒｅｅ．ａｎｎｏｔ地ｏｎＣ．Ｉｎｔｅｒｎ地ｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉ巧ｄａＩｎｅｌｌｉｇｅｎｃｅＶｏｕｍｃ［］－２７７０ＡＡＡＩ．Ｐｒｅｓｓ２０１５：２７６４，６１ 北京交通大学硕±专业学位论文作者简历及攻读硕±／？±学位期间取得的研巧巧果作者简历及攻读硕±／博±学位期间取得的研究成果温翔，男，１９９３年９月生，北京交通大学电子信息工程学院硕±研巧生，控制工程专业，研巧方向为智能控制。一、作者简历－本科：２０１０．９２０１４．７，北京交通大学，电子信息工程学院，自动化专此，获工学学女学位；２０￣硕±：１４．７２０１６．７？北京交通大学佩送电子信息工程学院），控制工程专业，攻读硕，±学位。二、发表论文【１］付文秀李冰温巧．基于自适应巧合後型的运动，，目标巧踪方法Ｊ．北京交通大学学［］２０－报：自然科学版１４３８２５０，：５５．，｛）６２ 北京交通大学硕±专业学位论文独创性声明独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研巧工作和取巧的研巧成果，除，了文中特别加标注和致谢之处外，论文中不包含其他人己经发表或巧写过的研巧成果也不包含为获得北京交通大学或其他教育机构的学位或证书而使用过的材料一同工作的。与我同志对本研巧所做的任何贡献均己在论文中作了明确的说明并表示了谢意。＜《《学位论文作者签名：签字日期：＞／年月日巧 北京交通大学硕±专业学位论文学位论文巧据集学位论文数据集表１．１；数据集页关键词＊？密级中图分类号ＵＤＣ论文资助弱标注；困巧标公开Ｕ２８４６５６注；多标签深度学习；数据迭代学位授予单位名称＊＊＊＊学位授予单位代码学位类别学位级别化京交通大学１０００４＿＊＊论文想名并列趣名论文语种弱标注环境下基于多标签深度学习的加速困像标￣－＊＊作者姓名Ｉ温巧学号１４１２５１２２Ｉ培养单位名称＊培养单位代码＊培养单位地址邮编Ｉ北京交通大学１０００４北京市海淀区西直１０００４４ｎ外上园村３号＊研充方向＊学制＊学位授予年？工程领域控制王程智能控制２年２０１６Ｉ｜Ｉ＊论文提交日期２０１６年４月２５曰￣—＊赵林海职巧＊巧授导师姓名Ｉ￣Ｉ答巧委员会主席＊答辩委员会成员评阐人王剑张巧、上官伟电子版论文提交格式文本（Ｖ）困像（）视頻（）音頻（）多媒体（）其他（）ｉ／ｄｆｌｉｃ／ｍｓｗｏｒｄａｐｐｌｉｃａｔ（？推荐格式：ａａｒｉｏｎ；ｐｐｐ电子版论义出版（发布）者电子巧论文出巧（发布）地巧巧声明—￣＊论文总页致Ｉ巧共３３项，其中带＊为必填数巧，为２１项，６４
此文档下载收益归作者所有
