基于深度置信网络的分类方法.pdf

《基于深度置信网络的分类方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、博博博士士士学学学位位位论论论文文文基于深度置信网络的分类方法DEEPBELIEFNETWORKSBASEDCLASSIFICATIONMETHODS周周周树树树森森森哈哈哈尔尔尔滨滨滨工工工业业业大大大学学学2012年年年12月月月国内图书分类号：TP301.6学校代码：10213国际图书分类号：621.3密级：公开工工工学学学博博博士士士学学学位位位论论论文文文基于深度置信网络的分类方法博士研究生：周树森导师：王晓龙教授副导师：陈清财教授申请学位：工学博士学科：计算机应用技术所在单位：深圳研究生院答辩日期：2012年12月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP3

2、01.6U.D.C:621.3DissertationfortheDoctoralDegreeinEngineeringDEEPBELIEFNETWORKSBASEDCLASSIFICATIONMETHODSCandidate:ZhouShusenSupervisor:Prof.WangXiaolongCoSupervisor:Prof.ChenQingcaiAcademicDegreeAppliedfor:DoctorofEngineeringSpecialty:ComputerApplicationTechnologyAffiliation:ShenzhenGraduateSchoolDat

3、eofDefence:December,2012Degree-Conferring-Institution:HarbinInstituteofTechnology摘要摘要最近，机器学习领域出现了一系列基于多层神经网络架构的学习方法，称为深度学习方法。深度置信网络作为经典的深度学习方法，可以包含较多隐藏层，可以更好的学习各种复杂数据的结构和分布，引起了广泛关注。但由于深度置信网络本身采用的是无监督学习机制，因此，探讨如何使用深度学习方法来解决分类问题，特别是基于半监督学习的分类问题的研究工作还比较少。本文提出了一系列基于深度置信网络的分类方法，使用半监督学习和监督学习方法来提升分类性能。研究内

4、容主要包括：第一，区分深度置信网络。深度置信网络方法在数据压缩中取得了很好的效果，但是在分类方面的性能还有待提升。本文基于深度置信网络方法，提出了一种新的半监督学习方法，称为区分深度置信网络。该方法使用一个新的深层架构来集成深度置信网络的抽象能力和指数损失函数的区分能力，可以使用少量的标注数据达到比较好的分类效果。在人工合成和现实生活中图片数据集上的实验表明，区分深度置信网络可以通过使用大量的未标注数据来大大提升它的分类能力。第二，自适应深度置信网络。区分深度置信网络主要解决半监督学习问题，而没有解决如何用深度学习方法进行有效的监督学习的问题。本文基于区分深度置信网络和深度自动编码方法，提出

5、了一种新的监督学习方法，称为自适应深度置信网络。该方法使用无监督学习方法来构建输出层，与使用随机数初始化输出层的经典方法相比，分类结果得到了提升。在手写数字、手写字母和现实生活中图片数据集上的实验表明，自适应深度置信网络的分类结果优于经典机器学习方法和区分深度置信网络方法。第三，量子深度置信网络。量子神经网络是一个将模糊集和传统神经网络很好的结合起来的分类方法。为了进一步提升监督学习方法性能，本文在自适应深度置信网络和量子神经网络基础上，提出了量子深度置信网络方法。该方法使用一个新的深层架构来集成深层架构的抽象能力和量子神经网络的模糊表示能力。在多个现实应用数据集上的实验表明，量子深度置信网

6、络的分类能力明显高于经典神经网络、模糊神经网络、区分深度置信网络和自适应深度置信网络方法。第四，主动深度置信网络。为解决半监督学习中的有效样本选择问题，本文将自适应深度置信网络和主动学习方法相结合，提出了一种新的半监督学习-I-哈尔滨工业大学工学博士学位论文方法，称为主动深度置信网络。该方法使用同一个深层架构来进行半监督学习和主动学习，使深层架构在主动学习过程中进行迭代训练，逐步提高抽象和分类能力。本文将主动深度置信网络成功的应用到情感分类任务中，实验结果表明，主动深度置信网络的性能优于经典半监督学习方法、主动学习方法，对本文前面提出的深度学习方法也有性能上的改进。第五，主动模糊深度置信网络

7、。为了进一步提升主动深度置信网络的性能，本文将主动深度置信网络与模糊学习方法相结合，提出了主动模糊深度置信网络。该方法继承了深层架构优异的数据抽象能力和模糊集优异的分类能力。本文将该方法成功的应用到情感分类任务中，实验结果表明，主动模糊深度置信网络获得了所有对比方法中最好的性能。最后，本文将深度学习方法应用到手写中文识别任务中，提出了一个有效的手写中文识别方法，称为基于深层架构的手写识别方法。该方法将深层架构