基于主题模型和深度置信网络的文本分类方法研究.pdf

《基于主题模型和深度置信网络的文本分类方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级公开编号磺士砑究嗲像儉式题目基于主题模型和深度置信网络的文本分类方法研究学院（所、中心）唐、完专业名称计箅机技术研究生姓名侯思耘学号导师姓名小兵职称年月论文独创性声明及使用授权本论文是作者在导师指导下取得的研宄成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研宄成果，不存在剽窃或抄袭行为。与作者一同工作的同志对本研宂所做的任何贡献均已在论文中作了明确的说明并表示了谢意。现就论文的使用对云南大学授权如下：学校有权保留本论文（含电子版），也可以采用影印、缩印或其他复制手段保存论文；学校有权公布论

2、文的全部或部分内容，可以将论文用于査阅或借阅服务；学校有权向有关机构送交学位论文用于学术规范审查、社会监督或评奖；学校有权将学位论文的全部或部分内容录入有关数据库用于检索服务。内部或保密的论文在解密后应遵循此规定）研究生签名：导师签名：从日期，摘要摘要近年来人们在机器学习领域，特别是深度学习（这个子领域上取得了很大的进展。在这个领域中人们主要通过讨论如何通过建立多层结点的人工神经网络使得深度学习这一技术方法可以更好的被用于机器学习方面的问题。又因为“深度学习”这个结构模型在处理信息方面的行为，相比于其他的人工只能方法更加类似于人脑

3、的处理。因此，有些人们认为这个模型应该就是以后人工智能发展用来解决复杂智能问题的一个突破口。目前深度学习最有效的方法就是采用深度置信网络（进行相关的应用和研宄。因为相对与其他的神经网络算法来说更加的容易学习，而且对于算法本身来说，它直接克服了因为具有多层网络叠加而造成的效率底下的问题。因此，我们可以看出，模型方法在深度学习领域是一个非常值得研究的核心方法。同时，近些年来在文本挖掘的研宄当中，出现了一种新的概率模型，即：翻译过来就是主题模型。这个新出现的模型和传统模型具有一定的区别，那就是，它并不再简单的只考虑文档在词典上的空间维度

4、，而是在考虑词典空间上的维度的同时再加入一个维度，这个维度就是主题维度，这样便实现了文档在主题空间上的概率分布。这样一个简单的改变给我们的文本分类带来了很多好处，首先，它降低了文档的维度，也就是降低了维数灾难发生的可能，然后它是从发掘文档中隐藏在文本背后的隐含语义，也就是主题。可以看到这个模型在文本分类中也是一个非常重要的模型。在本课题中，将进一步讨论的学习问题。在本文中，研宄内容和创新工作主要包括：总结了学习算法近年来的发展和发现可以把模型结合主题模型改进的一种新的文本分类算法。随着深度学习领域的兴起，我们人在在文本分类上基于深

5、度学习和主题分类的算法将变得越来越重要。同时随着文本分类和机器学习的联系更加紧密，有理由相信，基于深度学习和主题分类的算法将会是未来研宄的热点。本文首次提出了这个想法，为今后探索出一种可行的新方向。关键词：机器学习；深度学习；主题模型；文本分类；摘要，’，，；；；目录目录目雜研究背景国内外研究现状及发展动态分析论文的研宂内容论文组织结构第二章传统的文本分类技术文本预处理的过程文本的数学表示模型常用的文本分类算法研究第三章模型⋯常用的一些主题模型的简要介绍模型的推导第四章模型机深度置信网络（第五章结合和算法的文本分类模型实现文本分类

6、和结合算法第六章总结参考文献第一章绪论第一章绪论研究背景对多层神经网络，最常见的做法是使用算法对其进行训练。研究表明，简单的增加神经网络结构当中拥有的的隐藏层数量，并不能对神经网络的性能产生显著的提高，甚至有可能在增加了隐藏层数量后会大幅降低神经网络的性能。另外对于神经网络的训练，如果使用算法进行训练，有的时候很容易陷入局部最小值。对于神经网络会因为过多的隐藏层数量而产生的性能下降问题，学术界给出了一个合理的解释是：因为神经网络在构建时本身的问题而导致，在对进行神经网络进行梯度的优化时，使得优化过程不能传递到层次更低的隐藏层。年，

7、一篇发表在《科学》杂志上的论文，代表这深度学习在学术界和工业界开起了薪新的篇章，这篇论文的作者就是加拿大多伦多大学教授、机器学习领域的泰斗，他在这篇论文中提出如下观点：和其他的经常被使用的神经网络相比，拥有很多个隐藏层的人工神经网络可以表现出来更加优秀的特征学习能力，而且拥有多个隐藏层的神经网络在进行学习的时候得到的特征对数据有更好的理解，这意味着可以进行更好的可视化或分类；虽然深度神经网络在进行特征提取的相关训练上是具有很大的难度，但是，这个难题已经有了很有效的解决方法，那就是通过使用“一层一层初始化”的方法来对深度神经网络进行

8、相关的训练这样就降低了训练的难度，同时这也带来了一个好处，那就是对每一层网络进行初始化是可以通过采用无监督学习的方法来实现的。对于深度神经网络来说，本质实际上是通过建立具有层次结构的一个机器学习模型，这个模型的每一层旳结构是一样的然后通过叠加创建。