基于hadoop平台的lda短文本分类算法研究

《基于hadoop平台的lda短文本分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ｗ义津財茲乂攀＊硕±学粒仪ｒ？ｊＰｉｉ就Ｈａｄｏｏｐ平台的ＬＤＡ短姑分究》＿级学科：管理科学与工程二级学科：论文作者：张猛指导教师：尚翔目。１二。石巾目涵Ｈｉ＇－—１Ｐ．—共琴户：ｎｗｉ１？？：＇、分类号：密级：硕±学位论文基于Ｈａｄｏｏｐ平台的ＬＤＡ短文本分类算法研究＊ＲｅｓｅａｒｃｈｏｆＬＤＡｓｈｏｉｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＨａｄｏｏｌａｔｆｏｒｍｐｐ所属学院：商学院所在系别：管理信息系

2、统系年级：２０１３级学号：２０１１３扇５９论文作者：张猛天津财经大学学位论文原创性声明本人郑重声明：所呈交的学位论文：《基于化ｄｏｏｐ平台的ＬＤＡ短文本分类算法巧究》，是本人在导师指导下，在天津财经大学攻读学位期间进行研究所取得的成果。除文中邑经注明引用的内容外，不包含任何他人己发表或撰写过的研究成果。对本论文巧究工作做出贡献的个人和集体，均己在文中明确方式标明。本声明的法律责任完全由本人承担。学位论文作者签名；漱心年：Ｔ月＾曰／天津财经大学学位论文版权使用授权书本人完全了解天津财经大

3、学关于收集、保存、使用学位论文的目规定，Ｐ；按照学校要求提交学位论文的印刷版本和电子版本；同意学校保留论文的印刷版本和电子版本，允许论文被查阅和借阅。本人授权天津财经大学可将本学位论文的全部或部分内容编入有关数据库进行检索；可レ乂采用影印、缩印或其他复制手段保存或汇＾编论文！乂向有关机构或者国家部口送交论文的印刷本和电子；可版本１＾レ；在不乂赢利为目的的前提下，学校可乂复制论文的部分或全部内容用于学术活动。本学位论文属于；（）１．经天津财经大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。（

4、不保密，适用上述授权。＂＂１＾（上Ｖ（请在；相应括号内打或填上相应内容。保密学位论文应是己经天津财经大学保密委员会审定过的学位论文，未经天津财经大学大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。）作者签名：曰期巧文曰豕）—。，吝导师签名；日期；＞终ｉ月日／内容摘要近年来，随着即时通讯、微博等网络应用的发展，大量长度较短的文本信息应运而生。这些数据不仅增长速度快，且数量庞大。如何合理利用海量文本数据，从中提取有价值的信息，便成为了当下的研究热点。基于短文本的研究目

5、前在网络舆情分析、热点话题发现、社交网络、购物平台推荐及信息安全等各个领域都受到广泛应用。短文本信息具有内容长度短、特征稀疏、噪点多等特性，Ｗ至于传统的文本分类方法一效果非常不理想。本文在前人的研究基础上，提出了种基于共现关系ＬＤＡ主题的短文本分类方法。利用潜在狄利克雷主题模型化ａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎ，ＬＤＡ）对短＂＂一文本进行处理，得到主题词分布；再提取同时出现在多个主题中的词语，建立共现１上主题具有近词集，将与；然后通过计算共现词集中各个词语与各个主题的相关度两个义一似相关度的词语做逍步筛选，

6、建立混淆词集。在进行文本分类时，对于混淆词集中的词语，，通过降低其权重来减少对分类结果的影响。为了提高本文方法的运行效率将本文方法与貼ｄｏｏｐ平台相结合，利用Ｈａｄｏｏｐ分布式系统在处理海量数据的优势，来优化本文分类方法的分类效率。文本实验使用两种语料库：新闻标题语料库和微博语料库。实证过程制定两种实验方案：先使用样本较小的新闻标题语料库进行算法可行性验证，通过与其他方法进行对比，验证本文方法在分类效果方面的优势：随后利用大样本的微博语料库在化ｄｏｏｐ平台下测试本文方法是否在分类效率方面具有显著提高。最后通过实验结果分析得出，文本

7、提出的基于共现关系的ＬＤＡ短文本分类方法Ｗ及将此分类方法与化ｄｏｏｐ平台结合的分类效果效率均实现预期目标。关键词：短文本分类共线性ＬＤＡＨａｄｏｏｐ网络舆情ＩＡｂｓｔｒａｃｔＩｎｒｅｃｅｎｔｅａｒｓｗｉｔｉｉｔｈｅｆａｓｔｄｅｖｅｌｏｍｅｎｔｏｆ打ｅｔｗｏｒｋａｌｉｃａｔｉｏｎｓｓｕｃｈａｓｉｎｓｔａｎｔｙ，ｐｐｐ，ｍ－ｃｏｍｍｕｎｉｃａｔｉｏｎｉｃｒｏｂｌｏａｎｄｓｏｏｎｔｈｅｒｅｈａｖｅａｍｏｕｎｔｏｆｓｈｏｒｔ化ｘｔｉｎｆｏｒｍａｔｉｏｎｉｎ，ｇ，ａ．Ｔｌｉｃａｔｉｏｎｓｈｅ

8、ｓｅｄａｔａｒｏｗｕｒａｉｄｌａｎｄａｍｏｕｎ