基于spark的文本分类的研究

《基于spark的文本分类的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP391单位代码：10190研究生学号：201307002密级：无硕士学位论文基于Spark的文本分类的研究ResearchontheTextCategorizationbasedonSpark研究生姓名：光顺利专业：计算机科学与技术指导教师姓名：李万龙指导教师职称：教授2016年4月长春工业大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，《基于Spark的文本分类的研究》是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确

2、方式标明。本人完全意识到本声明的法律结果由本人承担。作者签名：年月日长春工业大学硕士学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春工业大学硕士学位论文版权使用规定”，同意长春工业大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：年月日校内指导教师签名：年月日硕士学位论文摘要随着互联网和信息技术的不断发展，文本形式的非结构化数据正在不断的增加。文本分类技术能够有效地对文本数据进行组织和处理，广泛地应用在各个领

3、域。文本分类的预处理、特征选择、文本向量化以及文本分类器的生成都需要较大的时间和空间的开销，当面对大规模的文本数据时，传统的技术并不能满足该需求。大数据技术的出现为大规模数据的处理提供了有效的解决方案，然而Hadoop采用的MapReduce并行编程模型具有一定的局限性，它是基于磁盘的，不能高效地利用计算产生的中间结果，而Spark是一种基于内存的，能非常高效地利用中间结果，并且具有较高的处理速度。本文基于Spark对文本分类的各个过程进行并行化提高文本分类效率。本文先对文本分类和Spark计算框架分别进行了分析研究，然后完成了文本分类的各个过程在Spark平台下的并行化设计，提高文本分类

4、各个过程的处理效率。在特征选择阶段采用χ2统计方法进行特征降维，对该方法进行分析，并针对其中的不足，引入词频因子、类内分散程度以及类间集中程度三种因子对其进行改进。在构造文本分类器时，采用朴素贝叶斯分类算法对文本进行分类，通过对朴素贝叶斯分类算法分析得知该算法中最为关键的是计算特征项在类别属性条件下的概率，将一种改进的TF-IDF算法用于计算特征词在类别条件下的概率。最后，通过实验对比，对本文提出的改进方案的有效性进行了验证，实验结果表明本文提出的改进方案提高了文本分类的准确率，基于Spark计算框架的并行化提高了文本分类各个过程的处理效率，减少了文本分类的时间开销，并且具有可扩展性。在S

5、park计算平台下对文本分类的预处理、特征选择、文本表示、文本分类器的训练以及对待分类文本进行分类的并行化，提高了文本分类的效率，实现了对大规模文本数据的处理。关键词：文本分类特征选择Spark并行化朴素贝叶斯I硕士学位论文AbstractWiththedevelopmentoftheInternetandinformationtechnology,unstructureddataisconstantlyincreasingintheformoftext.Textclassificationtechnologycaneffectivelyorganizetextandprocessdata

6、,itiswidelyusedinvariousfields.Theprocessoftextclassificationincludespre-process,featureselection,vectorizationandotherstages,everystageistime-consumingandmemoryoverhead,theconventionaltechnologycannotmeetthedemandwhenfacedwithlargeamountsoftext.BigdatatechnologyprovideaneffectivesolutionforLarge-

7、scaledataprocessing,theparallelprogrammingmodelMapReducehassomelimitations,itisdisk-based,cannotbeefficientuseofcomputinganintermediateresult,whileSparkisamemory-based,canbeveryefficientuseofintermediateresultsan