基于MapReduce和受限玻尔兹曼机的大数据分类研究

《基于MapReduce和受限玻尔兹曼机的大数据分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、HEBEIUNIVERSITY密级：分类号：学校代码：10075学号：20151344硕士学位论文基于MapReduce和受限玻尔兹曼机的大数据分类研究学位申请人：王婷婷指导教师：翟俊海教授学位类型：工学硕士学科专业：软件工程授予单位：河北大学答辩日期：二〇一八年五月ClassifiedIndex:CODE:10075U.D.C:NO:20151344ADissertationfortheDegreeofM.EngineeringClassificationofBigDataBasedonMapReduceandRestrictedBoltzmannMachin

2、eCandidate:WangTingtingSupervisor:Prof.ZhaiJunhaiAcademicDegreeAppliedfor:MasterofScienceSpecialty:SoftWareofEngineeringUniversity:HebeiUniversityDateofOralExamination:May,2018河北大学学位论文独创性声明本人郑萆声明彳所呈交的学位论文ｆ蛊本人在导师指导下进行的研宂工作及取得的研宄成杲？尽我所知，除了文中恃别加以标注和致谢的地方外，论文中不包含其他人己经发表或撰写的研宄成果，也

3、不包含为获得河北大学或其他較一育机构的学位或证书所使用过的材衫＾与我同工作的＿志对本研宄所做的任何贡献均己在论文屮作了明确的说明并表示了致谢．作者签名：互崎日期：年６月Ｉ日崎＿学位论文使用授权声明本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版ｔ允许论文被査阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他芨制手段保存论文４本学位论文属于ｋ保密□，在年ｎ日解峦后适用本授权声明．２、不保密ａ“（谪在以上相应方格内打）作者签

4、名：日期：」＾月Ｊ日＿年丄＿导师签名：目期：年」＿月＿１＿曰保护知识产权声明本人为申请河北大学学位所提交的题目为寸肌亨匕如Ｋ略碑辛啦｜如；的学位论文，是我个人在导师指学并的研究成屎，研宄工作及取得的研究成果尨在河北大学所提供的研艽经费及导师的研咒经费资助卜完成的。本人完全了解并严阱遵守中华人民共和国为保护知识产权所制定的各项法律，行政法规以及河北大学的和关规定＊本人声明如下：本论文的成果归河北大学所有，未经征得指导較师和河北大学的书面同意和授权，本人保证不以任何形式公开和传捅科研成果和科研工作内容》如果违反本声明．本

5、人思意承担相应法律责任。声明人：ｉ病Ａａｆｌ：ＪｚＡ年丄月」＿日摘要摘要大数据时代的到来给传统的机器学习带来了许多挑战，在机器学习领域对大数据的处理主要使用开源框架Hadoop的MapReduce并行编程模型。许多机器学习算法能够用MapReduce并行化，如决策树、K-means、受限玻尔兹曼机(RBM:RestrictedBoltzmannMachine)等。以RBM为例，用MapReduce实现RBM的并行化主要是解决大数据集训练RBM效率低，内存不足的问题。研究基于开源框架的大数据分类问题具有重要的理论意义和应用价值。本文研究了基于MapRe

6、duce和受限玻尔兹曼机的大数据分类问题，主要工作包括两部分：（1）关于MapReduce并行化机制的优劣，本文进行了比较研究，得出了一些有价值的结论。（2）在前一个工作的基础上，提出了一种集成RBM的大数据分类方法。该方法大致可分为两步，第一步用MapReduce框架并行训练多个RBM，即在云计算平台的多个结点上同时训练多个RBM；第二步用模糊积分集成训练出的多个RBM，并用于分类未见的数据。对提出的方法与相关的方法进行了实验比较，实验结果证明了提出的方法的有效性。关键词大数据开源框架数据分类模糊积分集成分类器AbstractAbstractWiththead

7、ventofthebigdataera,manychallengeshavebeenintroducedintothetraditionallearningmachine,inmachinelearningfield,theMapReduceparallelprogrammingmodelofHadoopwhichisanopensourceframeworkisusuallyusedtohandlebigdata.ManymachinelearningalgorithmscanbeparalleledbyMapReduce,suchasdecisiontree

8、s,K-meansand