mapreduce框架下并行有序决策树及有序决策森林

《mapreduce框架下并行有序决策树及有序决策森林》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、HEBEIUNIVERSITY密级：分类号：学校代码：10075学号：20121027硕士学位论文MapReduce框架下并行有序决策树及有序决策森林学位申请人：王姗姗指导教师：王熙照教授企业导师：秦宏伟高级工程师学位类别：工程硕士专业领域：计算机技术授予单位：河北大学完成日期：二〇一五年五月ClassifiedIndex:CODE:10075U.D.C:NO:20121027ADissertationfortheDegreeofMasterParallelOrdinalDecisionTreea

2、ndDecisionForestBasedonMapReduceCandidate:WangShanshanSupervisor:Prof.WangXizhaoAdvisorinEnterprise:SE.QinHongweiAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerTechnologyUniversity:HebeiUniversityDateofAccomplishment:May，2015,2007摘要摘要传统

3、的有序决策树能有效处理单调分类问题。然而，从大数据集中用这些算法学习单调决策树却是非常困难的。为了解决从大数据集中生成有序决策树的问题，本文在MapReduce框架下，提出了一种并行处理方法。和传统的有序决策树归纳算法类似，我们用有序互信息作为启发式来选择扩展属性。和现存的有序决策树归纳算法计算互信息的方法不同，本文应用属性并行化策略计算有序互信息。在人工生成的大数据集上的实验结果显示本文提出的算法是可行的，而且从加速比(speed-up),扩展比(scale-up)和承载比(size-up)三方

4、面证实本文提出的算法是行之有效的。基于VC-DRSA理论完成有序随机森林算法，并结合MapReduce计算框架，在Hadoop平台上对有序随机森林算法进行了并行化，提高了算法的运行效率；实验结果也证实了该算法的可行性及有效性。关键词有序分类有序决策树有序互信息有序决策森林MapReduceIAbstractAbstractTraditionalordinaldecisiontree(ODT)caneffectivelydealwithmonotonicclassificationproblems.

5、However,itisverydifficultfortheexistingordinaldecisiontreealgorithmstolearningODTfromlargedatasets.InordertodealwiththeproblemofgeneratinganODTfromlargedatasets,thispaperpresentsaparallelprocessingmechanismintheframeworkofMapReduce.Similartothetraditi

6、onalordinaldecisiontreeinductivealgorithms,therankmutualinformation(RMI)isstillusedtoselecttheextendedattributes.DifferingfromthecalculationofRMIintheexistingordinaldecisiontreeinductivealgorithms,thispaperappliesastrategyofattributeparallelizationtoc

7、alculatetheRMI.Experimentsonlargeordereddatasets(whicharegeneratedartificially)confirmthatourproposedalgorithmisfeasible.Experimentalresultsshowthatouralgorithmiseffectiveandefficientfromthreeaspects:speed-up,scale-upandsize-up.Basedonthevariableconsi

8、stencydominancebasedroughsetapproach(VC-DRSA),anordinalrandomforestalgorithmisproposedinthispaper.CombiningwiththecomputingframeworkofMapReduce,theproposedordinaldecisionforestalgorithmisparalleledontheplatformofHadoop,whichimprovestheefficien