基于云计算的层次粗糙集模型约简算法研究.pdf

《基于云计算的层次粗糙集模型约简算法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Vo1．42No．8计算机与数字工程总第298期l332Computer＆DigitalEngineering2014年第8期基于云计算的层次粗糙集模型约简算法研究闫冲(东北石油大学计算机与信息技术学院大庆163318)摘要传统的并行属性约简算法通过利用抽样技术获取小数据样本进行知识约简，但对于大数据集来说，样本数据不具有一般性且无法代表整个数据集。为了弥补传统并行属性约简算法只能用来计算最小属性约简、处N4,数据集的缺陷，论文通过分析了先验知识在粒计算中的重要性，结合云计算技术处理海量数据的优势，以粗糙集理论为背景，从不同角度、层次出发建立层次粗糙集模型，提出基于云计算的层次粗糙集模型

2、约简算法，讨论并实现了知识约简算法中的可并行化操作，利用Hadoop在普通计算机集群上进行试验，从运行时间、加速比、可扩展性i个方面对所提出基于正区域、信息熵、边界域算法的重要性进行评价。实验证明：基于云计算的层次粗糙集模型约简算法可以有效处理大数据集。关键词粒计算；层次粗糙集模型；云计算；Hadoop；约简算法；大数据中图分类号TP393DOI：10．3969／j．issnl672—9722．2014．08．006ReductionAlgorithmBasedO11ModelofHierarchicalRoughSetofCloudComputingYANChong(SchoolofC

3、omputerandInformationTechnology，NortheastPetroleumUniversity，Daqing163318)AbstractTraditionalparallelattributereductionalgorithmthroughtheuseofsamplingtechniquesSOthatobtainasmalldatasampletoexecuteknowledgereduction，butforlargedatasets，sampledataarenotgeneralandnotrepresentativeoftheentiredatase

4、t．Tocompensateforthetraditionalparallelattributereductionalgorithmcanbeusedtocalculatetheminimumattributereduction，todealwithsmalldatasetsdefects，Thispaperanalyzestheimportanceofpriorknowledgeingranularcomputing，combiningtheadvantagesofcloudcomputingtechnologyprocessingmassdata，inroughsettheoryas

5、abackground，fromdifferentanglesandlevels，startingtobuildhierarchicallevelsroughsetmodelisproposedbasedonhier—archicalreductionalgorithmofroughsetmodelofcloudcomputing，discussedandimplementedknowledgereductionalgorithmcanbeparallelizedoperations，testingbyusingHadoopon3nordinarycomputercluster，itwi

6、llbeimportantevaluatetobasedonpositiveregion，informationentropy，theboundaryregionMgorithmfromtherunningtime，speedup，scalability．Theresultofexperimentshowsthatthemodelofhierarchicalroughsetreductionalgorithmbasedoncloudcomputingcanbehandlelargedatasetseffectively．KeyWordsgranularcomputing，modelofh

7、ierarchicalroughset，cloudcomputing，Hadoop，reductionalgorithm，bigdataClassNumberTP393存在两个缺陷：一方面经典粗糙集约简算法及其扩l引言展理论无法突破利用多角度、单层次概念来解决问随着大数据时代的来临，海量数据集的处理问题，不能体现多角度、多层次思想；于是学者们开始题越来越受到重视。至今为止，粗糙集模型下的知研究基于多角度、多层次思想研究粗糙集模识约简