mapreduce在粗糙集属性并行约简中的应用研究

《mapreduce在粗糙集属性并行约简中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级单位代码ＵＤＣ：？大是蘇事乂學全日制应用型硕±研究生学位论文ＭａｐｅｄｕｃｅＲ在粗趟集属性并行约简中的应用研究李天成指导教师刘洪波教授企业导师汲业副教授申请学位类别工程硕±工程领域计算机技术学位授予单位大连海事大学２０１６年６月分类号密级ＵＤＣ单位代码１０１５１大连海事大学工趕硕古学位论文ＭａｐＲｅｄｕｃｅ在粗繪集属性并巧约简中的应用研究（学位论文形

2、式：应用研巧）李天成指导教师刘洪波职称教授企业导师汲业职称副教授学位授予单位大连海事大学申请学位类别工程硕±工程领域计算机技术论文完成日期２０１６年５月答辩日期２０１６年６月答辩委员会主席ＡｎａｐｐｌｉｅｄｒｅｓｅａｒｃｈｏｎＭａｐＲｅｄｕｃｅｉｎｒｏｕｇｈｓｅｔｐａｒａｌｌｅｌａｔｔｒｉｂｕｔｅｒｅｄｕｃｔｉｏｎＡ化的ｉｓＳｕｂｍｉ村ｅｄ化ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙＩｎａｒｔ

3、ｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅｄｅｒｅｅｏｆｐｑｇＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇｂｙＬｉＴｉａｎｃｈｅｎｇＣｏｍｕ化ｒＴｅｃｈｎｏｌｏ（ｐｇｙ）ＴｈｅｓｉｓＳｕｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＬｉｕＨｏｎｂｏｐｇＪｕｎｅ２０１６大连海事大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰写成＂＂硕±学位论文

4、ＭａｐＲｅｄｕｃｅ在粗髓集属性并行约商中的应用研究。除论文中己经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均己在文中明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体己经公开发表或未公开发表的成果。本声明的法律责任由本人承担。学位论文作者签名：私放学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定，即：大连海事大学存权保留并向国家有关部口或机构送交学位论文的复印件和电子版，允许论文被查阔和

5、借阅。本人授权大连海事大学可Ｗ将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕±学位论文全文数据库》（中国学术期刊（光盘版）电子杂志社）、《中国学位论文全文数据库》（中国科学技术信息研究所）等数据库中，并Ｗ电子出版物形式出版发巧和提供信息服务。保密的论文在解密后遵守此规定。本学位论文属于：保密□在年解密后适用本授权书。／＂＂不保密白（请在Ｗ上方框内打Ｖ）导师签名＾

6、论文作者签名：寺是為：＾日期！么６／＾年（月作日中文摘要摘要一粗髓集（ＲｏｕｇｈＳｅｔ）理论是种处理不确定因素和不完备信息的数学理论，常被用于模式识别、机器学习等领域。属性约简是粗糖集理论研究的重要内容，其作用在于删除兀余属性，进而进行数据挖掘和知识抽取。但如今需要处理的数据集越来越大，属性约简本身变得非常困难。针对这个问题，本文研究了ＭａｐＲｅｄｕｃｅ并行编程框架在粗趟集属性约简中的应用。ＭａｐＲｅｄｕｃｅ是用于大规模数据集并行计算的编程模型，通过将对数据

7、集的操作分发给网络上的多个节点来实现并行计算一二。本文提出了种基于进制分辨矩阵的粗糖集属性并行约简算法，该算法中的二进制分辨矩阵是由差别矩阵演化而来，基于该矩阵的属性约简算法较为直观，其约简过程可并行性较高，适合并行计算。该矩阵虽然在实际应用中一＾空间复杂度较高１缺点。相对于，但在并行计算中，恰好可以使用分布式存储来弥补这传统的基于二进制分辨矩阵的属性约简算法，本文算法通过对决策表中的不相容等价类＂＂进行处理，得到了简化决策表，等价类而非对象为基本单元来生成二进制分辨矩

8、阵，使得矩阵行数更少，，降低了空间和时间复杂度。在划分等价类的过程中本文将复杂度更低的基于基数排序的划分等价类算法与Ｍａｐ民ｅｄｕｃｅ结合起来，在Ｓｈｕｆｌｅ过程中实现了该算法一。同时，为了使约简结果提供更全面的知识与规则，本文还进步提出了相应的并斤多约简算法，Ｗ便得出多约简结果。本文对提出的算法在ＵＣＩ数据集和多倍随机自定义数据集上进行了多次实验Ｗ验一证其结果正确性、记录运行时间，并进步分析该并行算法的并行度、加速比、可扩展性等性能。本文还与其他己有的并行属性约简算