不确定大数据分析原型系统的设计与实现

《不确定大数据分析原型系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文不确定大数据分析原型系统的设计与实现作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：张慧超王国仁教授东北大学信息科学与工程学院硕士学科类别：工学计算机应用技术2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：乔建忠赵相国、陈庭伟东北大学2014年6月万方数据AThesisinComputerApplicationTechnologyDesignandImplementationofUncertainBigDataAnalysisPrototy

2、peSystemByZhangHuichaoSupervisor：ProfessorWangGuorenNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：曰期：2014年6月21日学位论文版权使用授权书本学位论文作者和指导教师完全了解

3、东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口学位论文作者签名：磊露，超两年哂导师签名：孔训。签字日期：2014年6月21日万方数据东北大学硕士学位论文摘要不确定大数据分析原型系统的设计与实现摘要近年来随着信息量的日益膨胀，数据量的快速增长，对大数据分析的需求日趋急切。同时随着人们对不确定数据认识的越加深刻，基于不确定

4、大数据的处理需求开始兴起。然而现有的基于数据仓库的联机分析处理研究或者系统都是建立在传统数据库之上的，对大数据的存储支持尚不完善。本文依托国家不确定大数据项目，实现了基于MapReduce计算框架的不确定数据的确定化处理，设计和实现了基于Hive数据仓库的联机分析处理系统。本文主要是通过研究蒙特卡罗采样算法，针对不确定图数据经过采样过程进行确定化处理。然后根据确定化的数据集在分布式数据仓库Hive上构建多维数据模型，同时设计和实现了以Hive数据仓库为底层存储的联机分析处理系统。本文的贡献可以概括为以下几个方面。第一，通过学习简单

5、随机采样算法，结合本文用到的不确定数据集特征，深入研究了不等概率采样算法的实现方法，然后将方法的具体实现在分布式编程模型MapReduce上进行实施，验证了算法的有效性并提高了算法的效率。第二，学习和研究了联机分析处理的模型和操作，利用Hadoop平台下的分布式数据仓库Hive，根据本文的分析需求在Hive数据仓库之上构建了多维数据模型，定义了多维分析操作。研究了一种基于Hive自定义函数UDF的模拟维度分析方法，结合了本文数据集的特点满足了分析需求的同时提高了分析效率。第三，设计和实现了基于确定化数据的多维数据分析系统，系统采用

6、三层框架结构，分别是分析引擎层、业务控制层和用户操作层。分析引擎层主要负责存储数据仓库模型和利用MapReduce执行分析任务。业务控制层主要负责控制分析流程中的任务定义、维度定义和分析执行。用户操作层使用BS结构实现了用户与系统的交互，执行分析查询操作和查看分析结果。关键词：大数据：不确定数据；采样算法；Hive数据仓库；联机分析处理万方数据东北大学硕士学位论文捅要万方数据东北大学硕士学位论文Abs仃actDesignandImplementationofUncertainBigDataAbstractInrecentyears

7、，withtheswellingoftheamountofinformation，therapidgrowthintheamountofdata，thedemangforbigdataanalysisincreasinglyurgent．Atthesametime，peo．piemakeprofoundunderstandingoftheuncertaintyofdata，thedemandforuncertaindataanalysisbasedonbigdatabegintorise．However，theexistingst

8、udyorsystemofOnlineAnalysisProcessbasedondatawarehouseareallestablishedintraditionaldatabase．itiSjm—perfecttosupportforbigda