面向教育大数据的多维数据分析系统的研究与实现

《面向教育大数据的多维数据分析系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇Ｓ１３１０３００１送巧化与１０５３２学号＿ｇ＿Ｐ３１密级公＿＿立分类号Ｔ四四巧巧繼，絲或Ａ拿ＨＵＮＡＮＵＮＩＶＥＲＳＩＴＹ硕±学位论文’面向教育大数循的多维数据分析系统的研究与实现戴园园学位申请人姓名信息科学与工程学院培养单位秦姪教授导师姓名及职称软件工程学科专业研究方向大数据技术应用论文提交日期０１６年５月１９日２＇？■—■．■学校代号：１０５３２１１学号：Ｓ３１０３００９密级：公开湖南大学硕±学位论文面向教育大

2、数据的多维数据分析系统的研究与实现学位串请人姓名＝戴园园导师姓名及职称：秦摄教授控养单位＝信息科学与工程学院专业名称：软件工程论文提交日期：２０１６年５月１９日论文答辩日期；２０１６年５月２７日答辩委员会主席：骆嘉伟教授ＲｅＭｕ－ｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｌｔｉｄｉｍｅｎｓｉｏｎａｌＤａｔａＡｎａｌｙｓｉｓＳｙｓｔｅｍｆｏｒＥｄｕｃａｔｉｏｎＢｉｇＤａｔａｂｙＤＡＩＹｕａｎｙｕａｎＢ．Ｅ．ＨｕｎａｎＵｎｉｖｅｒｓｋ２０１３（ｙ

3、）乂ｔｈｅｓｉｓｓｕｂｍｉｔｔｅｄｉｎａｒｔｉａｌｓａｔｉｓｆａｃｔｉｏｎｏｆｔｈｅｐｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅｄｅｇｒｅｅｏｆＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇｉｎＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｉｉｎｇｉｎｔｈｅＧｒａｄｕａｔｅｓｃｈｏｏｌｏｆＨｕ打ａｎＵｎｉｖｅｒｓｉｔｙＳｕｐｅｒｖｉｓｏｒＰｒｏｆｅｓｓｏｒＱｉｎＺｈｅｎｇＭａｙ，２０１６湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所。除了文中特别加

4、Ｗ标注引用的内容外取得的研巧成果，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡。献的个人和集体，均己在文中Ｗ明确方式标明本人完全意识到本声明的法律后果由本人承担。作者签名：聲細日期：於巧年＾月／日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查閱和借阅。本人授权湖南大学可将本学位论文的全部或部分内容编、入有关数据库遇行检索，可采用影印缩印或扫描等复制手段保存和汇编本学位论文。本学

5、位论文属于１、保密□，年解密后适用本授权书。＾２、不保密口｛＂＂（请在Ｗ上相应方框内打Ｖ）（＞作者签名：日期；年月日ｆ导师签名；日期：年＆月日在Ｉ了？面向教育大数据的多维数据分析系统的研究与实现摘要随着大数据时代的到来，大数据的巨大规模和复杂结构给传统的多维数据分析系统带来了直接的挑战，特别是在教育管理领域，不断增长的业务数据使传统，的校情分析系统面临很大的压力，比如数据高速抽取和写入时性能不足在大数据规模下的查询效率低下，Ｗ及无法提供对非结构化数据的支持等。这使得本来、就复杂的校情分析

6、和评估过程遇到了很多困难，传统的数据采集管理和分析技术不再适应教育大数据分析提出的高效性和可扩展性的需求。为解决上述问题，一个面向教育大数据的多维数据分析系统本文基于大数据技术设计并实现了，该系统具有高性能、高可扩展性、界面友好的特点。本文首先对大数据相关技术进行学习和研究，根据ＨＢａｓｅ数据库基于列存储的特点设计了多维数据模型，实现了将事实表按维度存储于ＨＢａｓｅ数据库中，提高了多维数据模型的可扩展性，并使之能够支持非结构化数据。同时，将ＨＢａｓｅ和Ｈｉｖｅ进行整合，采用出ｖｅ提供的基于Ｍａｐ民ｅｄｕｃｅ计算框架的ＨｉｖｅＱＬ

7、查询语句提高数据抽取、转化和加载的效率。然后基于大数据的处理流程，设计了面向教育大数据的多维数据分析系统，由云化数据支撑模块、智能业务分析模块、信息展现模块及系统管理模块组成，采用出ｖｅ实现统计分析、相关分析的功能，通过Ｍａｈｏ山实现聚类、分类等数据一二、Ｈ挖掘功能；系统还具有校情、级指标的评估功能。最后给出了系统环境的搭建过程和系统关键功能的实现原理，并通过对比实验分析证明了本文实现的系统在大数据环境下拥有满足实际需要的高效性和良好的可扩展性。关键词：教育大数据；多维数据分析；ＨＢａｓｅ；Ｈｉｖｅ；指标评估ＩＩ

8、硕ｄｒ学位论文ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅａｄ