基于hadoop的高校大数据平台的设计与实现

《基于hadoop的高校大数据平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Hadoop的高校大数据平台的设计与实现唐燕刘仁权王苹北京中医药大学信息中心摘要：随着信息化的推进，高校已经建设了很多信息系统，积累了大量数据。如何从海量数据中，挖掘有价值的信息，支撑智慧校园的建设，成为需要迫切解决的问题。文中就高校大数据平台的关键技术和架构进行阐述，结合高校实际情况，设计高校大数据平台架构，通过搭建Hadoop集群环境，以业务系统和平台之间的数据交互验证平台设计的可行性和优势。通过研究，文中为高校建设大数据平台提岀一种设计方案，为高校信息化建设提供一种新思路。关键词：大数据;Hadoop;分布式计算;

2、Hive;高校信息化;作者简介：唐燕(1977-)，女，硕士，讲师，研究方向为大数据技术、数据挖掘。收稿日期：2017-02-17基金：北京中戻药大学2015基本科研面上课题(2015-JYB-JSMS051)Designandimplementa/tionofcollegeanduniversitybigdataplatformbasedonHadoopTANGYanLIURen-quanWANGPingInformationCenter,BeijingUniversityofChineseMedicine;Abstrac

3、t：Withthedevelopmentofinformationtechnology,collegesanduniversitieshavebu订talotofinformationsystems,accumulatedalotofdata.Howtominingvaluableinsightfrommassivedataandsupporttheconstructionofintelligentcampushasbecomeanurgentproblemtobesolved.Inthispaper,thekeytechn

4、ologyandarchitectureofuniversitydataplatformareexpounded,andthearchitectureofuniversitydataplatformisdesigned.Thefeasibilityandadvantagesofplatformdesignareverifiedbythedatainteractionbetweenbusinesssystemandplatformbysettinguplladoopclusterenvironment.Throughthere

5、search,itproposesadesignschemefortheconstruetionoflargedataplatformincollegesanduniversities,andprovidesanewideafortheconstruetionofuniversityinformationization.Keyword：bigdata;Hadoop;distributedcomputing;Hive;universityinfonnationization;Received：2017-02-17o引言随着云计

6、算、互联网、物联网技术的快速发展，各个行业已经进入大数据时代。大数据包括各个系统中数据库中的结构化数据，也包括由社交媒体、邮件、视频、音频、文档信息和网页所产生的非结构化数据。大数据技术的目标就是从这些数据中挖掘信息、预测趋势、提供决策支持。“大数据”被认为是继物联网、云计算Z后IT产业又一次颠覆性的技术变革111。随着信息化的推进，高校已经建设了很多信息系统，经过多年运营，已经积累了很多数据。但是，这些系统分阶段建设，由不同部门运营和维护。虽然各业务系统之间也进行了对接和数据交互，但缺少一个统一支持海量数据处理的平台来支撑

7、智慧校园的建设。在高校建立数据中心和大数据平台，利用海量数据进行数据分析、挖掘，为学校管理部门提供决策依据，为师生提供更智能、便捷的信息化服务，这是高校信息化部门建设智慧校园过程屮的必由之路宜。1Hadoop平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构oHadoop集群中一个主控节点控制和管理整个集群的运行，协调多个从节点完成数据和计算任务⑶。Hadoop系统的核心是分布式文件系统HDFS和MapReduce并行化计算框架。随着Hadoop的快速发展，Hadoop平台成为包含很多子系统大数据的处理生态

8、系统，如图1所示。图1Hadoop生态系统下载原图(1)HDFS:HDFS是分布式计算中数据存储管理的基础，具有高容错、高可靠性、高扩展性等优点，用户可以使用低廉的硬件部署Hadoop分布式文件系统。HDFS采用主-从结构，一个HDFS文件系统包含一个主节点NameNode和多个数据节点D