HDFS可视化及其在QAR数据中的应用研究

《HDFS可视化及其在QAR数据中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第35卷第1期2017年2月中国民航大学学报JOURNALOFCIVILAVIATIONUNIVERSrrYOFCHINAV01．35No．1February2017HDFS可视化及其在QAR数据中的应用研究冯兴杰，吴稀钰(中国民航大学计算机科学与技术学院，天津300300)摘要：Hadoop是一个由Apache基金会开发的开源的云计算基础框架，主要由Hadoop分布式文件系统(HDFS，Hadoopdistributedfilesystem)和Map／Reduce分布式计算模型组成。其中，HDFS为海量数据提供分布式存储．如何方便快捷地使用并管理HDFS成为目前亟待解决的问题。Hadoop

2、提供了命令行接口与浏览器接口以访问HDFS，但是其浏览器接口的交互界面并不友好，给用户的使用带来了不便，因此目前用户访问HDFS主要是通过命令行的方式。为了方便用户使用并管理HDFS，在深入研究HDFS工作原理的基础上，采用struts2开源架构及JFreeChaa图表绘制类库设计并实现了HDFS可视化系统。利用该系统实现了对海量QAR数据文件的分布式存储，提高了对QAR数据进行并行化数据挖掘的效率。关键词：HDFS；可视化；Hadoop；QAR数据文件；集群管理中图分类号：TP311文献标志码：A文章编号：1674—5590(2017)01—0056—04ResearchonHDFSvis

3、ualizationanditsapplicationinQARdataFENGXin∥ie，WUXiyu(CollegeofComputerScience&Technology,CAUC,Ti嘶in300300，China)Abstract：AsanopensoftwareframeworkdevelopedbyApache，Hadoopprovidesthedistributedprocessingoflargedatasetsthatacrossclustersofcomputerbysimpleprogrammingmodels．Itisdesignedtoscaleupfromsi

4、ngleserverstothousandsofmachines，eachofferinglocalcomputationandstorage．AndnowawidevarietyofcompaniesandorganizationsuseHadoopforbothresearchandproduction．ThecoremodulesofHadoopareHDFS(Hadoopdistributedfilesystem)andMapReducedistributedprogrammingmodel．AnHDFSclusterprimarilyconsistsofaNameNodethatm

5、anagesthefilesystemmetadataandDataNodesthatstoretheactualdata．However,themanagementissuesofHDFSclusterresourceshasbecameurgent．ThereisawebpagetobrowseHDFSprovidedbyHadoop，butthisinterfaceofHDFSisnotfriendlyforusersbecausecommandlineisthemainmethodtoachieveoperationofthedocumentnow．InordertouseHDFSc

6、onveniently，usingthestruts2developframeworkandJFreeChart．thearchitectureofHDFSiSresearchedandthenanHDFSvisualizationsystemiSdesignedbasedonwebinterface．AndthedevelopmentefficiencybasedonHadoopforQARdataisimproved．Keywords：HDFS；visualization；Hadoop；QARdatafile；clustermanagement随着计算机技术的不断发展，大数据已经成为IT

7、领域最受关注的热点之一，云计算平台无疑是处理大数据的最佳平台。Hadoop作为开源的基础分布式架构，现已广泛应用到FaceBook、Yahoo、阿里巴巴等国内外知名互联网企业。HDFS(Hadoopdistributedfilesystem)作为Hadoop进行分布式计算的基石，为海量数据提供分布式存储111。为了方便用户使用与管理海量数据，需要对HDFS进行可视化。目前，对于HDFS可视化的研究不多。黄文依