基于HBase的高能物理数据存储及分析平台.pdf

《基于HBase的高能物理数据存储及分析平台.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第41卷第6期计算机工程2015年6月VO1．41No．6ComputerEngineeringJune20l5·先进计算与数据处理·文章编号：1000-3428(2015)06-0049-07文献标识码：A中图分类号：TP391基于HBase的高能物理数据存储及分析平台雷晓凤一，李强，孙功星(1．中国科学院高能物理研究所，北京100049；2．中国科学院大学，北京100049)摘要：高能物理对撞机产生数百亿计的物理事例，而物理分析则是从中选取几千个有意义的事例，该分析过程是一个典型的大数据处理及数据挖掘应用。由此，设计高效的数据结构、存储及访问

2、机制，快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术，分析高能物理数据的特点，提出一种以HBase，ROOT，BEAN及MapReduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、MapReduce实现并行处理，选择ROOT和BEAN作为高能物理分析框架，并给出具体设计与实现方案。测试结果表明，与传统高能物理数据存储系统相比，该系统具有更快的数据处理速度，当预筛选服务生效时能够更加有效地利用I／0和CPU资源。关键词：高能物理数据；大数据；HBase数据库；ROOT框架；BEAN框架；MapRed

3、uce框架中文引用格式：雷晓凤，李强，孙功星．基于HBase的高能物理数据存储及分析平台[J]．计算机工程，2015，41(6)：49—55．英文引用格式：LeiXiaofeng，LiQiang，SunGongxing．HBase-basedStorageandAnalysisPlatformforHighEnergyPhysicsData[J]．ComputerEngineering，2015，41(6)：49—55．HBase-basedStorageandAnalysisPlatformforHighEnergyPhysicsDataLEI

4、Xiaofeng一，LIQiang，SUNGongxing(1．InstituteofHighEnergyPhysics，ChineseAcademyofSciences，Beijing100049，China；2．UniversityofChineseAcademyofSciences，Beijing100049，China)【Abstract】Highenergycolliderproducesseveralbillionsofeventsinthewholelifetime．Physicalanalysisistoselectthousan

5、dsofmeaningfuleventsfromthemanditisatypicalbigdataprocessinganddataminingapplication．Therefore，itissignificantlyimportanttodesignaneficientdatastructure，storageandaccessmechanism，sothatthemeaningfuleventscanbeselectedquickly．Thispaperintroduceseventdatastructure，storageandpro

6、cessingtechnologyinpopular．Thispaperanalysesthefeaturesofhighenergyphysicsanalysisandproposesanewtechnologyofdatastoringandprocessingforhighenergyphysics．ThispaperfertilizesHBasetostoredata，HsesMapReducetoimplementparallelprocessingandselectsROOTandBEANashighenergyphysicsanal

7、ysisflame．Thispaperalsodescribesthespecificdesignandimplementationofthenewplatform．Testresultshowsthatcomparedwithtraditionaldatastoragesystemofhighenergyphysics，thesystemhasquickdataprocessingspeed，itcanuseeffectivelyI／0andCPUresourceswhenreselectiongoesintoeffect．【Keywords】

8、highenergyphysicsdata；bigdata；HBasedatabase；ROOTflame；BEANframework；