科研大数据平台关键技术与实践

《科研大数据平台关键技术与实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第6卷第3期工程研究——跨学科视野中的工程6(3):266-2742014年9月JOURNALOFENGINEERINGSTUDIESSep.,2014DOI:10.3724/SP.J.1224.2014.00266“大数据处理中的基础理论与关键技术”专刊科研大数据平台关键技术与实践程耀东，陈刚(中国科学院高能物理研究所，北京100049)摘要:首先，以高能物理领域数据处理为例，分析了支撑科学研究的大数据平台在存储和处理能力、传输和共享等方面的挑战,说明现有技术已经难以满足日益快速增长的数据处理需求。然后，给出了科研大数据平台的典型

2、架构，并讨论科研大数据平台的关键技术,包括数据采集与清洗、数据存储、数据处理、数据传输、数据共享与安全等技术，同时介绍了各种关键技术的研究现状或者主流系统。最后，介绍了中国科学院高能物理研究所科研大数据开放平台的建设思路和实现框架，该平台试图解决目前大数据发展过程中面临的一些问题，如数据开放和跨领域融合不够、跨地域数据传输性能低等，从而激活数据价值，降低应用门槛。关键词:大数据；数据存储；并行数据处理；开放平台中图分类号:O57文献标识码:A文章编号:1674-4969(2014)03-0266-09引言视频和音乐），远远超过人类有

3、史以来所有印刷材[2]料的数据总量（200PB）。根据2012年IDC的当前，人类正在迈入一个前所未有的大规模数字宇宙研究报告，人类在2010年步入ZB（1生产、消费和应用大数据的时代。大规模科学研6ZB=1×10PB）时代后，到2020年数据量将增长究，以及近几年互联网、物联网的快速发展，把[3]50倍（图1）。人类带入了“大数据时代”。根据数据的来源，大无论科学实验数据还是人类社会产生的数数据可以粗略地分成两大类：一类来自物理世界，另一类来自人类社会。前者多半是科学实验数据或传感数据，后者与人的活动有关系，特别是与互联网有关。欧

4、洲核子中心的大型强子对撞机LHC（LargeHadronCollider）上的探测器每年产[1]生的数据量达到25PB。用电子显微镜重建大脑3中的突触网络，1mm大脑的图像数据就超过1PB。同时，人们的日常生活与网络关联得越来越紧密，海量的数据在网络中产生、传输、存储、处理。据IDC（InternetDataCenter）公司统计，图1全球数据增长2011年全球来自于个人的数据（主要是图片、图片来源：IDC（InternetDataCenter）的数字宇宙研究报告。收稿日期:20131008;修回日期:20131125基金项

5、目:国家自然科学基金项目(11205179)作者简介:程耀东（1977–），男，副研究员，研究方向为海量存储、网格计算与云计算等。E-mail:chyd@ihep.ac.cn陈刚（1961–），男，研究员，博士生导师，研究方向为高性能计算、分布式系统、大数据分析等。程耀东，等：科研大数据平台关键技术与实践267据，最终只有在大数据计算平台上进行分析处理，国家、跨地域的协作与交流，而大数据技术的发才能将数据转换成知识和信息，发挥出大数据的展正在对其产生深远的影响。价值。下面以高能物理为例来说明科研大数据的需本文首先介绍科研模式的转变以

6、及科研大数求及计算平台现状。新一代高能物理实验，如LHC据的需求和现状。然后，针对科研大数据平台中实验、北京正负电子对撞机BESIII实验、大亚湾的关键技术，包括数据采集、数据存储、数据传中微子实验、宇宙线观测实验等产生了海量的数输、数据处理以及共享和安全进行分析。最后，据。到2012年，世界高能物理的实验数据超过结合高能物理领域的数据处理对科研大数据平台200PB，并将在以后几年中超过1000PB。全球的一些实践进行介绍。近万名物理学家利用这些数据进行物理研究。1科研大数据及其计算平台现状1.2大型强子对撞机LHC实验1.1科研模

7、式的转变大型强子对撞机LHC是欧洲粒子物理研究中心（EuropeanOrganizationforNuclearResearch，人类探索世界的脚步永无止境，而科学研究[4]CERN）的一个大型高能物理实验装置。来自全的方式也在不断发展。远古时期，人们依靠观察世界（包括中国）的研究机构和大学的近万名科和思辨来认识和探索世界。17世纪以来，随着牛学家参加LHC上的四个主要实验。这四个实验包顿经典力学基本运动定律的发表，科学家们逐渐括ALICE（ALargeIonColliderExperiment，大型把实验与理论作为科学研究的基本手

8、段。然而，离子对撞实验）、ATLAS（AToroidalLHCAppa-随着人类探索世界的不断深入，许多科学问题的ratuS，超环面仪器）、CMS（CompactMuonSo-实验研究和理论研究变得越来越复杂，甚至难以lenoid，紧