高能物理科研大数据平台现状、需求及关键技术

《高能物理科研大数据平台现状、需求及关键技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、精选公文范文管理资料高能物理科研大数据平台现状、需求及关键技术　　引言　　当前，人类正在迈入一个前所未有的大规模生产、消费和应用大数据的时代。大规模科学研究，以及近几年互联网、物联网的快速发展，把人类带入了“大数据时代”。根据数据的来源，大数据可以粗略地分成两大类：一类来自物理世界，另一类来自人类社会。前者多半是科学实验数据或传感数据，后者与人的活动有关系，特别是与互联网有关。欧洲核子中心的大型强子对撞机LHC（LargeHadronCollider）上的探测器每年产生的数据量达到25PB。用电子显微镜重建大脑中的突触网络，

2、1mm3大脑的图像数据就超过1PB。同时，人们的日常生活与网络关联得越来越紧密，海量的数据在网络中产生、传输、存储、处理。据IDC（InternetDataCenter）公司统计，2011[键入文字][键入文字][键入文字]精选公文范文管理资料高能物理科研大数据平台现状、需求及关键技术　　引言　　当前，人类正在迈入一个前所未有的大规模生产、消费和应用大数据的时代。大规模科学研究，以及近几年互联网、物联网的快速发展，把人类带入了“大数据时代”。根据数据的来源，大数据可以粗略地分成两大类：一类来自物理世界，另一类来自人类社会。前

3、者多半是科学实验数据或传感数据，后者与人的活动有关系，特别是与互联网有关。欧洲核子中心的大型强子对撞机LHC（LargeHadronCollider）上的探测器每年产生的数据量达到25PB。用电子显微镜重建大脑中的突触网络，1mm3大脑的图像数据就超过1PB。同时，人们的日常生活与网络关联得越来越紧密，海量的数据在网络中产生、传输、存储、处理。据IDC（InternetDataCenter）公司统计，2011[键入文字][键入文字][键入文字]精选公文范文管理资料高能物理科研大数据平台现状、需求及关键技术　　引言　　当前，人

4、类正在迈入一个前所未有的大规模生产、消费和应用大数据的时代。大规模科学研究，以及近几年互联网、物联网的快速发展，把人类带入了“大数据时代”。根据数据的来源，大数据可以粗略地分成两大类：一类来自物理世界，另一类来自人类社会。前者多半是科学实验数据或传感数据，后者与人的活动有关系，特别是与互联网有关。欧洲核子中心的大型强子对撞机LHC（LargeHadronCollider）上的探测器每年产生的数据量达到25PB。用电子显微镜重建大脑中的突触网络，1mm3大脑的图像数据就超过1PB。同时，人们的日常生活与网络关联得越来越紧密，海

5、量的数据在网络中产生、传输、存储、处理。据IDC（InternetDataCenter）公司统计，2011[键入文字][键入文字][键入文字]精选公文范文管理资料年全球来自于个人的数据（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。根据2012年IDC的数字宇宙研究报告，人类在2010年步入ZB（1ZB=1×106PB）时代后，到2020年数据量将增长50倍（图1）。　　无论科学实验数据还是人类社会产生的数据，最终只有在大数据计算平台上进行分析处理，才能将数据转换成知识和信息，发挥出大数

6、据的价值。　　本文首先介绍科研模式的转变以及科研大数据的需求和现状。然后，针对科研大数据平台中的关键技术，包括数据采集、数据存储、数据传输、数据处理以及共享和安全进行分析。最后，结合高能物理领域的数据处理对科研大数据平台的一些实践进行介绍。　　1科研大数据及其计算平台现状　　1.1科研模式的转变　　人类探索世界的脚步永无止境，而科学研究的方式也在不断发展。远古时期，人们依靠观察和思辨来认识和探索世界。17[键入文字][键入文字][键入文字]精选公文范文管理资料世纪以来，随着牛顿经典力学基本运动定律的发表，科学家们逐渐把实验与

7、理论作为科学研究的基本手段。然而，随着人类探索世界的不断深入，许多科学问题的实验研究和理论研究变得越来越复杂，甚至难以给出明确的结论。近半个世纪以来，随着电子计算机的诞生与快速发展，计算机仿真模拟变成第三种不可或缺的科学研究手段，以帮助科学家们去探索实验与理论难以解决的问题，如宇宙的起源、汽车碰撞、天气预报等。而在当前社会，各个学科领域的研究不断向纵深发展，不管是实验装置还是计算机仿真模拟的规模都变得越来越大，产生了越来越多的数据，从而催生了围绕海量数据获取、存储、共享和分析的科学研究手段。　　来自大科学装置或者计算机仿真模

8、拟的实验数据被收集和存储起来，并通过先进高速的网络与处于不同国家或机构的合作者分享。依靠分布式计算技术及协同工作环境，科学家们不仅共享数据，还共享软件、模型、计算、专家知识甚至人力等资源，从而加快科学成果的产出。现代科学研究，特别是粒子物理、生命科学、能源环境、先进材料与纳米科学等新兴或交