大数据研究的技术层面与主要研究内容.pdf

《大数据研究的技术层面与主要研究内容.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Email：yhuang@nju.edu.cn第一部分：大数据处理的基本特点主要介绍大数据处理的主要特点和技术挑战、研究原则和研究目标第二部分：大数据研究技术层面和主要研究内容主要介绍大数据研究所涉及的各个技术层面以及各层面下主要的研究内容和热点问题第三部分：大数据并行处理技术研究简要介绍本课题组在大数据方面所开展的一些工作多核、并行计算与大数据多核/众核影响现有计算单核处理器设计达到极限，2005年Intel多技术各个层面:核处理器战略转移体系结构并行处理分布并行计算技术方法并行计算MapReduce算法设计大数据数据库2004年Googl

2、e发明操作系统MapReduce海量数据并行处理技术，程序设计语言07年Hadoop推广应用技术行业大数据2009-2010年开始，……行业应用规模和数应用需求据量急剧增长大数据是云计算的两大核心内容之一云计算的主要目标是：用集中管理的巨大计算资源和计算能力1）为小粒度应用提供资源共享；2）为大粒度应用(主要是大数据应用)提供大规模计算能力基于云计算的共享应用与服务基于资源基于资源基于资源基于资源共享的共享的共享的基于大规模计算基于资源共享共享的小粒度应用小粒度应用小粒度应用资源的大粒度应用的小粒度应用小粒度应用云计算资源与平台大数据是云计算

3、的两大核心内容之一云计算应用与服务小粒度应用与服务大数据应用与服务查询分析挖掘虚拟资源池云云并行算法安计弹性资源调度管理全算并行计算框架管管理理虚拟化分布式存储云计算资源与平台什么是大数据？•Wiki百科：bigdataisacollectionofdatasetssolargeandcomplexthatitbecomesdifficulttoprocessusingon-handdatabasemanagementtools大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集•IDC报告：Bigdatatechnolog

4、iesdescribeanewgenerationoftechnologiesandarchitectures,designedtoeconomicallyextractvaluefromverylargevolumesofawidevarietyofdata,byenablinghigh-velocitycapture,discovery,and/oranalysis.大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值大数据处理技术的重要性大数据(BigData)应用需求出

5、现越来越多的大数据应用和行业需求。2008年，在Google成立10周年之际，《Nature》杂志出版一期专刊专门讨论未来的大数据（BigData）处理相关的一系列技术问题和挑战。大数据处理技术的重要性2011年未来10多年数据将急剧增长IDC研究报告《DataUniverseStudy》提出“数据宇宙”的说法描述海量数据2007年2008年2009年2010年大数据处理技术的重要性未来急剧增长的数据迫切需要寻求新的处理技术手段IDC报告《DataUniverseStudy》全世界权威IT咨询公司研究报告预测:全世界数据量未来10年将从/通用

6、格式35ZB:一堆DVD/通用格式2009年的0.8ZB增长到/通用格式堆起来是地球到火星距离的一半/通用格式2020年的35ZB,增长44倍!/通用格式年均增长率>40%!0.8ZB:一堆/通用格式DVD堆起来够地球到月/通用格式亮一个来回/通用格式8.0ZB/通用格式/通用格式/通用格式1.0(1000EB).16.28.48/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式/通用格式Year美国联邦政府下属的国防部、能源部、卫生总署等7部

7、委联合推动，于2012年3月底发布了大数据研发专项研究计划(BigDataInitiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具，把大数据研究上升到为国家发展战略。10“大数据研究的科学价值”李国杰，《中国计算机学会通讯》，vol.8，no.9,2012.92012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国

8、家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺