CNCC大数据报告(CCF网站用)37.pdf

《CNCC大数据报告(CCF网站用)37.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、CNCC大数据论坛大数据对计算机系统的挑战李国杰中国科学院计算技术研究所2013年10月，长沙针对大数据应用，计算机系统结构需要革命性的重构计算机系统结构需要革命性的重构历史上设计计算机系统的主要目标是充分发挥CPU的计算性能，较少关心如何满足持续的数据存取要求。存储墙问题尚未解决，又遇上大数据应用，计算机系统的负载发生了本质性变化，计算机系统结构需要革命性的重构。信息系统需要从数据围着处理器转改变为处理能力围着数据转，关注的重点不是数据加工，而是数据的搬运；系统结构设计的出发点要从重视单任务的完成时间转变到提高系统吞吐率和并行处理能力，并

2、发执行的规模要提高到10亿级以上。构建以数据为中心的计算系统的基本思路是从根本上消除不必要的数据流动，必要的数据搬运也应由“大象搬木头”转变为“蚂蚁搬大米”。数据中心计算机与高性能计算机的区别应用负载特征任务的性能可靠性性能并行度成本要求目标要求高通量计网络服务固有充成本决单个部件失高通量：算系统海量规模：EB级数据，定服务效对应用影提高单位亿级并发足的线提供者响不大。不时间内处(数据中心)任务多样：负载频繁变化程级并的生存同性质数据理的并发，单个任务计算量不大和收益有不同的可任务数目局部性差：服务实例内部行性靠性要求：相关性高，不同服

3、务实例如可再生数之间相关性低据和用户数据可靠性的差异高性能计科学和工程计算需要用优先追单个部件失高速度：任务单一：负载变化不频适当的求性能效可能导致缩短单个算系统整个应用计繁，单个任务计算量大方法挖，再兼算停顿,需要并行计算(应用)局部性好：计算集中于若掘出可顾成本用检查点技任务的运干核心任务，局部性有利利用的术来保存中行时间间计算结果于加速核心计算速度和提并行性以恢复计算高数据带宽、过程。4从高性能计算机到高通量计算机大数据处理不同于科学计算的超级计算机，不是追求尽量缩短单个任务的计算时间，而是在允许的时间范围内处理尽可能多的任务（数

4、据或线程），体系结构需要根本性的变革。下一代数据中心的服务器–基于数据中心，提供高并发数据处理服务的高扩展、低成本的大型计算机软硬件系统特征“Little’sLaw”：=L/W–尽量提高并发线程数–尽量提高每瓦线程数Newobservations:=L(E/W)(1/E)–适当控制每线程的功率Throughput=VolumeWattsperthreadThreadsperJoule5高通量计算机的特点传统的高性能计算机主要是“算得快”；旨在更快地解决更大的问题高通量计算机是“算得多”，即并发处理的数据多、请求多，典型负载

5、如无线通信控制系统、网上视频服务系统；高通量计算机不能通过简单地堆积处理单元获得，也不同于GoogleWSC把Internet上许多分布的互联网计算中心的资源通过分布式软件联合在一起，提供一种服务。6云计算系统与高通量系统高通量意在提高单应用的性能；云计算意在提高很多用户、很多应用、很多任务、很多样负载下的效能；云计算系统追求多种资源与多种负载的动态匹配，要解决突发高负载的问题，追求高通量计算系统是云计算数据中所需资源的即要即得，追求心的一种核心设备；资源的并发使用；云计算系统通过优化设计也能提高通量；7计算机体系结构要做什么变革？

6、上世纪60年代，IBM在研制360计算机时提出计算机体系结构的概念，当时一个重要的技术发明是区分了定点与浮点计算，超级计算机的贡献主要体现对浮点计算的加速，现在需要重新考虑这个问题，有没有类似的技术突破？计算机体系结构的研究必须从分析负载（workload）做起，一定先要有符合应用实际的benchmark，才能找到修改体系结构的正确方向。CPU是计算机的核心，大数据需要什么样的CPU必须做出回答。片内众核如何连接必须仔细选择，硬件实时调度也是新的设计需求。多级缓存（Cache)是计算机体系结构研究的核心问题，很长一段时间，ISCA会议几

7、乎成了Cache会议，现在需要重新考虑Cache的作用和实现机制。大数据应用Benchmarks没有适合大数据的性能测试基准SPECCPUSPECWebHPCCPARSECTPCCGridmixYCSBICTBench项目BigDataBench大数据基准测试程序集2013年6月发布http://prof.ict.ac.cn/BigDataBenchDCBench数据中心基准测试程序集2013年7月发布http://prof.ict.ac.cn/DCBench11/数据中心v.s.BigData互联网WEB服桌面云生物信息数据服务务

8、（前端、仿真模拟虚拟化集群数据实时分析后端）高能物理数据离线分析Scale-out虚拟化大数据数据密集服务负载分析负载型HPC数据中心BigDataD