资源描述：
《Ch1-并行计算技术概述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、Ch.1.并行计算技术简介MapReduce海量数据并行处理南京大学计算机科学与技术系主讲人：黄宜华2011年春季学期鸣谢：本课程得到Google公司(北京）中国大学合作部精品课程计划资助Ch.1.并行计算技术简介1.为什么需要并行计算？2.并行计算技术的分类3.并行计算的主要技术问题4.MPI并行程序设计5.为什么需要大规模数据并行处理？1.为什么需要并行计算？贯穿整个计算机技术发展的核心目标：提高计算性能！Intel微处理器每秒1千8百亿次浮点运算！近20年性能提高3千多倍巨型机：中国天河一号，2010年底世界T
2、OP500强第1名每秒2千5百多万亿次浮点运算，近20年性能提高3千多倍亿亿千万亿百万亿十万亿万亿千亿百亿十亿亿提高计算机性能的主要手段1.提高处理器字长：70-80年代：Intel处理器：71年，4004，4bits；78年，8086，8bits；82年，80286:16bits；85年~90s，80386,486,Pentium,P2,P3,P4:32bits05年~，PentiumD往后-Corei3,i5,i7：64bits为什么需要并行计算？提高计算机性能的主要手段2.提高集成度摩尔定律：芯片集成度每18个
3、月翻一倍，计算性能提高一倍为什么需要并行计算？为什么需要并行计算？提高计算机性能的主要手段3.流水线等微体系结构技术实现指令级并行(Instruction-LevelParallelism,ILP）RISC结构5级流水线为什么需要并行计算？提高计算机性能的主要手段3.流水线等微体系结构技术分支预测,寄存器重命名，超长指令字（VLIW），超标量(Superscalar)，乱序执行，Cache……Pentium4(CISC结构）采用了20级复杂流水线为什么需要并行计算？提高计算机性能的主要手段4.提高处理器频率：1990
4、s-2004：为什么需要并行计算？所有这些技术极大地提高了微处理器的计算性能，但2004后处理器的性能不再像人们预期的那样提高单核处理器性能提升接近极限！集成度性能为什么需要并行计算？单核处理器性能提升接近极限1.VLSI集成度不可能无限制提高芯片集成度已进入极小尺度级别，集成度不可能无限制提高1nm(纳米)约头发直径的6万分之一或4个原子长度10-20nm仅有几百个原子的长度为什么需要并行计算？单核处理器性能提升接近极限2.处理器的指令级并行度提升接近极限长指令字，流水线，分支预测，寄存器命名，超标量，乱序执行，动
5、态发射，高速缓冲（Cache）……高级流水线等各种复杂的微体系结构技术都已得到研究应用，难以进一步挖掘更多的指令级并行性ILP墙为什么需要并行计算？单核处理器性能提升接近极限3.处理器速度和存储器速度差异越来越大处理器性能每2年翻一倍，而存储器性能每6年翻一倍为了匹配两者间速度差异，处理器需要做越来越大的Cache存储墙CPU计算速度：~1ns级别主存访问速度：100ns级别为什么需要并行计算？单核处理器性能提升接近极限4.功耗和散热大幅增加超过芯片承受能力晶体管密度不断提高，单位面积功耗和散热大幅增加主频提高导致功
6、耗和散热急剧增加功耗P=CV2f，C：时钟跳变时门电路电容，V：电压，f：主频晶体管数越多，电容越大=>功耗越大；主频越高=>功耗越大功耗墙CitefromEdwardL.Bosworth,ThePowerWall,2010为什么需要并行计算？单核处理器性能提升接近极限2005年前，人们预期可以一直提升处理器主频但2004年5月Intel处理器TejasandJayhawk(4GHz)因无法解决散热问题最终放弃，标志着升频技术时代的终结CitefromEdwardL.Bosworth,ThePowerWall,201
7、02005年前人们预计的主频提升路线图2007年人们大大降低了主频提升预期2005年后Intel转入多核技术为什么需要并行计算？单处理器向多核并行计算发展成为必然趋势多核/众核并行计算2005年Intel全面转入多核计算技术，采用多核/众核构架，简化单处理器的复杂设计,代之以单个芯片上设计多个简化的处理器核,以多核/众核并行计算提升计算性能双核:PentiumD(05),EE(06),Xeon(06)Core2DuoE系列,T系列(06)Corei3,i5(10)4核:Core2QuadQ系列（07）Corei5,i
8、7(08,09,10)6核:Corei7970/980(10)8核:AMDBulldozer(10)典型的双核处理器结构为什么需要并行计算？单处理器向多核并行计算发展成为必然趋势多核/众核并行计算Intel实验芯片SingleCloudChip,SCC：48核Teraflops,80核CitefromIntelwebsite:http://te
