英伟达GPU 对战谷歌TPU，英伟达是否还能坚守阵地.doc

《英伟达GPU 对战谷歌TPU，英伟达是否还能坚守阵地.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、英伟达GPU对战谷歌TPU,英伟达是否还能坚守阵地　　英伟达一直占据着深度学习数据中心业务上的主导地位，特别是它的K40是最先应用于深度学习的首批GPU之一，在时代的发展过程中，之前一直没有人可以撼动它的地位，如今，谷歌推出TPU，是否会给英伟达造成俱到的威胁。　　一年的时间，股价增长两倍以上，创始人成为《财富》杂志2017年度商业人物，这家公司就是风头正劲英伟达（NVIDIA）。在多年的耕耘之后，英伟达的凭借着先发优势和快速迭代在AI时代迅速崛起。如今，英伟达的GPU几乎垄断了AI芯片市场，着实让人眼红。不过

2、，大部分公司都不希望自己的命脉掌控在别人手中，于是谷歌推出了TPU，然后其他公司纷纷效仿，开始研发类似的深度学习专用芯片。那么类似TPU这种的专用芯片真的能对英伟达的GPU产生威胁吗？　　近日，ARKInvest的分析师JamesWang撰文对这个问题进行了全面剖析，AI科技大本营对全文进行了不改变原意的翻译，希望能给读者，给整个行业一点启发。　　过去两年间，深度学习的热潮使英伟达的数据中心业务增长了五倍，同时也催生了行业竞争。截至2017年，以打造深度学习专用芯片为目标的创业公司已有十几家。除此之外，Alph

3、abet（谷歌母公司）、英特尔、高通、苹果等一票大型上市科技公司也在计划进入深度学习芯片市场。　　　　在日益加剧的竞争下，英伟达还能在深度学习芯片市场中保持领先地位吗？哪个新来者最有可能获得成功？　　GPUvs.TPU　　目前的竞争主要集中在TPU（张量处理单元）领域，这是一种用于加速张量运算的新型芯片，深度学习算法的核心工作负载就是张量运算。Alphabet、英特尔、WaveCompuTIng声称，TPU在执行深度学习算法时要比GPU快十倍。对此差距的一种解释是，GPU主要是为处理图像而设计的，芯片中的很大一

4、部分执行单元并不参与深度学习运算。以英伟达最新的VoltaGPU为例，在GPU核心（如下图所示）中，只有右侧的两个张量核心（TensorCores）负责执行深度学习运算，左侧的执行单元要么很少使用，要么不太适合进行深度学习运算。而新成立的深度学习创业公司造出的芯片则似乎完全由张量核心和晶载内存（on-chipmemory）组成。理论上，这种TPU在利用率和性能上要优于GPU。　　　　　不过目前看来，实际情况并非如此。在研发深度学习芯片的十几家公司中，只有谷歌和WaveCompuTIng拥有能够工作的芯片，并正在

5、进行客户测试。虽然谷歌宣称自家的TPU在性能和能效的表现上要比GPU好很多，但是这一说法并没有经过独立验证。谷歌的第二代“CloudTPU”的功率大概为200多瓦，和英伟达的GPU处在同一范围内。而WaveCompuTIng表示它的3U深度学习服务器可以在40分钟内训练完AlexNet，比英伟达的P100DGX-1服务器快3倍。如果这是真的，当然令人印象深刻，不过按照WaveCompuTIng的说法，其TPU的处理速度本来要快1000倍。奇怪的是，这两家公司生产的新芯片都没有被广泛地使用，这或许表明TPU的实际

6、表现并不如GPU。　　TPU之所以没能超越GPU，英伟达的GPU架构进化得非常快是其中的一个重要原因。在经历了四代GPU的迭代之后，英伟达将其深度学习芯片的架构效率提升了约10倍。下方的图表显示了各代GPU每秒钟执行100万次深度学习运算所需晶体管的数量。需要的晶体管数量越少，架构的效率就越高。如果将所有芯片厂商的晶体管数量限制在同一水平，那么谁设计的架构效率最高，谁的性能就最好。　　　　英伟达的K40是最先应用于深度学习的首批GPU之一，它每秒执行100万次运算需要使用1400个晶体管。其继任者M40移除了深

7、度学习算法不需要的硬件（FP64单元），它只需1000个晶体管就能实现和K40同样的性能。英伟达在之后推出的P40GPU上添加了对FP16指令添加的支持，使得P40的效能达到M40的两倍。新推出的V100芯片在每个数据通道上添加了两个专用张量核心，在架构效能上是P40的3倍。在过去几年间，英伟达将其GPU的架构性能提升了大概10倍，这就是TPU到现在还无法替代GPU的主要原因。　　软件很重要　　就算初创公司在深度学习硬件上可能占有优势，但是在软件上英伟达依旧遥遥领先。和主要使用两大API（DirectX和Ope

8、nGL）的制图任务不同，深度学习算法的软件框架有十几种之多。而且每种框架都有自己的拥护者：谷歌使用TensorFlow；Facebook使用Pytorch和Caffe；微软使用CNTK；百度使用PaddlePaddle。由于英伟达最先入场，它的产品支持以上提到的所有框架，而其竞争对手大部分都只支持支持TensorFlow和Caffe。　　如果深度学习编程是围绕一个领先的框架进行整合的，