谷歌新神经计算专用处理器TPU超越CPU与GPU的原因.doc

《谷歌新神经计算专用处理器TPU超越CPU与GPU的原因.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、谷歌新神经计算专用处理器TPU超越CPU与GPU的原因　　图3：ASIC芯片支持PCIeGen3x16总线，并搭载DDR3内存　　开发人员掌握多元化信息　　该报告中提到，研究人员受到热门的ImageNet比赛吸引，已经变得过于投入卷积神经网络（CNN）。现实世界的应用采用更广泛的神经网络类型，报告并强调，多层感知（MLP）占GoogleAI开发工作的61%。“虽然大部份的架构师一直在加速CNN设计，但这部份只占5%的工作负载。”　　“虽然CNN可能很常见于边缘设备，但卷积模型的数量还赶不上数据中心的多层感知（MLP）和长短期内存（LSTM）。我们希望架构师尽可能地加速MLP和LSTM设计，

2、这种情况类似于当许多架构师专注于浮点运算效能时，大部份的主流工作负载仍由整数运算主导。”　　Jouppi说：“我们已经开始与一些大学合作，扩大提供免费模式。”但他并未透露内容细节。　　这篇报告回顾了二十多年来神经网络的相关数据，包括其竞争对手——微软（Microsoft）基于FPGA的Catapult计划，加速了网络作业。最初的25WCatapult在200MHz频率上运作3，926个18位MAC，并且以200MHz频率速度执行5MB内存。Google表示，以Verilog语言设计的固件比起使用TensorFlow软件来说效率更低。　　　　图4：TPU卡可插入服务器的SATA插槽上　　TP

3、U计划于2013年开始，当时并以FPGA进行了试验。该报告中提到：“我们舍弃FPGA，因为我们当时发现它和GPU相比，在效能上不具竞争力，而TPU比起GPU在相同速度或甚至更快的速度下，可以达到更低的功耗。”　　尽管二十多年来，神经网络终于在最近从商用市场起飞了。　　Jouppi说：“我们所有人都被这蓬勃发展的景象吓到了，当初并未预期到会有如此大的影响力。一直到五、六年以前，我都还一直抱持怀疑态度…而今订单开始逐月增加中。”　　相较于传统途径，深度神经网络（DNN）已经让语音识别的错误率降低了30%，这是二十年来最大的进步。这让ImageNet影像辨识竞赛中的错误率从2011年的26%降至

4、3.5%。　　该报告结论还提到，“神经网络加速器存在的理由在于效能，而在其演进过程中，如何达到良好的直觉判断，目前还为时过早。”