GPU computing最新技术进展.doc

《GPU computing最新技术进展.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、GPUcomputing最新技术进展　　摘要：英伟达的显卡对于游戏达人来说再为熟悉不过，并逐渐融入到我们的日常生活当中。　　英伟达的显卡对于游戏达人来说再为熟悉不过，并逐渐融入到我们的日常生活当中。近日，世界上第一款“光线追踪”GPU“QuadroRTXGPU”的面世，更是被英伟达创始人兼CEO黄仁勋称为“自CUDA以来，英伟达推出最重要的一块GPU”。英伟达为了这块显卡，前后打磨了十年的时间。它的出现，将颠覆现有图形渲染计算。　　我们荣幸地邀请到了英伟达亚太区架构主管赵立威先生，他围绕着《GPU计算前沿技术进展及其在AI领域的应用》的话题，与20余位创业者进行了深刻交流，人工智能领域的搬砖

2、男女都赶紧看过来吧~　　　　一、GPUcomputing最新技术进展　　赵立威：我非常有幸在过去的20多年间，经历了IT从起步到大热的整个发展过程。20年前，我在IBM，那时候我自己都没有一台PC机，邮件都跑在mainframe上。我有一张软盘，它相当于我的密钥，把软盘插入办公室的诸多电脑之一，我就能访问我在主机上的邮件服务。这可以说是前PC时代。　　过去这些年，计算形态从PC到移动计算到云再到现在的人工智能。但事实上AI并不是这两年才开始研究，几十年前就已经开始了。那么为什么现在人工智能这么火呢？它离不开三算的发展。何为三算？即算法，算力（计算力），算据（数据）。　　　　图源：http:/

3、/news.ikanchai.com/2017/1204/179891.shtml　　那么这三算是怎样互相作用，然后驱动人工智能从2012年一下子发展到现在的状态呢？这里有一个小故事可以与大家分享。　　大家可能都听说过AlexKrizhevsky，他在博士期间设计了人类历史上第一个真正意义上的深度神经网络AlexNet——一共是八个学习层，包含六千万个参数。他的导师Hinton（被称为“神经网络之父”）并不支持他将这个作为博士论文的研究方向，因为当时的计算都是基于CPU的计算方式，这样的神经网络模型训练一次就要几个月的时间；然后要手动调参，再重新训练，这样反复下来，想要得到一个靠谱的神经网络

4、模型，大约需要几十遍；运气好的时候十几遍的训练次数，可能要花费数十年的时间。但是Alex作为一个典型的Geek并不放弃，在学习数学之余他还学习了大量与编程相关的知识，其中就包括CUDA。　　CUDA是NVIDIA创造的一个并行计算平台和编程模型。它利用图形处理器(GPU)能力，实现计算性能的显著提高。NVIDIA是在2006年推出的CUDA，自那以后，股价从最初的7美元一路攀升到现在的260多美元。　　Alex用CUDA重新对他的模型进行编程，然后买了两块当时非常强大的显卡GTX580，花了6天时间训练AlexNet，并且不断调优和完善。后来参加了李飞飞主导的ImageNet大赛，并且获得了

5、当年的冠军。AlexNet当时能够达到的图像识别精度，遥遥领先于第二名。大赛之后，Alex和他的导师Hinton成立了公司，这个公司几个月以后被Google以4亿美金收购。这是一个靠GPU创富的故事，可以看到，GPU与深度神经网络的第一次结合创造了4亿美金的价值。　　　　英伟达™精视™(NVIDIA®GeForce®)GTX580　　在这之后，我们经历了近似寒武纪时期的神经网络模型大爆发的时代。2012年之前，人们虽然一直在研究，但是没有足够的算力来支撑这些算法，但是新的计算方式GPUComputing的出现，支撑了同类型的神经网络模型的训练；从而促成了各种模型的爆发式增长，进而进入到人工智

6、能的时代。　　如今，大家可以使用Caffe、TensorFlow、Theano等等开源的深度学习平台来进行实现自己的算法，也可以在CUDA上进行编程。人工智能研究领域的头部公司，他们现在推荐的算法模型已经达到了相当复杂的程度，一个模型可以达到1个T甚至几个T的规模，包含几十亿甚至上百亿个参数，数据量更是可想而知。这样的模型训练起来难度就越发高。因此，三算就这样纠缠在一起，互相促进、互相提升。　　大家都知道著名的摩尔定律，其内容是当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。

7、这一定律揭示了信息技术进步的速度。但是根据OPENAI的今年年初的测算，从AlexNet出现以后，到去年年底一共大概5年的时间，在人工智能模型的训练层面，我们对于计算力的需求提升了30万倍。　　我们都知道在摩尔定律的初期25年间，实现了性能5年10倍，25年10万倍的提升。这是摩尔定律在CPU年代为我们带来的计算力的提升。但是这对于人工智能模型对计算力的需求是远远不够的。因此，为了满足这种计算力的需求，我们不