深度学习框架和加速技术探讨

《深度学习框架和加速技术探讨》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。深度学习框架和加速技术探讨　　引言　　XX年3月，谷歌公司开发的人工智能围棋程序AlphaGo和韩国九段围棋选手李世�h进行了五场比赛，最终AlphaGo以4：1的结果大胜对手。随后，升级版的AlphaGo，即Master又在网络上与中日韩选手对战，横扫中日韩围棋高手，无一败绩。最近全新升级的AlphaGo与世界排名第一的中国九段棋手柯洁进行对战，结果三战全胜！

2、这使得人工智能在全球范围内引起了广泛的关注和讨论，而AlphaGo采用的深度学习方法，也掀起了一股深度学习的浪潮。　　1深度学习简介　　深度学习从传统的人工神经网络发展而来。自20世纪80年代以来，人工神经网络得到了巨大的发展，其中以BP算法为代表的传统人工神经网络方法的在分类、聚类方面得到了广泛应用。然而，BP算法本身的缺陷也是明显的，容易过拟合以及只能训练有标签的数据。与传统的人工神经网络相比，深度学习网络增加了网络中的隐含层数，传统人工神经网络一般在5层以内，而深度学习网络至少达到7层及以上。随着网络规模的增加，对神经网络模型的训

3、练和优化难度也变得困难。XX年，Geoffrey为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。Hinton等人在《Science》上发表了文章，提出的用于深度信任网络的无监督学习算法，解决了深度学习模型优化困难的问题，拉开了

4、深度学习的大幕。同时，计算机技术不断发展，使得计算能力大大提升，也极大地促进了深度学习地发展。目前，基于深度学习的人工智能应用在各个方面，主要包括计算机视觉、自然语言处理、语音识别、信息检索等方向。　　2深度学习框架　　深度学习的研究方式和过去传统的研究方式大不相同。在深度学习领域，已经有很多的科研机构和世界一流的院校开发了多种深度学习工具，这些学习工具或者说深度学习库在许多领域大显身手，如计算机视觉、自然语言处理、自动驾驶等。对于研究者来说，选择合适的框架来解决某一方面的问题是十分必要的。下面介绍目前流行的几种深度学习框架，并进行分析

5、比较，以期为研究人员选择合适的框架提供参考。　　为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　TensorFlow最初是谷歌公司内部使用的深度神经网络库，属于谷歌“BRAIN”项目。XX年11月，谷歌正式发布这一系统并宣

6、布开源。TensorFlow支持多种编程语言，比如c++和Python，用户可以在TensorFlow下灵活地构建神经网络模型，并且可以方便地修改和优化模型。在TensorFlow框架中，所有的计算任务都是基于“图”的。在图中，可以存在很多个节点，一个节点可以获得零个或者多个张量，每个张量是一个类型化的多维数组。这种特殊的数据表示形式，可以让用户高效方便地构建深层神经网络。TensorFlow框架自带一个非常好用的工具Tensorboard，它是一款可视化工具，可以让用户直观地看到数据在神经网络中的变化，也可以看到整个网络的结构。用户通

7、过这个功能，会非常方便和直观地观察自己的神经网络模型，并且很直观地进行修改。　　一个TensorFlow程序通常可分为两个过程，一个是构造阶段，另一个是执行阶段。在构造阶段，用户通过编写程序构造出一张计算图，创建图本质上来说就是创建节点对象以及如何把它们连接起来的过程。在执行阶段，因为所有的图都是在Session中启动，所以第一步是创建Session对象，第二步对变量进行初始化，然后执行节点间相应操作并更新变量值，最终保存数据。　　　　Caffe是由FaceBookAI平台的首席工程师贾扬清开发，它集成了许多优秀的深度卷积模型，在图像处

8、理方面表现优秀，在XX年的ImageNet挑战赛中，Caffe获得冠军，使得它一鸣惊人。Caffe网络结构是通过编辑文档构建的，对于初学者来说易于使用，因为不需要对具体的代码有深刻了解，便可以构建自己的网络