基于异构计算的cnn并行框架的设计与实现

《基于异构计算的cnn并行框架的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、矣击种沿ＬＪ：著ＦＥＬＥＣＴＲＯＮＩＣＳＣＥＮＣＥＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡＵＮＩＶＥＲＳＩＴＹＯＩＡＮＤＴ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ论文题目基于异构计算的ＣＮＮ并行框架的设计与实现ＭＨｉｌ■学科专业计算机系统结构ＨＩ学号２０１３２１０６０１３２化者姓名彭玉炳胃指营教师段翰聪副教授Ｊ分类号密级注1UDC学位论文基于异构计算的CNN并行框架的设计与实现（题名和副题名）彭玉炳（作者姓名）指导教

2、师段翰聪副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2016.3.28论文答辩日期2016.5.16学位授予单位和日期电子科技大学2016年6月27日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。DesignandImplementationofaParallelCNNFrameworkBasedonHeterogeneousComputingAMasterThesisSubmittedtoUniversityofElectroni

3、cScienceandTechnologyofChinaMajor:ComputerSystemArchitectureAuthor:YubingPengAdvisor:HancongDuanSchool:SchoolofComputerScience&Engineering独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标往和致谢的地方夕ｈ论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育

4、机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。兴＇作者签名：ｉ。南日期：／年月之《日ｊ论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规

5、定）、成作者签名：知力导师签名：曰期：｛＾年月摘要摘要随着深度学习和异构计算的不断发展，在多个领域中基于异构计算的深度学习已经取得了突破性的成绩，如图像识别和语音识别。截止目前，最智能的机器学习方法就是深度学习，而CNN是深度学习里最重要的一个模型，其研究意义和商业价值巨大。同时由于GPU的强大计算能力被挖掘出来，现如今广泛采用GPU来进行CNN的训练。但是由于存在CNN的训练时间长和单张GPU卡甚至单台GPU服务器（含多张GPU卡）的显存都无法装载单个模型副本的问题，因此需要采用多

6、台GPU服务器的集群来并行训练CNN。在GPU集群并行训练的方法中，如何在硬件设施确定的情况下，确定模型切分方案和数据并行个数将是本文的研究重点。本文首先对现有的CNN并行方法进行调研，然后提出了最优化的模型并行和数据并行方案。以该方案为基础设计了一个基于异构计算的CNN并行框架，该框架总体上采用Master/Slave架构，其中Master是调度器，主要工作是计算出最优化方案以及调度计算任务。Slave分为W-slave和P-slave。W-salve是执行真正的CNN训练任务的载体，P-slav

7、e是负责参数更新工作的参数服务器。最后详细介绍了最优化模型并行和数据并行方案的实现。本文的主要工作为以下几点：1.通过对当前深度学习的并行方案进行调研，在硬件设施确定的情况下，针对模型切分和数据并行的个数提出了自己的最优化模型并行和数据并行方案。2.对基于异构计算的CNN并行框架进行架构设计。框架整体采用Master/Slave架构，参数更新采用异步更新方式。3.设计并实现本文提出的在硬件环境确定的情况下，计算确定单个模型副本切分的子模型个数和模型副本个数的最优化方案。最后对最优化方案进行仿真测试。

8、仿真测试分为单张GPU卡能装载单个模型副本和单张GPU卡不能装载单个模型副本两种情况。仿真结果表明本文提出的最优化方案能够在硬件环境确定的情况下，计算出最优的模型副本切分的子模型个数和模型副本个数，找到最大的训练预估时间加速比，从而可以在实际训练时利用该种并行方案来缩短训练时间。关键词：异构计算，CNN，模型并行，数据并行IABSTRACTABSTRACTWiththecontinuousdevelopmentofdeeplearningandheterogeneou