多gpu环境下的卷积神经网络并行算法

《多gpu环境下的卷积神经网络并行算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、－．把辦．请聲韦巧為邸：巧＊ｉ＇－私夺留钟違若来大赛ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａ打ｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ硕±学位论文＠）多ＧＰＵ环境Ｔ的论文题目卷和神巧词络拜巧鼻法王搭＾作者姓名计？权在用杖术学科专业顾乃兰＿＿导师姓名二Ｃ—六年巧完麵间Ｊ中逸种＃换术乂＃硕±学位论文戀多ＧＰＵ环境下的卷积神经网络并行算法作者姓名：韦裕民学科专业：计算机应用技术导师姓名：顾乃杰教授二〇—六年巧月

2、完成时间：ｌＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｏｇｙｏｆＣｈｉｎａ＇ＡＤｉｓｓｅｒｔａｔｉｏｎｆｏｒＭａｓｔｅｒｓＤｅｇｒｅｅ（＠）ＰａｒａｌｌｅｌＡｌｏｒｉｔｈｍｏｆｇＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｉｎＭｕ－ｌ＂ＧＰＵＥｎｖｉｒｏｎｍｅｎｔ＇ＡｕｔｈｏｒｓＮａｍｅ；ＹｕｍｉｎＷａｎｇｉＳｅｃｌｔｍｒＡｌｃａｔｏｎＴｅｃｈｎｏｌｏｐｉａｉｙ：ＣｏｐｕｔｅｐｐｉｇｙＳｕｐｅｒｖｉｓｏｒ．Ｎａ：Ｐｒ

3、ｏｆｉｉｅＧｕｊＦｉｉ：ｉｌｉｎｓｈｅｄｔｍｅＡｒ２０１６ｐ，中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除己特别加Ｗ标注和致谢的地方外，论文中不包含任何他人己经发表或一撰写泣的研究成果。与我同工作的同志对本研巧所做的贡献均已在论文中作了明确的说明。作者签名：签字日期：７０１Ｌ．１０中国科学技术大学学位论文授权使用声明一作为申请学位的条件之，学位论文著作权拥有者授权中国科学技术大学，即拥有学位论文的部分使用权：

4、学校有权按有关规定向国家有关部口或机构送交论文的复印件和电子版，可，允许论文被查阅和借阅将学位论文编入《中国学位论文全文数据库》等有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位拴文在解密后也进守此规定。ｄ公开□保密（）．＿年＿作者签名：：导师签名签字日期：Ｘｊｏ签字日期：？摘要随着深度学习技术的不断发展，卷积神经网络凭借其优异的识别性能，在图像识别等领域受到了越来越多的关注，

5、训。由于神经网络模型通常包含大量参数一练个可用的卷积神经网络非常耗时。因此如何加速神经网络模型的训练过程，一是深度学习领域的个重要研究课题。为了解决该问题，通常采用《ＧＰＵ并行的ＧＰＵ方式。多并行加速训练过程的思路主要分为模型并行和数据并行。基于模型，加速性能相对较差于数据并行的算法中并行的算法难Ｗ达到负载均衡，目：基。前的并行结构都存在无法均匀分配更新任务的问题，难Ｗ充分利用计算资源ＧＰＵ，在调研了现有的多针对上述问题并行算法的基础上，本文借鉴了异步一随机梯度下降算法中延时更新的思想，提出

6、种基于环形结构的数据并行方案，一Ｇ即该方案可进步提商《的并行效率。本文的主要工作如下：：１）分析卷积神经网络的隐藏层结构。使用随机梯度下降算法进行模型训练，，并在此基础上，推导出卷积层、下采样层和全连接层中可训练参数的计算公式为后续的并行算法设计Ｗ及代码实现做准备。２）给出了基于环形结构的数据并行方案。比较模型并行和数据并行的特点后一，，为了具备更好的可扩展性，进步研巧数据并行。针对现有数据并行方案中一无法均匀分配更新任务的问题ＰＵ节点。该方，提出种Ｗ环形结构姐织Ｇ的方案案中每个ＧＰＵ都

7、需要训练和更新模型，计算任务被均匀划分。最后从理论上分析了该方案的并行性能。３）在多ＧＰＵ上实现卷积神经网络。根据卷积神经网络模型的训练公式，实现单ＧＰＵ版本的代码，并选巧合适的模型参数初始化方案。在此基础上，通过设Ｊ置恰当的同步方案，，环形结构组织ＧＨ间的数据传输，实现数据并行。此外每个ＧＰＵ将创建两个线程分别负责计巧和传输，，实现任务的并行达到使用计算掩盖传输的效果。４ＭＮ－）对基于环形结构的数据并行方案进行实验与分析ＩＳＴＩＦＡＲ１０。在和Ｃ数据集上，使用基于环形结构的并行方案训练

8、卷积神经网络。当ＧＰＵ个数为４。时，分别取得了３．７７和３．７９倍的加速比此外还与使用同步主从结构、归约树结构来训练神经网络的结果作对比，表明本文巧出的方法具有更好的并行加速效果。关键词：ＧＰＵ深巧学习卷积神姪网络数据并行模型井行ＩＡＢＳＴＲＡＣＴＡＢＳＴＲＡＣＴＷｉｔｈｔｈｅｄｅｖｅ