面向深度学习平台的内存管理器的设计与实现.pdf

《面向深度学习平台的内存管理器的设计与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文面向深度学习平台的内存管理器的设计与实现DESIGNANDIMPLEMENTATIONOFMEMORYALLOCATORFORDEEPLEARNINGPLATFORM王显宏哈尔滨工业大学2018年6月I国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文面向深度学习平台的内存管理器的设计与实现硕士研究生：王显宏导师：余翔湛教授副导师：廖刚高级工程师申请学位：工程硕士学科：软件工程所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学IIClassifiedIndex:TP311U.D.C

2、:631.3DissertationfortheDoctoralDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFMEMORYALLOCATORFORDEEPLEARNINGPLATFORMCandidate：XianhongWangSupervisor：Prof.XiangzhanYuAssociateSupervisor：GangLiaoAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofComp

3、uterandScienceDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnologyIII摘要深度学习在图像识别、语音识别、机器翻译等领域取得了巨大的成功，产生了巨大的社会和经济效益。在内存管理方面，深度学习应用仍然使用传统的内存管理方法，而传统领域的内存管理只包括CPU主机内存的管理，没有包括GPU设备内存的管理，造成管理分散，使用成本增加。传统领域的内存管理为了兼顾各种应用，在深度学习应用中性能差，并且由于技术保密的原因，没有办法实现自主可控。迫切需要一种能够高效管

4、理异构内存的分配器。本论文针对深度学习应用，设计和开发了一个管理异构内存的内存分配器，取名为MADL（memoryallocatorforDeepLearning）。包括了对CPU主机内存的管理和对GPU设备内存的管理，提供了统一的接口，屏蔽了不同内存的差异，使用户不需要掌握太多底层细节的情况下就能够使用。同时，MADL结合实际的深度学习应用使用大内存对象的特征，优化了对大内存对象的管理，并采用内存池技术在用户态实现对内存的管理，大大提高了内存分配的效率。经过权衡采用首次适应法来管理内存，面对首次适应法寻找合适的空闲内存需要线性查找，通过建立简单索引大幅度的减少了空闲内存

5、块的查找的时间，提升了分配性能。MADL可以运行在Windows，类Unix，Android等操作系统上，可移植性非常好。并且设计和实现了全新的异构内存管理的架构，该架构具有良好的稳定性和可维护性。测试发现相比于传统的内存管理器，在分配时间上，MADL在CPU主机内存的分配和回收速度上提升了15~20%，而在GPU设备内存的分配和回收上则提升了17~30%；在内存使用率上，MADL在CPU主机内存使用率提升了2~5%，在GPU设备内存的使用率上则提升了10~20%。总体而言，MADL的性能优于传统分配器，达到了设计目标。关键词：内存管理；设备内存；首次适应法；GPU；内存

6、池IVAbstract（TimesNewRoman小5号字）AbstractDeeplearninghasachievedgreatsuccessinthefieldsofimagerecognition,speechrecognition,MachineTranslationandsoon,bringinghugesocialandeconomicbenefits.Intheaspectofmemorymanagement,deeplearningapplicationsarestillusingtraditionalmemorymanagement,whichincl

7、udesonlythemanagementofCPUhostmemorywithoutthesupportofGPUdevicememorymanagement,resultinginmanagementdispersionandincreaseofusagecost.Thetraditionalmemoryallocator,inordertogiveconsiderationtovariousapplications,haspoorperformanceindeeplearningapplication.andtherei