NVIDIA深度学习实验室解决方案

《NVIDIA深度学习实验室解决方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、NVIDIA深度学习实验室解决方案1深度学习实验室建设的意义和背景人工智能人才市场需求量大有预测在2018年百分之八十的企业将部署人工智能产业链，国家和企业都需要大量的人才补充，而我们的高校和职校还没有建立完整的教育课程和实践环境。GPU资源相对集中，个人无法承受由于GPU相对昂贵，普通学生无法承担，往往是学校的超算中心和部分教授有购买力，但是深度学习框架大量开源，学生有能力自学理论知识但无实践环境来检验自学效果。虽然有部分师生用消费级卡来实验，但是这与企业的使用环境相去甚远。校级GPU平

2、台资源浪费、管理困难大多数学校发现校级GPU计算资源被初学者占用，往往导致真正科研计算任务匮乏计算资源，基于Docker环境的计算管理环境常常发生计算资源抢占现象，让管理者应接不暇各种投诉。管理者非常需要了解GPU的使用情况。人工智能教师队伍缺乏，教程不系统虽然人工智能教材不断涌现，但是学校的这方面的师资队伍还处于建设初期，教师没有经过系统的学习和实践过程。2NVIDIA深度学习解决方案NVIDIA深度学习解决方案是NVIDIA公司推出的基于NVIDIAGPU虚拟化以及NVIDIADocker

3、技术，再配合NVIDIA深度学习学院培训体系的一体化人工智能实验室解决方案。该方案采用以用户为中心的计算模式、按需向用户提供GPU资源、框架资源、深度学习环境。保障用户对GPU资源的独享，保证用户获取足够的自由度和较高的用户体验，同时满足集中管理和数据安全的需求，灵活和快速部署实验环境。NVIDIAGPU虚拟化解决方案最新的VirtualGPU5.0版本为GPU虚拟化带来了新的环境实现，支持在GPU虚拟环境下的深度学习框架的搭建和计算，是教育单位的人工智能实验室得以实现的重要技术平台。2.1深度

4、学习实验室方案架构从架构图来看整个方案由以下几个核心组件构成：NVIDIATeslaGPU（P40）服务器虚拟化平台NVIDIAVirtualGPU软件（QuadrovDWS版本）NVIDIADocker深度学习框架（Framework）通过整个架构图我们可以看到，单台服务器配合单片TeslaP40GPU卡最大可以支持24个vGPU的实例，每vGPU配置1GB显存（P40-1Q）。所以单台服务器最大可用支撑24个用于教学的深度学习环境。NVIDIAVirtualGPU软件（Quadro

5、vDWS版本）我们在服务器虚拟化平台，通过NVIDIAVirtualGPU软件对GPU计算资源进行切割，按需求进行分配，依托NVIDIADocker技术快速部署各种深度学习实践环境，包括Ubuntu操作系统和框架，用户通过笔记本、PC进行连接，进行AI实验、模型实践和推演产品的互动教学和体验。目前Tesla所有的P系列在VirtualGPU5.0上支持虚拟化，并且vGPU同时支持图形计算以及人工智能应用。NVIDIADockerDocker是用户在部署人工智能训练平台的时候最常用的解决方案,其快

6、速的应用程序部署功能非常适合于深度学习框架的部署。常见的基于Docker部署的应用主要以CPU应用为主，而所有的深度学习框架更适合使用GPU进行训练，可以提供更高的训练效率和准确度。如果在不使用NVIDIADocker的情况下，Docker无法直接调用GPU且对容器和底层操作系统的GPU驱动有版本一致的要求。也就是说无法实现底层硬件无关性的要求，这是和Docker本身倡导的可移植性相违背的，也给用户在使用过程中带来了不便。通过NVIDIADocker（基于Docker的Plug-in）技术，可以

7、实现在容器中便利的使用NVIDIAGPU。NVIDIADocker主要有以下优势：实现底层GPU设备的硬件无关性可以在容器中运行多个版本的NVIDIA驱动和CUDA版本NVIDIATeslaGPUNVIDIATesla并行计算架构从G80架构，经历了Fermi、Kepler、Maxwell、Pascal，每一代架构更新都带来产品工艺、计算能力、存储带宽等方面的巨大提升，与CPU相比GPU发展更快，具有更强大的计算能力。NVIDIATeslaGPU专为数据中心设计，许多CUDA软件特性都是专为

8、GPGPU而设计的。目前所有的TeslaP系列GPU都可以支持虚拟化，通过虚拟化解决方案可以实现GPU资源的按需切割和细颗粒度管理，提升GPU卡的资源利用率。NVIDIATeslaP40在众多的TeslaGPU中我们为什么采用P40做为搭建深度学习实验室解决方案的首选GPU呢？NVIDIATeslaP40的主要目的是为深度学习部署提供更大的吞吐量。每个GPU可带来47TOPS（万亿次运算/秒）的推理性能和INT8运算能力，使得一台配备8个TeslaP40的服务器可提供相当于超过140台CPU服务