深度学习信息检索数据挖掘自然语言处理知识表示金融模型人工智能技术

《深度学习信息检索数据挖掘自然语言处理知识表示金融模型人工智能技术》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、NVIDIAGPU在中国人工智能领域的应用案例2阿里云HPC加速人工智能的发展阿里云HPC介绍•中国首个推出公共云上的HPC产品•中国首个推出云上Maxwell架构的TeslaGPU，单节点单精度计算能力超过16Tflops•阿里云HPC团队•集团内客户GPU集群建设、客服服务和应用优化•公共云上HPC运营、客户服务和应用优化•异构云平台预研•致力于满足深度学习用户的高性能计算需求•初创型新兴用户：随着人工智能市场的蓬勃发展，创业企业如雨后春笋般涌现出来，他们对高性能计算的需求非常强烈•互联网企业也加入深度学习的浪潮，对高性能计算的需求与日俱增•传统GPU用户+

2、深度学习：渲染（虚拟现实）、游戏、图形图像处理、视频处理•传统HPC用户+深度学习：气象、医疗图像处理、计算金融、碰撞模拟、流体力学、基因测序等阿里深度学习业务场景•商品分类•商品风格预测•商品质量控制•拍照购•反黄•人脸识别•图像搜索•OCR•ICDARRobustReadingtop1•语音识别•阿里小Ai阿里深度学习集群•业务•大规模深度学习训练•在线、离线预测•建设统一化资源管理、调度、监控•规模:上千片K40/M40GPU，Infiniband网络•资源调度系统•弹性:docker容器服务•多租户隔离•部署自动化训练、预测服务•部署针对特定GPU架构的

3、深度学习优化实现深度学习性能优化•系统层面•多机多卡训练优化•预测的吞吐量优化•通信优化（MPIoverlap、DirectRDMA）•针对GPU优化•CUDAKernel优化•Multi-stream优化•PTX、Native指令优化•显存节约•数据传输优化•工具增强优化GPU极致性能优化工具-AsKepler•世界唯一公开Kepler原生汇编器•目前支持SM35，SM37•自由使用原生指令•自由寄存器映射•自由控制指令调度•了解微架构，进而指导人工优化或编译器后端优化KeplerGPU上2D卷积性能优化•目前KeplerGPU上世界最快•Native指令直接

4、实现Img2col+sgemm，减少数据中转•尽量使用sharedmemory，减少全局内存访问•循环展开：增加sharedmemory的使用，指令并行•寄存器数量和sharedmemory的权衡，提高occupancy•充分利用dualissue•边界处理，避免warp内分支•性能：•ourConv_sassvs.cuDNNv2:2.1倍•ourConv_sassvs.cuDNNv3_FFT:1.75倍语音识别优化案例•语音识别应用•客服电话语音识别•YunOS语音识别•云栖大会语音识别•难点•只有CPU代码，需要向GPU移植•需要GPU上多路语音并行•CPU

5、、GPU数据传输频繁•GPU计算效率低•优化方法•移植到GPU：创建CUDA相关矩阵类，封装CUDA相关矩阵操作语音识别路数对比6•并行优化：不同路语音绑定到不同的CUDAstream5上5•数据传输优化：减少CPU、GPU数据传输次数•微架构优化：提高矩阵乘法、矩阵向量乘法效率4•LSTM凑batch优化：把不同请求的语言凑在一起过3网络路数比•优化结果2•双M40卡比32核CPU5倍路数比1•云栖大会语音识别1•小Ai机器人0CPUGPU阿里云HPC深度学习基础设施•CPU+GPU+ECS计算服务+阿里云众多产品服务•OSS，分布式存储•NAS，并行文件系统

6、•ODPS，实现高性能计算和大数据计算结合•ECS，在线预测服务器•CDN，图像、视频在线、离线预测•SLB，高吞吐在线预测深度学习基础设施CPU+GPU+ECS计算服务OSS/NASRDSSLBODPSCDN存储数据库负载均衡……大数据内容分发阿里云HPC深度学习资源编排•一键资源编排•打通深度学习上下游，形成数据闭环链路离线训练在线预测特征离线训练的模型提取训练标注原始训练的数据模型分类分类分类离线预测分类数据分类数据阿里云HPC深度学习工具开箱即用•通过主机自带或者Docker镜像提供•Caffe•cuDnnv4•Tensorflow•Mxnet•Torc

7、h•Theano•易用性高•按量计费•资源编排•一键部署•弹性伸缩阿里云HPC加速深度学习TeslaM40DNN–allfullyconnectedlayersCNN–someconvolutionallayersRNN–recurrentneuralnetwork,LSTM金融服务中的深度学习与人工智能--从问题识别到对话机器人Case演示智能客服产品：我的客服我的客服首页（猜你问题）左滑或点击头像进入对话机器人问猜答你问题版权归属于蚂蚁金服猜你问题：深度神经网络的读心术深度神经网络用户行为轨迹分类模型问题推荐列表客户服务轨迹人造特征数据闭环用户点击数据机器人

8、问答：数据的逻辑人工客服