深度神经网络全面概述

《深度神经网络全面概述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、深度神经网络全面概述从基本概念到实际模型和硬件基础深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEEFellowJoelEmer领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(EfficientProcessingofDeepNeuralNetworks:ATutorialandSurvey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。

2、目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deepneuralnetworks，DNN)。DNN在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN的关键。论文地址：https://arxiv.org/pdf/1703.09039.pdf本文旨在提供一个关于实现DNN的有效处理(efficientprocessin

3、g)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN综述——讨论了支持DNN的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN计算成本。本文也会对帮助研究者和从业者快速上手DNN设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN硬件设计，还包括学界和产业界共同推荐的算法联合设计。读者将从本文中了解到以下概念：理解DNN的关键设计考量;通过基准和对比指标评估不同的DNN硬件实现;理解不同

4、架构和平台之间的权衡;评估不同DNN有效处理技术的设计有效性;理解最新的实现趋势和机遇。一、导语深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN在语音识别[2]和图像识别[3]上的突破性应用，使用DNN的应用量有了爆炸性的增长。这些DNN被部署到了从自动驾驶汽车[4]、癌症检测[5]到复杂游戏[6]等各种应用中。在这许多领域中，DNN能够超越人类的准确率。而DNN的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设

5、计规则的方法不同。然而DNN获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN处理的砥柱，但提供对DNN计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN行为的各种工具、有效加速计算的各项技术的概述。该论文的结构如下：·SectionII给出了DNN为什么很重要的背景、历史和应用。·SectionIII给出了DNN基础组件的概述，还有目前流行使用的DNN模型。·SectionIV描述了DNN研发所能用到的各种资源。·SectionV描述了处理DNN用到

6、的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生bit-wiseidentical结果)。·SectionVI讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-dataprocessing)，从而解决DNN中数据流通时面临的吞吐量和能量消耗难题。·SectionVII描述了各种用来改进DNN吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。·SectionVIII描述了对比DNN设计时应该考虑的关键标准。二、深度神经网络(DNN)的背景

7、在这一部分，我们将描述深度神经网络(DNN)在人工智能这个大框架下的位置，以及一些促进其发展的的概念。我们还将对其主要的发展历程和现阶段主要的应用领域做一个简单的介绍。1.人工智能和深度神经网络根据JohnMcCarthy的论述，深度神经网络(也称为深度学习)是人工智能(AI)大框架下的一部分。而人工智能(AI)是利用科学与工程学创造具有如同人类那样能实现目标的智能机器。人工智能这个词就是这位计算机科学家在上个世纪50年代所创造出的。深度学习和整个人工智能的关系就如下图所示。图1：深度学习在人工智能大框架下的位置2

8、.神经网络和深度神经网络(DNN)神经网络从神经元涉及对输入值求加权和进行计算这一概念而获得灵感。这些加权和对应于突触完成值的缩放以及其和神经元值间的组合。此外，因为计算与神经元级联相关联，并且其为简单线性代数的运算，所以神经元不会仅仅输出加权和。相反，在神经元中有函数执行组合输入的运算，而这种函数应该是非线性运算。在非线性运算的过程中，神经元只有在输入超过