tensorflow阅读报告

《tensorflow阅读报告》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、TensorFtow论文阅读报告1.基本信息题目：TensorFlow:Large-ScaleMachineLearningonHeterogeneousDistributedSystems来源：GoogleResearch时间:2015.9作者：MarfinAbadi，AshishAgarwal,PaulBarham2.摘要TensorFlow是一个表达机器学习算法的接口，并且是执行算法的实现桐架。使用TensorFlow表示的计算可以在众多异构的系统上方便地移植，从移动设备如手机或者平板电脑到成千的GPU计算集群上都可以执行。该系统灵活，可以被用来表示很多的算法，包括深度

2、神经网络的训练和推断算法。也己经被用于科研和应用机器学习系统在内的若干计算机科学领域或者其他领域屮，例如语言识别、计算机视觉、机器人、信息检索、自然语言理解、地理信息抽取和计算药物发现。3•引言基于第一代可扩展分布式训练和推断系统DistBelief的经验，构建了TensorFlow第二代大规模机器学习模型的实现和部署的系统。TensorFlow使用类似数据流模型的计算，将这些计算映射到不同的硬件平台，例如使用包禽一个或者多个GPU显卡的装有Android和iOS的单个机器，或运行在数百台包含数千个GPU的大规模训练系统。拥有一个单一的系统可以扩展分布到众多的平台上可以大大简

3、化真实场景中机器学习系统的使用，正如用分离的系统进行大规模训练和小规模的部署，会产生巨大的维护代价和较差的抽象效果。TensorFlow的计算被表示为含状态的数据流图，在让这个系统足够灵活能够快速地实验研究中产牛.的新模型，并同时充分地提升产品级训练的性能和部署机器学习模型健壮性。为扩展神经网络训练搞更大的部署环境，TensorFlow允许通过复制和并行执行一个核心模型数据流图，使client简单地表达不同类型的并行，依赖不同计算设备合作更新一个共享的参数或者其他的状态。对计算描述的微妙变动可以使用较低的代价来达到和尝试很多不同的并行的法。对比DistBelief,Tenso

4、rFlow的编程模型更加灵活，性能也更好，支持在大规模的异构硬件平台上训练和使用很多的模型。4.主要技术1、编程模型和基本概念TensorFlow的计算由一个有向图描述，这个图中由一个节点集合组成。该图表达了数据流计算，作出了一些类型的节点保持和更新持久状态和让分支及循环控制结构类似丁Naiad的行力方式的扩展。客户一般都会使用TensorFlow支持的前端语言（C++或者Python）构建一个计算图。下图表示一段样例使用Python构建并执行丫一个TensorFlow的计算图：importtensorflowastfb=tf.Variable(tf.zeros([100])

5、)#100-dvector,inittozeroesW=tf.Variable(tf.randomuniform([784/100]>-l/l))#784x100matrixw/rndvals#Placeholderforinput#Relu(Wx+b)#Costcomputedasafunction#ofRelu#Create100-dvectorforinput#Fetchcost,feedingx=inputx=tf.placeholder(name=wxn)relu=tf.nn.relu(tf.matmul(W#x)+b)C=[…]s=tf.Session()fors

6、tepinxrange(0r10):input=...construct100-Dinputarray•result=s.run(Crfeed一dict={x:input})printstep,result下图表示结构计算图:±r〔ReLU〕tLAddJ在一幅TensorFlow闻中，每个节点(node)有一个或者多个输入和零个或者多个输出，表示一种操作(operation)的实例化。流过图中正常的边(输出到输入)的值都是张量(tensor),任意维度的数组其中基础元素类型是指定的或者在图的构造过程中自动推断出来的。特别的边，我们称之为控制依赖(controldependen

7、cies),同样也存在在图中：这类边上没有数据流过，但是他们表示源节点必须在目标节点的控制依赖开始执行前完成运行。由于我们的模型包括可变状态，控制依赖可以被直接用来确保happcns-bcforc关系。我们的实现同样会插入控制依赖来确保独立操作之间的顺序，比如说作为控制内存使用最高峰值的方式。1)操作和核(kernel)一个操作有一个名字。它表示一个抽象的计算(比如说，“矩阵相乘”或者“相加”)。一个操作可以有属性(attribute),所有的属性必须提供或者在图构造的过程中推断出以实例化一个节点来执行