Hadoop 2.0 上深度学习的解决方案

《Hadoop 2.0 上深度学习的解决方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop2.0上深度学习的解决方案伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。本文探讨了如何在一个Hadoop集群中实现和部署深度学习。波士顿的数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据中识别和利用模式。从互联网大规模数据中获取透析是一项具有挑战性的任务，因此，能大规模运行算法是一个至关重要的需求。伴随着数据的爆炸性增长和成千上万的机器集群，我们需要

2、使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。这里，我们探讨一下如何在一个Hadoop集群中实现和部署深度学习（一个尖端机器学习框架）。对于算法是如何适应运行在一个分布式环境中，我们提供了具体的细节。我们也给出了算法在标准数据集上的运行结果。深度信任网络深度信任网络（Deep Belief Networks, DBN）是在贪婪和无监督的条件下通过迭代和训练受限的玻耳兹曼机（Boltzmann Machines, RMB）而得到的图形模型。通过对如下可被观察的维度x和隐藏层hk之间相互连接的分布式进行建

3、模，DBN被训练来提取训练数据的深层透析。表达式1：DBN分布式在下图中，输入层和隐藏层的关系是可以被观察到的。从高层次来看，第一层被作为RBM来训练，为原始输入x进行建模。输入的数据是个稀疏二进制维度，表明数据将会被分类，比如，一个二进制的数字图像。后续层把前面的层传递过来的数据（样本或activations）当作训练示例使用。层数可以通过经验来决定，以此来获得更好的模型性能，DBN支持任意多的层数。图1：DBN层次下面的代码片段表明了进入RBM的训练。在提供给RBM的输入数据中，有多个预定义的时间点。输入数据被分成小批量数据，为各个层计算weig

4、hts、activations和deltas。在所有的层都被训练以后，深度网络的参数调整使用受监督的训练标准。受监督的训练标准，比如，可以作为一个分类问题来设计，允许使用深度网络来解决分类问题。更复杂的受监督的标准可以用来提供如情景解读之类的有趣的结果，比如解释图片里展示的东西是什么。基础构造深度学习受到了广泛的关注，不仅仅是因为它可以得出比其他一些学习算法更优异的结果，也因为它可以在分布式设备上运行，允许处理大规模的数据集。深度网络可以在两个级别进行并行、层级别和数据级别[6]。对于层级别的并行，许多实现使用GPU数组来并行计算层级别activat

5、ions和频繁同步它们。然而，这种方法不适合那种数据驻留在通过网络连接的多个机器的集群，因为有着较高的网络开销。对于数据层的并行，训练是在数据集上进行并行的，更适合分布式设备。Paypal的大部分数据存储在Hadoop集群上，因此能够运行那些集群上的算法是我们的首要任务。专用集群的维护和支持也是一个我们需要考虑的重要因素。然而，由于深度学习本质上是迭代的，像MapReduce这样的范式不适合运行这些算法。但是随着Hadoop2.0和基于YARN的资源管理的问世，我们可以编写迭代程序，同时可以精细地控制程序使用的资源。我们使用了IterativeRed

6、uce [7] , Hadoop YARN里面的一个用户编写迭代算法的程序，我们可以将它部署在一个运行Hadoop 2.4.1的Paypal集群中。方法我们实现了Hinton的核心算法，在[2]中引用的。由于我们的需求是分散运行在多个机器的集群中的算法，我们在这样的环境下使用了他们的算法。对于在多个机器上分散这个算法，我们参照了Grazia所提出的指南[6]。下面是对我们的实现做的详细总结：1.Master节点初始化RBM的weights。2.Master节点向Worker节点推送weights和splits。1.Worker节点在一个数据集时间点训

7、练一个RBM层，换句话说，在一个Worker节点完全通过所有的split后，向Master发送更新后的weights。2.在一个给定的时间点里，Master节点对来自所有Worker节点的weights求平均值。3.在预定义的时间集（我们的例子中是50）中，重复3-5步操作。4.第6步完成以后，有一个层就被训练了。后续的RBM层也重复这些步骤。5.当所有的层都被训练以后，深度网络就会通过使用错误反向广播机制准确地调整好。下图描述了在运行深度学习算法时的一个单个数据集时间点（步骤3-5）。我们注意到，这个范式可以被利用来实现一个主机可迭代的机器学习算法

8、。图2：用于训练的单个数据集时间点下面的代码片段表明了在训练单个机器的DBN中所涉及的步骤。数据集首先被拆分