基于deeplearning多隐含层感知架构超级计算机

《基于deeplearning多隐含层感知架构超级计算机》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于DeepLearning多隐含层感知架构超级计算机摘要：在大数据高效处理和学习方面，超级计算机和DeepLearningEl］（深度学习）已经成为了引人注目的话题。结合Deeplearning和超级计算机基础知识，提出了基于DeepLearning多隐含层感知架构的超级计算机新模型，并针对该架构超级计算机的计算速率和容错性能两方面，分析了该架构超级计算机的高性能性。关键词：大数据；超级计算机；深度学习；多隐含层感知；高性能中图分类号：TP393.0超级计算机是计算机系统中计算能力最强的一种，也是推动计算科学进步的中坚力量，高性能是超级计算机的重要指标。超级计算机在需要密集计算、

2、海量数据处理、工程模拟等领域发挥着举足轻重的作用，它已经成为国力的一种象征。深度学习是机器学习［2］研究的新领域，源于人工神经网络［3］研究。1DeepLearning（深度学习）1.1DeepLearning多隐含层感知架构DeepLearning结构最优秀的特征是多隐含层的多层感知器［4］架构。该架构使得它具有优异的特征学习能力。并且它的"逐层初始化"(layer-wisepre-training)有效地克服了深度神经网络在训练上的难度。DeepLearning的多隐含层结构由包括输入层、隐层(多层)、输出层组成的多层网络。它的每一层可以认为是一个浅度学习模型(如Support

3、VectorMachines)；这种分层结构比较接近人类大脑的结构。人大脑皮层计算也是分多层进行，例如人的视觉系统，对图像数据的处理是从VI区传到V2区然后依次在各个区进行处理。使用含多隐含层感知器架构网络主要优势在于能以简洁的方式来表达比浅层网络大得多的函数集合。通过这种深层非线性网络结构，DeepLearning可以实现复杂函数的逼近，并表现出极强的从少量数据学习本质特征的能力。1.2DeepLearning训练过程(1)首先逐层构建单层神经元，使得每次都是训练一个单层网络。(2)当所有层训练完后，使用wake-sleep算法［5］进行调优。将除最顶层的其它层间的权重变为双向的

4、。其中向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让“认知”和“生成”达成一致。Wake-Sleep算法分为醒(Wake)和睡(Sleep)两个部分。Wake阶段：“认知”过程，通过外界输入物体的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态）,并用梯度下降修算法调整层间的向下的权重（生成权重）。Sleep阶段："生成”过程，通过顶层表示（醒时学得的状态）和向下权重（生成权重），生成底层的状态，如果没有复原底层状态，则调整层间向上的权重（认知权重），再重新使用Wake-Sleep算法调优，直到顶层表示能够复原底层状态。

5、2基于DeepLearning多隐含层感知架构超级计算机2.1超级计算机系统四层应用视图按照面向应用的层次化可用性建模［6］方法，可以描述一般超级计算机系统的四层应用视图。节点层：该层的基本单元是个体计算节点，而个体计算节点是系统向用户提供的基本计算资源。系统层：该层是为了帮助系统管理人员从整机角度观察系统的强度可用性水平，以便于调整节点调度、作业调度、失效处理等重要决策。作业分区层：该层由一个个作业区组成。每个作业分区对应一个作业队列，其上可有若干用户作业并行执行。系统的所有节点资源是按照分区规则进行调度使用的。作业层：该层是作业用户从单个作业的角度所见的强度可用性层次。2.2基

6、于DeepLearning多隐含层的超级计算机计算节点模型超级计算机系统能提供多大的计算能力，对系统的高性能优势的发挥有着直接影响。计算节点是系统提供的基本计算资源。从而提高每个计算节点的计算性能对系统的高性能优势的发挥有很大的影响。故提出基于DeepLearning多隐含层感知架构的超级计算机计算节点模型。基于DeepLearning多隐含层感知架构的计算节点具有多层，每层由多个子计算节点组成，层间子计算节点通过计算网络传递数据。每个子计算节点是一个独立的计算单元，它主要由计算部件、互连部件和存储部件组成。工作原理：当作业从系统层调度到计算节点后，计算节点的多个层依次对输入数据处

7、理。每层的子计算节点利用处理函数（处理向量），对输入数据进行简单操作生成处理结果和处理函数（处理向量）对应的反函数（反向处理向量）,然后反函数（反向处理向量）和处理结果通过运算生成反向处理结果，再让反向处理结果与输入数据比较：如果反向处理结果与输入数据不相同，则认为该子计算节点计算操作错误，将错误信息报告到系统，再由系统调用其他计算节点对该输入数据重新处理；如果反向处理结果与输入数据相同则认为处理操作正确，则将正确处理结果作为下层子计算节点的输入数据，依次迭代操作，直