受限波尔兹曼机

《受限波尔兹曼机》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第32卷第2期工程数学学报Vo1．32N。．22015年04月CHINESEJOURNALOFENGINEERINGMATHEMATICSApr．2015doi：10．3969／j．issn．1005—3085．2015．02．001文章编号：1005—3085(2015)02—0159．15受限波尔兹曼机木张春霞1，姬楠楠0，王冠伟0(1．西安交通大学数学与统计学院，西安710049；2一长安大学理学院，西安710064；3一西安工业大学机电工程学院，西安7100211摘要：受限波尔兹曼机(restrictedBoltzmannmachines，RBM)是一类具有两层结构、对称

2、连接且无自反馈的随机神经网络模型，层间全连接，层内无连接．近年来，随着RBM的快速学习算法一对比散度的出现，机器学习界掀起了研究RBM理论及应用的热潮．实践表明，RBM是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力，堆叠多个RBM组成的深度信念网络能提取更抽象的特征．鉴于RBM的优点及其在深度学习中的广泛应用，本文对RBM的基本模型、学习算法、参数设置、评估方法、变形算法等进行了详细介绍，最后探讨了RBM在未来值得研究的方向．关键词：机器学习；深度学习；受限波尔兹曼机；对比散度；Gibbs采样分类号：AMS(2000)92B20；68T05中图分类号：TP18

3、1；O235文献标识码：A1引言机器学习研究的主要任务是设计和开发计算机根据实际数据进行“智能学习”的算法，使其自动发现隐藏在数据中的模式和规律．目前，各种机器学习算法在人工智能、工程应用、医学等诸多领域都扮演着非常重要的角色．人工神经网络(artificialneuralnetwork，ANN)J1,2】作为一种通过模仿生物神经网络的结构和功能而建立起来的计算模型，因其自学习、白组织、较好的容错性和优良的非线性逼近能力等优点，而受到众多领域学者的广泛关注．在诸多人工神经网络模型中，波尔兹曼机(Boltzmannmachine，BM)【3]是Hinton和Sejnowski于19

4、86年提出的一种根植于统计力学的随机神经网络．这种网络中的神经元是随机神经元，其输出只有两种状态(未激活、激活)，一般用二进制的0和1表示，状态的取值根据概率法则决定．从功能上讲，BM是由随机神经元全连接组成的反馈神经网络，且对称连接，无自反馈，包含一个可见层和一个隐层的BM模型，如图l(a)所示．BM具有强大的无监督学习能力，能学习数据中复杂的规则．但是，拥有这种学习能力的代价是其训练(学习)过程耗时．此外，BM所表示的分布不仅无法确切计算，得到该分布的随机样本也很困难．于是，Smolensky[4】引入了一种限制的波尔兹曼机frestricted收稿日期：2013—08-22

5、．作者简介：张春霞(1980年6月生)，女，博士，副教授．研究方向：模式识别与集成学习’基金项目：国家重点基础研究发展计划973项目(2013CB329406)；国家自然科学基金重大研究计划(91230101)国家自然科学基金(11201367)；中央高校基本科研业务费专项基金(xjj2011048)．第2期张春霞，等：受限波尔兹曼机161当前，以RBM为基本构成模块的DBN模型被认为是最有效的深度学习算法之一．鉴于RBM在深度学习领域中占据的核心位置及其本身的良好性质，为了给RBM的初学者提供入门指导，同时为设计与之相关的新算法提供参考，本文将对RBM进行较为系统的介绍，详细阐

6、述其基本模型、具有代表性的快速学习算法、参数设置、评估方法及其变形算法，最后对RBM在未来值得研究的方向进行探讨．本文后续内容安排如下：第2节介绍受限波尔兹曼机RBM的基本模型，第3节详细阐述当前训练RBM的快速学习算法，第4节讨论RBM的参数设置，第5节给出评价RBM优劣的方法，第6节简单介绍几种具有代表性的RBM变形算法，第7节是总结与展望，主要探讨RBM在未来值得研究的方向．2受限波尔兹曼机RBM的基本模型RBM也可以被视为一个无向图(undirectedgraph)模型，如图2所示．v为可见层，表示观测数据，h为隐层，可视为一些特征提取器(featuredetectors

7、)，W为两层之间的连接权重．Welling[19】指出，RBM中的隐单元和可见单元可以为任意的指数族单元(即给定隐单元(可见单元)，可见单元(隐单元)的分布可以为任意的指数族分布)，如softmax单元、高斯单元、泊松单元等等．这里，为了讨论方便起见，我们假设所有的可见单元和隐单元均为二值变量，即对任意的i，J，Vt∈{0，1)，∈{0，1’．隐层hW可见层v图2：RBM的图模型表示，层内单元之间无连接如果一个RBM有竹个可见单元和m个隐单元，用向量v和h分别表示可见单元和隐单元