资源描述：
《模式识别与机器学习报告》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、课程模式识别与机器学习题目卷积的深度信念网络学院自动化学院专业控制科学与工程学号2111404114姓名谢晶梅指导教师何昭水（2015年06月）基于分层表示的无监督学习的卷积深度信念网络引言：机器学习研究的主要任务是设计和开发计算机可以智能地根据实际数据进行“学习”的算法，从而使这些算法可以口动地发现隐藏在数据中的模式和规律。当前的深度模型，如卷积的深度信念网络(ConvolutionalDeepBeliefNetwork,RDBN)深度信念网络(deepbeliefnet,DBN)、深度玻尔兹曼机(
2、deepBoltzmannmachine,DBM)等均采用的是由受限玻尔兹曼机(restrictedBoltzmannmachine,RBM)堆叠而成。在RBM中，可见层各单元之间与隐藏层各单元Z间无连接的拓朴结构使得其模型相对简单，参数学习相对容易，因此使用RBM作为构建深度模型的基础结构单元成为研究人员的最佳选择.本论文中我们采用的是基于分层表示的无监督学习的卷积深度信念网络，他是-•种概率的降维技术手段，网络的第一、二和三层能够学习到边缘检测、对象局部和对象。关键词：受限玻尔兹曼机；深度模型；隐
3、藏单元；学习方法；卷积的深度信念网络受限玻尔兹曼机RBM具冇二分图结构，且两层结点分别为可视单元(visibleunits)和隐藏单元(hiddenunits)o每个可视单元描述了观察数据的一个方面或是一个特征，如对于黑白图片而言，一个可视单元可能描述的就是图片某处是否为白色。而隐藏单元的意义一般來说并不明确，也无法人为指定，往往是通过机器学习用算法按照某种最优的方式口动决定的。因此，RBM也具备特征抽取1的功能——隐藏单元作为抽取得到的特征。虽然多数时候这些特征对人而言都是无法理解的，但从统计意义上
4、讲一定是有道理的。在最基本的RBM中，这两种单元均为二元取值——即，每个单元可能的状态仅有两个，一般表示为0和1,0表示未激活，1表示激活。所谓的激活，即是说该单元所代表的意义是成立的。不同于传统的第二代神经网络，RBM中存在随机因素，所有单元的取值构成了RBM的一个状态，并且这些状态服从一定的分布oSmolensky捉出了受限玻尔兹曼机(restrictedBoltzmannmachine,RBM)模型，其结构如图2所示。与一般BM相比，RBM具有更优的性质：在给定可见层单元输入时，各隐藏层单元的激
5、活条件独立；反之亦然。这样尽管RBM所表示的分布仍无法冇效计算，但却可以通过Gibbs采样获得服从RBM分布的随机样本。图2RBM模型结构示意图RBM也可以被看作为一个无向图(undirectedgraph)模型，其屮v为可见层，用于表示输入数据，h为隐藏层，可以看作为特征提取器，W为两层间对称的连接权重。若一个RBM屮可见层单元数为n,隐藏层单元数为m,用向量V与h分别表示可见层与隐藏层的状态，当状态(v,h)给定时，与BM类似，则RBM中的能量定义为：hiddenunitsvisibleunits
6、nmnmE(v,hIe)二--£bjhj-££vjWjjhji=1j=1i=1j=1其屮wij为可见单元i与隐藏单元jZ间的连接权重，ai为可见单元i的偏置,bj为隐藏单元j的偏置。0={wij,ai,bj}指代RBM中所有参数集。当。确定吋，则可根据式⑺的能量函数获得(v,h)的联合概率为：p(v,hie)=-E(v,hl9)^,z(e)=g-E(v,hie)其屮z(0)为保证P(v,h
7、0)成为概率分布的归一化项，也称为划分函数。若可见单元服从某种概率分布，根据RBM的给定可见单元时各隐藏单元激活
8、状态独立的条件，可获得隐藏单元为1的条件概率为：mP(hlv,0)=JJp(h1lv,9)j=1同理，若令隐藏单元服从某种概率分布，可见单元向量v为1的条件概率分布为：p(vih,e)=jjp(vjih,e)1—1因此可以获得在给定可见单元向量V时隐藏单元j的条件概率及给定隐藏单元向量h时可见单元i为1的条件概率分布为：p(hj=iiv,e)M(bj+£«叫)is1m口x)=7——r：-其中丄+ef为sigmoid激活函数。深度信念网络（DBNs）的模型和方法DBNs是一个概率生成模型，一个多随机变量
9、的有向图，可以看作是多个RBM的叠加，在DBNs屮，靠近可视层的那一层网络使用的是贝叶斯信念网,而远离可视层的部分是RBMo下图是一个典型的DBNs网络模型：层含层见可RBMRBMRBM知入由于RBM层间独立，因此，系统的联合概率分布可以表示为：尸（力2广1"）=”（巧+工匕叱J鉴丁•传统神经网络训练模型存在诸多缺点，深度淫习使用全新的训练方法，即在非监督数据上建立多层神经网络，训练时分两步走，第一步是分层次训练网络，每次训练一个层次；第二步是参数调优，
