深度学习--深度信念网络(deep belief network)

深度学习--深度信念网络(deep belief network)

ID:21702714

大小:496.50 KB

页数:9页

时间:2018-10-24

深度学习--深度信念网络(deep belief network)_第1页
深度学习--深度信念网络(deep belief network)_第2页
深度学习--深度信念网络(deep belief network)_第3页
深度学习--深度信念网络(deep belief network)_第4页
深度学习--深度信念网络(deep belief network)_第5页
资源描述:

《深度学习--深度信念网络(deep belief network)》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库

1、深度学习--深度信念网络(DeepBeliefNetwork)概述 深度信念网络(DeepBeliefNetwork,DBN)由GeoffreyHinton在2006年提出。它是一种生成模型,通过训练其神经元间的权重,我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用DBN识别特征、分类数据,还可以用它来生成数据。下面的图片展示的是用DBN识别手写数字: 图1用深度信念网络识别手写数字。图中右下角是待识别数字的黑白位图,它的上方有三层隐性神经元。每一个黑色矩形代表一层神经元,白点代表处于开启状态的神经元,黑色代表处于关闭状态的神经

2、元。注意顶层神经元的左下方即使别结果,与画面左上角的对应表比对,得知这个DBN正确地识别了该数字。下面是展示了一个学习了大量英文维基百科文章的DBN所生成的自然语言段落: In1974NorthernDenverhadbeenovershadowedbyCNL,andseveral IrishintelligenceagenciesintheMediterraneanregion.However,onthe Victoria,KingsHebrewstatedthatCharlesdecidedtoescapeduringan alliance.

3、Themansionhousewascompletedin1882,thesecondinits bridgeareomitted,whileclosingistheprotonreticulumcomposedbelow itaims,suchthatitistheblurringofappearingonanywell-paidtypeof boxprinter.  DBN由多层神经元构成,这些神经元又分为显性神经元和隐性神经元(以下简称显元和隐元)。显元用于接受输入,隐元用于提取特征。因此隐元也有个别名,叫特征检测器 (featuredet

4、ectors)。最顶上的两层间的连接是无向的,组成联合内存 (associativememory)。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量 (datavectors),每一个神经元代表数据向量的一维。 DBN的组成元件是受限玻尔兹曼机 (RestrictedBoltzmannMachines, RBM)。训练DBN的过程是一层一层地进行的。在每一层中,用数据向量来推断隐层,再把这一隐层当作下一层(高一层)的数据向量。 受限玻尔兹曼机 如前所述,RBM是DBN的组成元件。事实上,每一个RBM都可以单独用作聚类器。 RBM只有两层

5、神经元,一层叫做显层 (visiblelayer),由显元 (visibleunits) 组成,用于输入训练数据。另一层叫做隐层 (Hiddenlayer),相应地,由隐元 (hiddenunits)组成,用作特征检测器 (featuredetectors)。  图2受限玻尔兹曼机的结构。图中的较上一层神经元组成隐层,较下的神经元组成显元。每一层都可以用一个向量来表示,每一维表示每个神经元。注意这两层间的对称(双向)连接。 神经元之间的条件独立性 应注意到,显层和隐层内部的神经元都没有互连,只有层间的神经元有对称的连接线。这样的好处是,在给定所有

6、显元的值的情况下,每一个隐元取什么值是互不相关的。也就是说,  同样,在给定隐层时,所有显元的取值也互不相关: 有了这个重要性质,我们在计算每个神经元的取值情况时就不必每次计算一个,而是同时并行地计算整层神经元。 使用RBM的过程 假设我们现在已经得到一个训练好的RBM,每个隐元与显元间的权重用矩阵W表示,且: 其中Wij代表从第i个显元到第j个隐元的权重,M代表显元的个数,N代表隐元的个数。那么,当我们把一条新来的数据附给(clampto) 显层后,RBM将会依照权值W来决定开启或关闭隐元。具体的操作如下: 首先,将每个隐元的激励值(activ

7、ation)计算出来:  注意,这里用到了前面提到的神经元之间的条件独立性。 然后,将每个隐元的激励值都用S形函数进行标准化,变成它们处于开启状 (用1表示)的概率值:  此处的S形函数我们采用的是Logistic函数: 至此,每个隐元hj开启的概率被计算出来了。其处于关闭状态(用0表示)的概率自然也就是 那么到底这个元开启还是关闭,我们需要将开启的概率与一个从0,1均匀分布中抽取的随机值  进行如下比较 然后开启或关闭相应的隐元。给定隐层,计算显层的方法是一样的。 训练RBM RBM的训练过程,实际上是求出一个最能产生训练样本的概率分布。也就是

8、说,要求一个分布,在这个分布里,训练样本的概率最大。由于这个分布的决定性因素在于权值W,所以我们训练RBM的目标就是寻找最佳的权值。为了

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。