深度学习-BM玻尔兹曼机.ppt

《深度学习-BM玻尔兹曼机.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、HopfieldNetsandBoltzmannMachine数媒学院-许鹏深度学习概况（Deeplearning）神经元模型（Neuronmodel）感知机（Perceptron）感知机训练（Perceptrontraining）多层感知机（Multi-LayerPerceptrons）前馈神经网络（Feedforwardneuralnetworks）模型（Model）损失函数（Strategy-costfunction）输出单元（Strategy-outputunits）隐藏单元（Strategy-hiddenunits）神经网络结构（Architectur

2、e）反向传播算法（Backpropagationalgorithm）随即梯度下降（Stochasticgradientdescent）OutlineISINGModel伊辛模型：Ising模型的提出是为了磁铁物质的相变建模，即磁铁加热到一定温度以后磁性消失，而降温到临界温度以下后磁性又会表现出来，这种有无磁性之间的转变叫做连续相变。Ising模型假设磁铁物质由一堆规则排列的小磁针组成，每个磁针只有上下两个方向，相邻的小磁针之间通过能量约束发生相互作用，同时又由于环境热噪声的干扰而发生随即转变（由上变为下或者反之），涨落的大小由关键的温度参数决定，温度越高，随机涨

3、落干扰越强，小磁针越容易发生无序而剧烈的状态转变，从而可能会让上下两个方向的磁性抵消整个系统消失的磁性；若温度越低，则小磁针相对不易受外界干扰，系统处于能力约束较高的状态，由于相互影响强于外界影响，所以大量小磁针方向一直，表现出磁性。模型应用：由于Ising模型的高度抽象，在社会科学中人们将其用于股票分析，种族隔离，政治选举等的动态演化系统中。如果将小磁针比喻成神经元细胞，向下为抑制，向上激活，相互作用为神经元之间的信号传导，那么Ising模型的变种可以用来建立神经网络系统，从而搭建可适应环境，不断学习的机器，例如Hopfield网络和Boltzmann机。IS

4、INGModel伊辛模型表述如下：每个结点是一个小磁针，有向上和向下两种状态，即Si=+1或者Si=-1，相邻的小磁针可以发生相互作用。我们可以为整个模型定义一个总能量，总能量由两部分组成，一部分是所以小磁针内部能量，即如果小磁针方向一致，那么总能量减1，否则加1；另一部分是外部能力，即外界也有磁场，如果小磁针和外界磁场方向相同则总能量加1，否则减1.ISINGModel我们已经定义了伊辛模型的总能量，但是这是一个动态系统，总能量是在变化的，系统的演化并不完全由当前时刻的总能量决定，由于小磁针处于噪声中，热涨落会引起小磁针的随机反转，我们可以用温度来衡量这种环境

5、影响的随机性。有两种力量左右着小磁针的方向，一种是来自邻居以及外磁场，使得总能量最小，因为小磁针之间方向是趋同的，小磁针与外磁场也是趋同的；另一种来自环境扰动，迫使小磁针无视邻居和外磁场的影响随机变化。ISINGModel在玻尔兹曼分布中，每个状态组合出现的概率与该状态组合下总能量的负值呈指数关系。即能量越小，出现的概率越大，反之，出现的概率会随着能量的增加而快速衰减。这里出现的概率是指：如果针对同样的参数和初始条件的Ising模型多次试验，演化很长一段时间后，观察模型的状态组合，则某一状态组合在若干次实验中出现的频率会接近玻尔兹曼分布。HopfieldNetw

6、ork—EnergyModelHopfield网络是一种循环神经网络(recurrent)，从输出到输入有反馈连接，因此在输入的不断激励下，网络的状态会不断的发生变化，这个反馈一直进行下去。若是一个能收敛的稳定网络，则反馈后网络所产生的变化会越来越小，一直达到稳定状态，则会输出稳定。若把Hopfield网络看成是一个动态系统，则它的系统总能量就是下面的式子，这个又叫李雅普诺夫方程。则系统的变化过程就是能量变化的过程，这个过程中能量的趋势是下降的，最后趋于一个稳定的状态。HopfieldNetwork—EnergyModel一般来说，非线性单元的循环神经网络(Re

7、currentNN)是很难分析的，它们或者收敛到稳定状态；或者震荡；或者混沌。但是JohnHopfield发现如果这个网络的连接是对称的(symmetric)，则网络有一个全局能量函数，网络的每一个二值状态向量都有一个能量，并且正确的网络更新规则会使这个能量函数最终收敛到一个最小值。就和前面的Ising模型一样，我们要给这个Hopfield能量模型也定义一个更新规则，使得最后整个系统能趋于稳定，收敛一个能量的最小值。即这个规则是每次更新能量变小。左边这个更新规则其实就相当于最小化能量函数。因为由总能量函数可知如果一个神经元的总输入大于0，那么这个神经元置为激活1

8、，这时E会变小，而当小于