人工神经网络原理教学课件作者马锐第6章节课件

《人工神经网络原理教学课件作者马锐第6章节课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章Boltzmann机目录6.1随机型神经网络的提出6.2Boltzmann机的网络结构6.3Boltzmann机处理单元模型6.4Boltzmann机的能量函数6.5Boltzmann机的Boltzmann分布6.6Boltzmann机的运行规则6.7Boltzmann机的学习规则6.1随机型神经网络的提出(1)BP和Hopfield网络陷入局部极小点的原因网络误差或能量函数构成了含有多个极小点的非线性超曲面网络误差或能量函数只能按照梯度下降方向单调变化，而不能有任何上升趋势6.1随机型神经网络的提出(2)随机型神经网络的基本

2、思想不但能够让网络误差或能量函数按照梯度下降方向变化，也能够让它们按照某种方式向梯度上升方向变化，这样才有可能使网络跳出局部极小点而向全局极小点收敛随机型神经网络的特点神经元的输出状态由概率决定网络连接权值的调整按照某种概率分布进行处理网络状态的转移由某种概率分布决定6.1随机型神经网络的提出(3)Boltzmann机是一种典型的随机型神经网络是第1个受统计力学启发得到的神经网络其名称来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为是Hinton等人以模拟退火思想为基础，在离散型Hopfield神经网络的基础

3、上引入随机机制得到的6.2Boltzmann机的网络结构(1)介于BP神经网络的多层层次结构与离散型Hopfield神经网络的单层全互连结构之间网络中的n个神经元之间相互连接，为双向对称连接结构，即wij=wji6.2Boltzmann机的网络结构(2)每个神经元到自身都无反馈，即wii=0每个神经元的输出xj均为0、1二值离散输出n个神经元的状态集合构成了Boltzmann机网络的状态n个神经元分为可视层与隐含层两大部分，其中的可视层又继续分为输入部分和输出部分，但这些层次在Boltzmann机中没有明显的划分界限6.3Boltz

4、mann机处理单元模型(1)xj表示神经元j的输出wij表示神经元i与神经元j之间的连接权值θj表示神经元j的阈值神经元j的净输入sj为神经元j的输出xj为1的概率为T称为网络温度xj输出为0的概率为6.3Boltzmann机处理单元模型(2)说明sj越大，xj为1的概率越大；sj越小，xj为0的概率越大网络温度参数T会对神经元输出状态的概率产生影响温度T越高时神经元输出状态的概率曲线越平滑，P(xj=1)相对于sj的变化反应就越迟钝温度T越低时曲线越陡峭，T->0时，每个神经元的输出状态直接具有确定的状态6.4Boltzmann机

5、的能量函数Boltzmann机的能量函数为随着Boltzmann机的运行，从概率意义上说，网络的能量呈下降趋势。这意味着在网络状态的演化过程中，尽管网络能量总的变化趋势是下降的，但不能排除在某一时刻某个神经元按照小概率事件进行状态变化，从而使网络的能量暂时上升6.5Boltzmann机的Boltzmann分布(1)Boltzmann机网络处于某一状态的概率主要取决于网络在该状态下的能量，某个网络状态对应的能量越低，该状态出现的概率就越大；某个网络状态对应的能量越高，该状态出现的概率就越低在网络状态反复更新，并且更新次数足够大时，网络

6、中某个状态出现的概率服从Boltzmann分布6.5Boltzmann机的Boltzmann分布(2)特点最小能量状态以最大的概率出现Boltzmann机处于某一状态的概率取决于网络温度参数T当温度T很高时，网络各个不同状态出现的概率非常接近，网络比较容易跳出局部极小点而到达全局最小点当温度T较低时，网络各个不同状态出现的概率差异较大，网络落入全局最小点或局部极小点后，虽然存在着一定的跳出可能性，但是其跳出概率较小6.6Boltzmann机的运行规则6.6.1模拟退火算法6.6.2网络运行规则6.6.1模拟退火算法(1)基本思路将神

7、经元看作金属内部的“粒子”，神经网络的状态就是各个粒子的状态集合，神经网络在各个状态下的能量就是粒子所处的能态。如果在神经网络的运行中设置一个控制参数T模拟金属退火过程中的温度,使得T较大时网络能量由低向高变化的可能性较大，T减小时网络能量由低向高变化的可能性较小，那么在T从高向低缓慢下降时，整个神经网络状态的变化过程就模拟了金属的退火过程，当参数T下降到一定程度时，网络将收敛于能量的最小值6.6.1模拟退火算法(2)关键点在一定温度下确定系统的状态X(t)和X(t+1)分部二表示系统在时刻t和t+1的状态，△E表示系统从状态X(t

8、)转移至状态X(t+1)的能量差如果能量差△E<0，说明这种状态转移会导致系统能量降低，因此可以接受这种转移，将X(t+1)作为新状态如果能量差△E>0，要根据概率判断是否接受这种状态转移6.6.1模拟退火算法(3)选定一个在[0,1