boltzmann神经网络模型与学习算法

《boltzmann神经网络模型与学习算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.10 Boltzmann神经网络模型与学习算法概述Ackley、Hinton等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。GeoffreyHintonDavidH.Ackley概述Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点，是建立在Hopfield网基础

2、上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。2.10.1Boltzmann机的网络结构Boltzmann机由输入部、输出部和中间部构成2.10.1Boltzmann机的网络结构输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换每一对神经元之间的信息传递是双向对称的，即而且自身无反馈，即。显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。2.10.1Boltzmann机

3、的网络结构Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中vj表示神经元j的输出2.10.1Boltzmann机的网络结构Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中vi表示神经元i的输出2.10.1Boltzmann机的网络结构神经元的全部输入信号的总和由下式给出为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式神经元的输出依概率取1或0：越大，则取1的概率越大，而取0的概率越小2.10.1Boltzmann

4、机的网络结构神经元的全部输入信号的总和由下式给出为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式2.10.1Boltzmann机的网络结构ui越大，则vi取1的概率越大，而取0的概率越小神经元的输出依概率取1或0：（1）（2）2.10.1Boltzmann机的网络结构温度T的作用如图所示，T越高时，曲线越平滑，即使ui有很大变动，也不会对vi取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函

5、数，这时Boltzmann机演变为Hopfield网络横坐标表示神经元的输入总和，纵坐标表示概率2.10.1Boltzmann机的网络结构温度T的作用如图所示，T越高时，曲线越平滑，即使uj有很大变动，也不会对vj取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络2.10.1Boltzmann机的网络结构横坐标表示神经元的输入总和，纵坐标表示概率网络能量函数与Hopfie

6、ld神经网络一样，BM神经网络用能量函数作为描述网络状态的函数，能量函数采用与Hopfield网络相同形式或由上式可以看出，如果相应于具有相同状态的元vi和vj之间权值wij大多取正值，而具有相反状态wij大多取负值，E才会具有最低的值；反之，E就相对较高。显然低能量的网络状态表达着网络的更加有序性，这与热力学系统是完全对应的，也是与Hebb规则相呼应的。E降至其全局最小点时，网络即达到其最佳状态，这就是我们要搜索的最优解。2.10.2Boltzmann机学习算法算法原理Boltzmann机可视为一动力系统，其能量函数的极小值对应系

7、统的稳定平衡点将待求解优化问题的目标函数与网络的能量函数相对应，神经网络的稳定状态就对应优化目标的极小值算法分类状态更新算法用于解决优化组合问题联想记忆算法用于解决依照一定概率重现记忆的问题BM网络状态演变的能量特征为简化讨论，假设BM神经网络按异步方式运行，每次只改变一个神经元的状态。设xi取0和取1时系统的能量函数的差值为ΔEi，则ΔEi=Exi=0-Exi=1=ui.式中ui是i号神经元的净输入。在HNN中，我们很容易证明了ΔE<0,在BM中则必须按概率的观点来考虑问题。BM网络状态演变的能量特征若ΔEi>0,说明网络在其第i

8、号神经元取1时的能量小于取0时的能量，这时可计算出即在下一个时刻xi取1的概率当然高于取0的概率。反之，则可计算出BM网络状态演变的能量特征可见，网络运行过程总是以更大的概率朝能量下降的方向演化。不过，这是概率事件，完全存在朝能量上升