神经网络实用教程 教学课件 作者 张良均　曹晶 2.10 Boltzmann神经网络模型与学习算法.ppt

《神经网络实用教程 教学课件 作者 张良均　曹晶 2.10 Boltzmann神经网络模型与学习算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.10 Boltzmann神经网络模型与学习算法概述Ackley、Hinton和Sejnowski等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。GeoffreyHintonDavidH.AckleyRichardSzeliski概述Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点2.10.1Bolt

2、zmann机的网络结构Boltzmann机由输入部、输出部和中间部构成2.10.1Boltzmann机的网络结构输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换每一对神经元之间的信息传递是双向对称的，即而且自身无反馈，即。显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。2.10.1Boltzmann机的网络结构Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中表示与神经元相连接的神经元的输出2.10.

3、1Boltzmann机的网络结构神经元的全部输入信号的总和为，由下式给出为神经元的阈值,并其将看作连接权值为1的输入，可以将归并到总的加权和中去，即得到下式神经元的输出依概率取1或0：越大，则取1的概率越大，而取0的概率越小2.10.1Boltzmann机的网络结构温度的作用如图所示，越高时，曲线越平滑，即使有很大变动，也不会对取1的概率变化造成很大的影响；反之，越低时，曲线越陡峭，当有稍许变动时就会使概率有很大差异，当趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络横坐标表示概率，纵坐标表示神经元的输入总

4、和2.10.2Boltzmann机学习算法算法原理Boltzmann机可视为一动力系统，其能量函数的极小值对应系统的稳定平衡点将待求解的优化问题的目标函数与网络的能量函数相对应，神经网络的稳定状态就对应优化目标的极小值算法分类状态更新算法用于解决优化组合问题联想记忆算法用于解决依照一定概率重现记忆的问题2.10.2Boltzmann机学习算法状态更新算法（1）网络初始化给和赋[-1，1]之间的随机数，置，设定目标温度的值。（2）求解内部状态从个神经元中随机选取一个神经元，根据下式求解出神经元的输入总和，即内部状态。（3）更新神经元状态根据下面公式更新神经元的状态：2.1

5、0.2Boltzmann机学习算法（4）除外的神经元的输出状态保持不变即除外的神经元的状态由下面公式求解得出：（5）令，按照下式计算出新的温度参数：（6）第5步计算出的温度参数是否小于目标温度，小于目标温度则算法结束，否则返回（2），进入下一轮计算。Boltzmann机学习算法的MATLAB实现在MATLAB的工具箱中，没有Boltzmann神经网络的相关函数，在学习完第4章后，根据自己的需要，利用MATLAB中的数学计算函数来扩展nnToolKit工具包，实现Boltzmann神经网络的学习算法，完成特定的需要。小结概述Boltzmann机的网络结构Boltzmann

6、机的学习算法Boltzmann机与Hopfield网络的关系谢谢！