人工神经网络原理与仿真实例第2版 教学课件 作者 高隽 第6章 随机神经网络及模拟退火算法.ppt

《人工神经网络原理与仿真实例第2版 教学课件 作者 高隽 第6章 随机神经网络及模拟退火算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章随机神经网络及模拟退火算法6.1Boltzmann机6.2Boltzmann机的改进6.3模拟退火算法6.4仿真实例*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images前言随机神经网络是统计力学思想引入神经网络研究的结果。统计力学是研究大系统宏观平衡性质的学科，这种大系统的组成元素服从微观机制。统计力学的主要目的是寻找从微观粒子（原子、电子）的运动开始的宏观物体的热力学性质，由于所遇到的

2、自由度数目很大，因此只能使用概率的方法进行研究。*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images随机神经网络与其他网络的比较：名称网络类型网络结构学习算法BP网络多层前向网络含输入层、隐层、输出层。层内神经元无连接网络按误差减少的最大梯度方向调整权值Hopfield网络反馈神经网络单层神经网络，层内神经元全互连网络按照其用途来设计或训练网络权值Boltzmann机随机神经网络含输入部、输出

3、部和中间部。神经元互连网络向误差减小的方向运行概率大，但也可能向误差增大方向运行*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/imagesBP网络是一种“贪心”算法，容易陷入局部最小点。Hopfield网络很难避免出现伪状态，网络是严格按照能量减小的方向运行的，容易陷入局部极小点，而无法跳出。所以，在用BP网络和Hopfield网络进行最优化的计算时，由于限定条件的不足，往往会使网络稳定在误差或能量

4、函数的局部最小点，而不是全局最小点，即所得的解不是最优解。*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images网络陷入局部最小点的原因主要有两点：（1）网络结构上存在着输入到输出之间的非线性函数关系，从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间。（2）在算法上，网络的误差或能量函数只能单方向减小，不能有一点上升。*合肥工业大学计算机与信息学院图像信息处理研究室Tel:290

5、1393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images随机神经网络的基本思想：网络向误差或能量函数减小方向运行的概率大，同时向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向全局最小点收敛的概率最大。*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images20世纪80年代，Ackley,Hin

6、ton和Sejnowski等人以模拟退火思想为基础，对Hopfield网络引入了随机机制，推出Boltzmann机。Boltzmann机是第一个受统计力学启发的多层学习机，它是典型的随机神经网络。其命名来源于Boltzmann机在统计力学中的早期工作和网络本身的动态分布行为（其平衡状态服从Boltzmann分布），其运行机制服从模拟退火算法。*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images

7、6.1Boltzmann机6.1.1Boltzmann机的网络结构6.1.2Boltzmann机的工作原理6.1.3Boltzmann机的运行步骤6.1.4Boltzmann机的学习规则*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:images@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/images6.1.1Boatman机的网络结构图6-1boltzmann机的网络结构*合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:i

8、mages@hfut.edu.cnhttp://www1.hfut.edu.cn/organ/imagesBoltzmann机由输入部、输出部和中间部构成。输入神经元和输出神经元可称为显见神经元，它们是网络与外部环境进行信息交换的媒介。中间部的神经元称为隐见神经