浅论具有温度属性的人工神经网络学习算法的研究

《浅论具有温度属性的人工神经网络学习算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东大学硕士学位论文具有温度属性的人工神经网络学习算法的研究姓名：王绪刚申请学位级别：硕士专业：计算机应用技术指导教师：曾广周2001.11.16‘摘要“人工神经网络”(ARTIFICIALNEURALNETWORK)是一门是近年来再度兴起并得到迅速发展的前沿交叉学科，它是一种在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的工程系统。(其中，多层感知器或多层前向网络是一类应用十分广泛的人工神经网络，与所有的神经网络一样，多层感知器可以通过训练(而不是通过编程)来模拟某种函数。在过去的十年中，特别是Rumelhart等人重新发现BP算法并用它训练多层感知器以来，多

2、层感知器网络的理论与应用研究取得了很大的进展。BP算法作为一种有效的多层感知器训练算法，由于其理论的完整性和简洁性，直到现在它仍是使用最为广泛的学习算法之一-。但是，在实际应刚rfJ，这种经典的算法仍然存在着重要的缺陷，其中之一就是胸部最小戗问题。作为一种定向搜索的优化方法，BP算法的丛本思想是沿着最优的路径找到最近的极小值，一旦网络陷入了局部最小值，网络的学习就失败了。目前存在很多种方法都试图改进BP模型来帮助网络解决局部最小值问题。其中比较著名的如全局优化方法——模拟退火算法等。这些解决方案的基本思想都是在模型中引入随机因素来避免陷入局部最小值，丕可避免的要消耗大量的运行时问

3、。因而很难在实际问题中应用。在本课题中j我们提出了一种新的有导师的多层感知器训练算法一～具有温度属性的学习算法。该算法的神经元模型引入神经元的温度作为个体属性，并把这个参数看作是一种可调参数。整个算法出两个阶段组成，分别是在权值空间的BackpropagatiOn阶段和在温度参数空间的梯度上升阶段。当BP阶段在权值空间的学习过程中陷入到一个未满足学习要求的极小值中时，则丌始梯度上升阶段，通过沿着梯度上升的方向修改温度参数的方式，这种学习算法可以比较有效的帮助网络脱离局部最小值。我们将新算法应用到异或问题，Parity问题和阿拉伯数字的识别问题等一系列训练任务来验证算法的性能。实验

4、的结果表明新的算法具有脱离局部最小值的能力，因而比传统的BP算法有更加可靠的全局汇聚性能。出于采用确定性搜索方式，新方法相对于模拟退火技术有更快的汇聚速度。关键词：人工神经网络、多层感知器、BP算法、局部最小值、温度参数、梯度上升第．I顶AbstractArtificialNeuralNetwork(ANN)isanadvancedregenerativesciencethatisdevelopingquicklyandinvolvesmanysubjects．Itisasystembasedonthestudyandsimulationaboutthearchitecturea

5、ndfunctionmechanismofhumanbrain．Themulti—layerperceptron(MLP)一orfeed-forwardnetworkisthemostwidely—usedclassofneuralnetwork．Overthepastdecade，especiallysincetheBPalgorithmwaspresentedbyRumelhartandusedtotraintheMLP,muchprogresshasbeenmadeinthetheoryandapplicationofMLP．Asaneffectivemethodfortr

6、ainingMLP,BPalgorithmisstilloneofthemostpopulartrainingmethodsnowbecauseofitstheoreticintegralityandsimplicity．However,Therearesomeproblemsofgreatconcerninthepracticaltrainingofback—propagationnetworks，oneofwhichisthelocalmininaaentrapmentAsaprimarilydeterministicalgorithm，itwillattempttotake

7、thebestpathtothenearestminimum，whetherglobalorlocal．Ifalocalminimumisreached，thenetworkwillfailtolearnNumerousapproachesexistthatmodifytheBackpropagationmodelinordertohelpthenetworkescapefromlocalminima．Suchasthefamousglobaloptimizationmethod