李亚非老师的神经网络教程.ppt

《李亚非老师的神经网络教程.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、人工神经网络ArtificialNeuralNetwork目录第1章概述1．1人工神经网络研究与发展1．2生物神经元1．3人工神经网络的构成第2章人工神经网络基本模型2．1MP模型2．2感知器模型2．3自适应线性神经元第3章EBP网络(反向传播算法）3．1含隐层的前馈网络的学习规则3．2Sigmoid激发函数下的BP算法3．3BP网络的训练与测试3．4BP算法的改进3．5多层网络BP算法的程序设计多层前向网络BP算法源程序第4章Hopfield网络模型4．1离散型Hopfield神经网络4．2连续型Hopfield神经网络Hopfi

2、eld网络模型源程序4．3旅行商问题(TSP)的HNN求解Hopfield模型求解TSP源程序第5章随机型神经网络5．1模拟退火算法5．2Boltzmann机Boltzmann机模型源程序5．3Gaussian机第6章自组织神经网络6．1竞争型学习6．2自适应共振理论(ART)模型6．3自组织特征映射(SOM)模型6．4CPN模型目录第7章联想记忆神经网络7．1联想记忆基本特点7．2线性联想记忆LAM模型7．3双向联想记忆BAM模型7．4时间联想记忆TAM模型Hopfield模型联想记忆源程序第8章CMAC模型8．1CMAC模型8．

3、2CMAC映射算法8．3CMAC的输出计算8．4CMAC控制器模型目录神经网络研究与发展40年代初，美国McCulloch和PiMs从信息处理的角度，研究神经细胞行为的数学模型表达．提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。50年代末期，Rosenblatt提出感知机模型(Perceptron)，首先从

4、工程角度出发，研究了用于信息处理的神经网络模型.这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣，在60代掀起了神经网络研究的第一次高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却又使人们走到另一个极端上。在60年代

5、末，美国著名人工智能专家Minsky和Papert对Rosenblatt的工作进行了深人研究，出版了有较大影响的(Perceptron)一书，指出感知机的功能和处理能力的局限性，甚至连XOR(异或)这样的问题也不能解决，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。因此Minsky的结论是悲观的。另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，

6、给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的

7、发展奠定了理论基础。进入80年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得了较大成功。但在一段时间以后，实际情况表明专家系统并不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。1982年，美国加州理工学院物理学家J．J．

8、Hopfield提出了一种新的神经网络HNN。他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。HNN的电子电路物理实现为神经计算机的研究奠定了基础，并将其应用于目前电子计算机尚难解决的计算复杂度为NP完全型的问题，例如著