神经网络原理及应用(论文资料)

《神经网络原理及应用(论文资料)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章人工神经网络原理及应用人工神经网络概述人工神经网络基础前馈人工神经网络5.1概述5.1.1什么是人工神经网络所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。5.1.1什么是人工神经网络粗略地讲，大

2、脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。5.1概述5.1.1什么是人工神经网络由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。需要指出，尽管人工神经网络是对大脑结构的模

3、仿，但这种模仿目前还处于极低的水平。5.1概述5.1.1什么是人工神经网络人工神经网络的两种操作过程训练学习训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。5.1概述5.1概述5.1.2人工神经网络的发展-初始（萌发）期——MP模型的提出和人工神经网络的兴起。1943年，美国神经生理学家Wa

4、rrenMcculloch和数学家WalterPitts合写了一篇关于神经元如何工作的开拓性文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。按此想法，他们用电路构成了简单的神经网络模型，并预言大脑的所有活动最终将被解释清楚。虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。1949年，心理学家DonalaHebb写了一本书：“TheOrganizationofBehavi

5、or”。在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的通路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。目前有些神经网络模型仍然采用这种学习规则。5.1概述5.1.2人工神经网络的发展第一次高潮期——感知器模型和人工神经网络1957年，计算机专家FrankRosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。1959年，两位电机工程师BernardWidrow和MarcianHaff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“AdaptiveSwitch

6、ingCircuits”中描述了该模型和它的学习算法（Widrow-Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。5.1概述5.1.2人工神经网络的发展第一次高潮期——感知器模型和人工神经网络1962年，Rosenblatt出版了一本书“ThePrinciplesofNeurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。在这一时期，由于感知器的某些进展和对神经网络的宣传，人

7、们乐观地认为几乎已经找到了实现智能的关键，许多部门开始大批地投入此项研究，希望尽快占领制高点，形成了研究人工神经网络的第一次高潮。由于当时对神经网络的乐观情绪的影响，人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）。5.1概述5.1.2人工神经网络的发展反思期—神经网络的低潮1969年，MarvinMinsky和SeymourPapert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。此时，批评的声音高

8、涨，导致了停止对人工神经网络研究所需的大量投资。不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。5.1概述5.1.