人工神经网络课件.ppt

《人工神经网络课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第7章人工神经网络历史回顾人工神经元神经网络的学习感知机BP算法实验介绍什么是人工神经网络(ANN)？利用计算机模拟人脑的工作方式感知机是最简单的ANN不严格定义（1987年，Simpson给出）ANN是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。7.1历史回顾（五个时期）萌芽期从人类开始研究自身智能—1949年来源于神经解剖学和神经生理学。萌芽期两大标志（1）1943年，心理学家McCulloch和数学家Pitts建立了阈值加权和模型，MP模型。（2）1949年，心理学家D.O.Hebb提出神经元突触联系可变假说。Hebb学

2、习律是ANN学习训练算法起点（里程碑）。7.1历史回顾（五个时期）第一高潮期（1950—1968）重要成果：单级感知机及电子线路模拟代表人物：MarvinMinsky、FrankRosenblatt、BernardWidrow7.1历史回顾（五个时期）反思期（1969—1982）标志：1969年，MIT出版社发表《感知机》一书，无情否定。反思期中曾有人提出了BP反传算法，但未受重视。7.1历史回顾（五个时期）第二高潮期（1982—90年代初）标志：美国加州理工学院生物物理学家J.Hopfield于1982、1984年在美国科学院院刊上发表两篇重要论文。代表作：（1）1982年，Hopfi

3、eld提出循环网络，将Lyapunov函数引入人工神经网络。（2）1984年，Hopfield研制出被称为Hopfield网的电路。（3）1985年，美国加州圣地亚哥分校（UCSD）的并行处理小组（PDP）在Hopfield网络中引入随机机制。（4）1986年，PDP小组的Rumehart等重新独立提出了BP算法。7.1历史回顾（五个时期）第二高潮期（1982—90年代初）国内首届神经网络大会于1990年12月在北京举行。90年，863高技术研究计划批准了ANN的三项课题，自然科学基金与国防科技预研基金也把NN列入选题指南。7.1历史回顾（五个时期）再认识与应用研究期进入20世纪90年代

4、后，发现还有很多问题，还无法对ANN工作机制严格解释。目前研究：（1）开发现有模型应用，改造算法，提高速度和准确度。（2）希望理论上的突破，建立新的专用/通用模型和算法。（3）进一步对生物神经系统进行研究，不断丰富对人脑的认识。7.2人工神经元生物神经元树突输入细胞体轴突突触输出等效模型7.2人工神经元树突输入细胞体轴突突触输出神经元细胞体——生存（信息处理）树突——接收其它神经元信号，与其它神经末稍互联形成突触轴突——信息传输管道神经元状态兴奋，阈值约40mV，有输出抑制，无输出7.2人工神经元激励函数为阈值函数情况激励函数为S函数情况7.2人工神经元f函数的选取Sigmoid函数，双

5、极，无限可微Sigmoid函数，单极，无限可微阈值函数7.2人工神经元神经元的学习算法Hebb学习规则基本思想：如果一神经元接收来自另一神经元的输出，则当这两个神经元同时兴奋时，其连接权值得到加强。7.3感知器前馈神经网络有些文献不将输入层作为一层7.3感知器感知器网络结构双层神经网络，只能解决线性可分问题。输出类别指示输入样本神经网络特点分布式存储信息，用神经网络间连接权值的分布来表示特定的信息，当局部网络受损，仍能恢复原来的信息。对信息的处理具有并行性。每个神经元都可以根据接收到的信息作独立的运算和处理，然后将结果传输出去，体现了并行处理的概念。对信息的处理具有自组织、自学习的特点。

6、通过改变连接权值适应周围环境变化，称为神经元学习过程。7.4反向传播算法（BP法）一般为三层前馈神经网络激励函数为Sigmoid函数基本思想：根据样本希望输出与实际输出之间的平方误差最小，利用梯度下降法，从输出层开始，逐层修正权系数。修正周期分两个阶段前向传播阶段反向传播阶段7.4反向传播算法（BP法）3层前馈神经网络单个神经元节点前向传播阶段7.4反向传播算法（BP法）反向传播阶段梯度下降法令误差函数最小7.4反向传播算法（BP法）反向一层传播学习速率，搜索步长7.4反向传播算法（BP法）反向二层传播某一隐层节点受所有输出层节点影响BP算法若干问题讨论BP采用S函数，输出不宜设为1或0

7、，可设为0.9或0.1。权系数初始化不应将初始值设为相同，否则在学习过程中始终不变，可设为随机值。步长的选择应设为可变步长，以防止震荡。局部最小问题BP算法是非线性优化算法，初始值设置不当，可能陷入局部极小。前馈网络结构输入节点数为模式维数，输出节点数一般为类别数，隐层节点数尚无明确方法，实验确定。BP算法若干问题讨论前馈网络结构问题Lippman[1987]认为，两层隐层可构成任意复杂判别函数。线性分类与操作或操作BP算法若干问题