[工学]42-人工神经网络的模型及算法.ppt

《[工学]42-人工神经网络的模型及算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、4.2人工神经网络的模型及算法常用的神经网络模型：BP网络、Hopfield网络、动态递归网络、自组织神经网络、RBF网络等。4.2.1感知器模型（perceptron）美国心理学家Rosenblatt于1957年提出是一个具有单层神经元的神经网络最简单的前向网络主要用于模式分类，以及基于模式分类的学习控制和多模态控制中1图4.2.1单层感知器网络图4.2.2单层单个神经元的感知器2按不同特征的分类是相互独立的，因此可以取出其中的一个神经元来讨论，其输入输出关系为3方程是把n维输入空间分为两个子空间、其分界线为n-1维的超越平面。如果存在一组权参数，i=1

2、，2，…，n及使公式(1)满足则称样本集为线性可分的，否则称为线性不可分的。4令，，则在（1）式中，其中，。学习步骤为：（1）随机地给定一组连接权（较小的非零值），这里为时刻第个输入上的权()，为时刻的阈值。（2）输入一组样本和期望的输出（亦称之为教师信号）。5（3）计算感知器实际输出：（4）按下式修正权值：6（5）选取另外一组样本，重复（2）~（4）过程，直到权值对一切样本均稳定不变为止，学习过程结束。单层感知器只能满足线性分类，如果有两类样本A、B，它们不能用一个超平面将它分开，则感知器的学习算法不能收敛，得不出任何结果。例如，不能实现异或（XOR）逻

3、辑运算7单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。感知器算法是至今存在的众多算法中最清楚的算法之一。它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。8图4.2.3BP网络结构输出层隐含层输入层93.2.2BP网络BP(BackPropagation)是误差逆传播（Errorback-propagation）网络的简称。它是应用最广、其基

4、本思想直观、最容易理解的多层前向神经网络。一、网络的结构与学习算法典型的BP网络是三层的前向网络，即输入层、隐含层（也称中间层）和输出层。各层之间实行全连接，如图所示。10BP网络的学习由四个过程组成：“模式顺传播”→“误差逆传播”→“记忆训练”→“学习收敛”BP网络学习规则有时也称广义δ规则。（1）模式的顺传播设输入模式向量为其中，m——学习模式对的个数，n——输入层单元个数；11对应输入模式的希望输出向量为——输出层单元个数；中间层各单元的输入式中，——输入层至中间层的连接权；——中间层单元的阈值；——中间层单元的个数。12中间层各单元的输出：式中为中

5、间层单元的激活值。s函数具有可微分性——BP算法中要求函数可微饱和非线性特性——增强了网络的非线性映射能力13图4.2.3BP网络结构14计算输出层各单元的输入、输出：式中，——中间层至输出层连接权；——输出层单元阈值；——S函数；15（2）误差的逆传播输出层各单元的校正误差：中间层各单元的校正误差：1617调整输出层至中间层之间的连接权，以及输出层各单元的阈值：（学习系数）18中间层至输入层之间的连接权，以及中间层各单元的阈值：（学习系数）19（3）训练过程所谓训练过程，是指反复学习的过程，也就是根据教师示教的希望输出与网络实际输出的误差调整连接权的过程

6、。（4）收敛过程学习或者说训练的收敛过程就是网络全局误差趋向于极小值的过程。20一般全局误差有以下两种定义：i）平均平方（RMS）误差式中m为样本模式对的个数，q为输出单元的个数。21ii）误差平方和式中为一对样本模式的所有输出单元的误差平方和；为所有样本模式对的误差平方和，也即检验网络收敛的误差标准；为输出单元个数，为样本模式对数。22整个学习过程的具体步骤：初始化给各连接权{}、{}及阀值{}、{}赋予（-1，+1）间的随机值。随机选取一模式对，提供给网络。计算中间层各单元的输入和输出：23计算输出层各单元的输入输出：计算输出层的各单元的校正误差中间层

7、各单元的校正误差24修正中间层到输出层的连接权和输出层各单元的阈值：修正输入层到中间层的连接权和中间层各单元的阈值：25随机地选取下一个学习模式对提供给网络，返回步骤3，直至全部m个模式对训练完毕，即完成了一个训练周期。10.计算网络全局误差函数E，若E小于预先设定的一个极小值，即网络收敛；或学习回数大于预先设定的值，即网络无法收敛；则结束学习。否则重新从m个学习模式对中随机地选取一个模式对，返回步骤3。2627二、BP算法的推导输出层的各单元的校正误差：中间层各单元的校正误差：调整输出层至中间层之间的连接权，以及输出层各单元的阈值：调整输出层至中间层之间

8、的连接权，以及输出层各单元的阈值：28设第k个样本误差的均方值为按