2章+基础知识+(续)人工神经网络常用学习规则

《2章+基础知识+(续)人工神经网络常用学习规则》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经网络常用的学习规则MP模型是于1943年由美国心理学家McCulloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(ProcessingElement)，它是一个多输入－多输出的非线性信息处理单元。如图5-6所示，图5-7为MP模型的作用函数。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。图5-6MP神经元模型01(x)F(x)人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。关于人工神经网络的学习机制，涉及到神经元如何分布、处理和存储信息。常用的人工神经网络学习规则如下，图5-8是权值调整的一般情况，其中：Wj为联接

2、到神经元j的权值向量，X为输入向量，r为学习信号，d为导师信号。权向量的调整准则为式中为学习速率。权值调整的迭代格式为权值调整的一般情况wXr(w,x,d)dj信号生成器OjjwjX1)Hebbian学习规则1949年，心理学家D.O.Hebb最早提出了关于神经网络学习机理的“突触修正”的假设。该假设指出，当神经元的突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应增强。根据该假设定义的权值调整方法，称为Hebbian学习规则。在Hebbian学习规则中，学习信号简单地

3、等于神经元的输出式中W为权向量，X为输入向量。权向量的调整公式为权向量中，每个分量的调整由下式确定上式表明，权值调整量与输入输出的乘积成正比。显然，经常出现的输入模式将对权向量有最大的影响。在这种情况下，Hebbian学习规则需预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。此外，要求权值初始化，即在学习开始前(t=0)，先对Wj(0)赋予零附近的小随机数。Hebbian学习规则代表一种纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着重要作用。2)Perceptron（感知器）学习规则1958年，美国学者FrankRosenblatt首次定义了一个具有单层计算

4、单元的神经网络结构，称为感知器(Perceptron)。感知器的学习规则规定，学习信号等于神经元期望输出（教师信号）与实际输出之差式中为期望的输出，。感知器采用了与阈值转移函数类似的符号转移函数，其表达为因此，权值调整公式应为式中，当实际输出与期望值相同时，权值不需要调整；在有误差存在情况下，由于、，权值调整公式简化为感器学习规则只适用于二进制神经元，初始权值可取任意值。感知器学习规则代表一种有导师学习。由于感知器理论是研究其他神经网络的基础，该规则对于神经网络的有导师学习具有极为重要的意义。3)δ(Delta)学习规则1986年，认知心理学家McClelland和Rumelhart在神

5、经网络训练中引入了δ规则，该规则亦可称为连续感知器学习规则，与上述离散感知器学习规则并行。δ规则的学习信号规定为上式定义的学习信号称为。式中是转移函数的导数。显然，规则要求转移函数可导，因此只适用于有导师学习中定义的连续转移函数，如Sigmoid函数。事实上，规则很容易由输出值与期望值的最小平方误差条件推导出来。定义神经元输出与期望输出之间的平方误差为式中，误差E是权向量Wj的函数。欲使误差E最小，Wj应与误差的负梯度成正比，即式中，比例系数η是一个正常数。由式(5-12)，误差梯度为可以看出，上式中η与X之间的部分正是式(5-11)中定义的学习信号δ。ΔWj中每个分量的调整由下式计算学

6、习规则可推广到多层前馈网络中，权值可初始化为任意值。4)Widrow-Hoff学习规则1962年，BernardWidrow和MarcianHoff提出了Widrow-Hoff学习规则，又称为最小均方规则(LMS)。Widrow-Hoff学习规则的学习信号为权向量调整量为..的各分量为实际上，如果在学习规则中假定社会元转移函数为，则有，此时式(5-11)与式(5-17)相同。因此，Widrow-Hoff学习规则可以看成是学习规则的一个特殊情况。该学习规则与神经元采用的转移函数无关，因而不需要对转移函数求导数，不仅学习速度较快，而且具有较高的精度。权值可初始化为任意值。5)Correlat

7、ion（相关）学习规则相关学习规则学习信号为易得出分别为该规则表明，当dj是xi的期望输出时，相应的权值增量Δωij与两者的乘积djxi成正比。如果Hebbian学习规则中的转移函数为二进制函数，且有oj=dj，则相Δ关学习规则可看作Hebbian规则的一种特殊情况。应当注意的是，Hebbian学习规则是无导师学习，而相关学习规则是有导师学习。这种学习规则要求将权值初始化为零。6)Winner-Take-all（胜者为王）学习规则W