采用有导师学习规则的神经网络是以网络的误差或能量函数作

《采用有导师学习规则的神经网络是以网络的误差或能量函数作》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、采用有导师学习规则的神经网络是以网络的误差或能量函数作为算法准则。而在很多情况下，人在认知过程中没有预知的正确模式，人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察，分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。对于人的这种学习方式，基于有导师学习策略的神经网络是无能为力的。自组织神经网络的无导师学习方式更类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织自适应地改变网络参数与结构。这种学习方式大大拓宽神经网络在模式识别与分类方面的应用。采用有导师学习规则的神经网络是以网络的误差或能量函数

2、作为算法准则。而在很多情况下，人在认知过程中没有预知的正确模式，人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察，分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。对于人的这种学习方式，基于有导师学习策略的神经网络是无能为力的。4竞争型神经网络CompetitiveNeuralNetwork生物神经网络存在一种侧抑制的现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细脑产生抑制，这种抑制使神经细胞之间出现竞争：在开始阶段，各神经元对相同的输入具有相同的响应机会，但产生的兴奋程度不同，其中兴奋最强的一个神经细胞对周围神经细胞的抑制作

3、用也最强，从而使其它神经元的兴奋得到最大程度的抑制，而兴奋最强的神经细胞却“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，并因为获胜其兴奋的程度得到进一步加强，正所谓“成者为王，败者为寇”。竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。4.1.1基本概念模式、分类、聚类与相似性模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：在类别知识等导师信号的指导下，将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类,而将不相似的分离开；相似性：输入模式的聚

4、类依据。相似性测量神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。4.1竞争学习的概念与原理（1）欧式距离法X和Xi两向量欧式距离:两个模式向量的欧式距离越小，两个模式越相似，当两个模式完全相同时，其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最大值T，则最大欧式距离T就成为一种聚类判据。同类模式向量的距离小于T，两类模式向量的距离大于T。（2）余弦法计算两个模式向量夹角的余弦：两个模式向量越接近，其类角越小，余弦越

5、大。当两个模式向量完全相同时，其夹角余弦为1。若同类内各模式向量间的夹角规定不大于ΨT，则Ψ成为一种聚类判据。余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。侧抑制与竞争自组织网络（竞争型神经网络）构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的“胜者”，这一获胜神经元则表示对输入模式的识别。——体现了物生神经细胞的侧抑制竞争机制。实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，即，当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种侧抑制使神经细胞之间呈现出竞争，开始时可能多个细胞同时兴奋，但一

6、个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也最强，其结果使其周围神经细胞兴奋程度减弱，从而该神经细胞是这次竞争的“胜者”，其它神经细胞在竞争中失败。向量归一化不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向不变长度为1的单位向量。单位向量进行比较时，只需比较向量的夹角。X向量的归一化：4.1.2竞争学习原理（Winner-Take-All学习规则）竞争型神经网络按胜者为王学习规则对获胜神经元的权值进行调整。网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称

7、为WinnerTakeAll。Winner-Take-All算法可分为3个步骤。得到：(1)向量归一化将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj(j=1,2,…m)全部进行归一化处理。向量归一化之前向量归一化之后(2)寻找获胜神经元此式看出，欲两单位向量的欧式距离最小，须使两向量的点积最大。即因此，求最小欧式距离的问题就转化为按此式求最大点积的问题，而且权向量与输入向量的点积正是竞争层神经元的净输入。(3)网络输出与权值调整胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。即只有获胜神经元才有权调整