感知器算法实验--1.docx

《感知器算法实验--1.docx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一.实验目的1.理解线性分类器的分类原理。2.掌握感知器算法，利用它对输入的数据进行分类。3.理解BP算法，使用BP算法对输入数据进行分类。二.实验原理1.感知器算法感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中，我们主要是采用硬限幅函数进行分类。感知器的训练算法如下：设输入矢量x1,x2,…,xn其中每一个模式类别已知，它们分别属于ω1类和ω2类。（1）置步数k=1，令增量ρ为某正的常数，分别赋给初始增广权矢量w(1)的各分量较小的任意值。（2）输入训练模式xk，计算判别函数值

2、wT(k)xk。（3）调整增广权矢量，规则是：a.如果xk∈ω1和wT(k)xk≤0，则w(k+1)=w(k)+ρxk；b.如果xk∈ω2和wT(k)xk≥0，则w(k+1)=w(k)-ρxk；c.如果xk∈ω1和wT(k)xk>0，或xk∈ω2和wT(k)xk<0，则w(k+1)=w(k)（4）如果k0分类正

3、确，则为第一个表达式，如果wT(k)xk≤0错误分类则为第二个表达式。在全部模式训练完一轮之后只要还有模式分类错误，则需要进行第二轮迭代，再用全部训练模式训练一次，建立新的权矢量。如果对训练模式还有错分，则进行第三轮迭代依此类推，直至对所有驯良模式均能正确分类为止，此时的w即为所求的权矢量。2．BP算法BP(BackPropagation)神经网络是一种神经网络学习算法。其由输入层、隐层、输出层组成的阶层型神经网络，隐层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连

4、接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。算法描述：输入层:单元i的输入：；单元数量：d；单元i的输出：；单元i的激活函数：线性函数;隐层：单元j的输入：netj；单元数量：nH；单元j的输出：；单元j的激活函数：非线性函数；输出层：单元k的输入：；单元数量：c；单元k的输出：单元k的激活函数：非线性函数两层神经网络图如下：分析：（1）给定隐层单元及输出层单元的激活函数，一个神经网络就可以实现一个对输入特征向量x的非线性映射。因此，神经网

5、络本质上是一个非线性函数。（2）给定隐层单元及输出层单元的激活函数，该非线性函数所对应的映射关系完全由权系数决定。不同的权系数对应不同的非线性映射。（3）神经网络学习的目的，就是根据已知的训练样本，确定神经网络的权系数。这一过程称为训练过程。在训练过程结束后，对于新样本x，根据神经网络的输出进行判决。（4）对于C类分类问题，神经网络的输出为。神经网络的判决规则为：如果，则判x属于wk。（5）令，可以看出神经网络实际上实现了C个非线性的鉴别函数，并根据鉴别函数的取值进行分类。（6）神经网络的训练目标：调整权系数w，即所有的wkj及wij，使得对于训练集中的每一个训练样本(x,t)，

6、网络的输出尽可能满足：（7）优化准则：对于样本集D，使下述误差函数取得最小值：权系数的调整：BP算法描述：对于给定的样本集D={(x,t)}，初始化网络结构d*nH*c。初始化权系数w，学习效率、阈值。随机从D中取出一个样本(x,t)，根据该样本更新权系数w：计算，如果结束训练，并认为此时的w为最优。否则转第2步继续进行循环。三．实验内容1.感知器算法实验本实验利用感知器算法的原理，随机抽取两类的部分数据，然后，用这两类的其他数据来验证分类是否正确。这里是利用感知器两两分类的原理。实验可得结果如下表。其中r1是输入x1所得的分类正确率，r2是输入x2所得的分类正确率，r3是输入x

7、3所得的分类正确率。当训练样本数m取20时，x1和x2数据分类正确率都是100%，x1和x3数据分类正确率是100%，而x2和x3的分类正确率分别为86%和93%。当训练样本数m取30时，x1和x2数据分类正确率都是100%，x1和x3数据分类正确率是100%，而x2和x3的分类正确率分别为92%和88%。由实验结果可以看出，x1和x2、x1和x3之间是线性可分的，而x2和x3则达到了与预设的迭代次数的上限，且分类效果不明显。说明感知器算法对于现行可分的数据有比较好的性能与速度，