利用k-l变换进行特征提取的实验报告稿

《利用k-l变换进行特征提取的实验报告稿》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、模式识别大作业班级：09030901题目：利用K・L变换进行特征提取的实验姓名：陈升富学号：2009302313姓名：黎昭八、、学号：2009302320姓名：益琛学号：2009302311日期：2012/4/251、基本要求用FAMALE.TXT和MALE.TXT的数据作为本次实验使用的样本集，利用K-L变换对该样本集进行变换，与过去用Fisher线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。2、具体做法（1）不考虑类别信息对整个样本集进行K-L变换（即PCA）,并将计算岀的新特征方向表示在二维平面上，考察投影到

2、特征值最大的方向后男女样本的分布情况并用该主成分进行分类。（2）利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用该投影方向进行分类。（3）将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。3xK-L变换的原理设n维随机向量无=（肮上,…，兀），其均值向量W=相关矩阵R=e[xx]>协方差矩阵N经正交变换后产牛-向量设有标准正交变换矩阵T,（即T'T=I）y=Tx=（也…。'"（儿旳…儿）’，必=「丘（心1,2・・・加（称为x的K-L展开式）/=!取前m项为无的估计值丘=£〉区?=11

3、误差为L—1rr^2(m)=E

4、(x-i)T(x-x)=工工E[)“；]i=m+l/=w+l彳(加)=£E[yf]=£Ely^]=£可E(双)£=R&/=/??+1/=/?/+!/=/?;+1z=?n+l在T的约束条件下，要使均方误差£2(m)=E[(x-x)x—»]=£『Rj.tminz=m+lnn为此设定准则函数心£罕昭-£a(M-Di=m+/=/?/+12J由三==0可得(/?f一&/)£=0i—/??+1,...,72%即R&=几£i=加+1,..・,〃表明：入是他的特征值，而是相应的特征向量。利用上式有：£2伽)=£耳R&=££'入&

5、=£&/=川+1i=M+li=M+l用“截断”方式产生X的估计时，使均方误差最小的正交变换矩阵是其相关矩阵《的前/〃个特征值对应的特征向量构成的。4、实验内容实验中，训练样本集的身高和体重数据构成二维特征向量。利用K-L变换,找出合适的投影方向，将原坐标系中的二维向量变为新坐标系中的一维向量，根据变换后的数据进行分类及为实验目的。4.1不考虑类别信息的特征提取根据训练样本集数据，计算样本均值亦=和协方差矩阵ssss诉讼TTVCJEx~ux~u令产生矩阵屮二C；=E，式中，无=(兀，兀)是二维特征列向量。x~uX'U丿丿计算屮的特征值，则最大特征值

6、对应的特征向量即为要求的新坐标系。将原来的二维坐标系中的数据投影到以为坐标系之后，给定适当的阈值即可实现对样本数据得分类。4.2利用类均值向量的特征提取根据训练样木集数据，分别计算两个样木的均值饥和协方差矩阵5。在给7定先验概率p(wj的情况下可以计算出类内离散度矩阵S严辛P(wj5以及类间2/、离散度矩阵S’,=#p(wj)xrxI丿^i~xk/值。S“,是K-L坐标系的产生矩阵，变换后表征分类性能的函数TT,其屮召.和兀分别代表各类均值与总体均可见丿(①.)是类间离散度与类内离散度在◎这坐标的分量之比，丿(©)越大，表明在新坐标系中该坐标轴包含

7、较多可分性信息。为了降低特征空间的维数，可以将各分量按丿(巧・)大小重新排列，使：/(%))>J(x2)>...>J(xD)并且与前面d个最大的丿(®J值相对应的特征向量竹，j=l,,d作为特征空间的基向量。5、实验结果5.1不考虑类别信息的特征提取实验结果实验中不考虑类别信息，用FAMALE.TXT和MALE.TXT的数据作为本次实验使用的样木集，建立基于K-L变换的分类器，记录错误率，并与Fisher线性分类器的分类结果作比较。男误判为女女误判为男K-L104Fisher845、2利用类均值向量的特征提取实验结果实验中考虑类别信息，设定男女先验

8、概率分别为0.75和0.25,建立基于K-L变换的分类器，记录分类错误率并与Fisher线性分类器的分类错误率进行比较。男误判为女女误判为男K-L103Fisher846、总结及心得总结：由实验结果可知：不考虑类别信息的基于K-L变换的特征提取再分类与Fisher分类器效果差不多，不过在本次实验中，Fisher判别更胜一筹。考虑类别信息时，分类效果会受到先验概率的影响。心得：7、实验源代码不考虑类别信息：clearallclcA=textread('MALE・TXT');B=textread(1FEMALE.TXT1);male=A(:,1:2);

9、female=B(:,1:2);T=[male;female];s=cov(T)[m,n]=eig(s);ifn(lzl)