基于Fisher的分类器设计.ppt

《基于Fisher的分类器设计.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、主讲：周润景教授单位：电子信息工程学院基于Fisher的分类器设计目录Fisher判别法简介Fisher判别法的基本原理分类器设计算法实现识别待测样本类别结论Fisher判别法简介Fisher判别法作为一种分类方法是1936年由首先提出的。判别法是一种线性判别法，线性判别又称线性准则，与线性准则相对应的还有非线性准则，其中一些在变换条件下可以化为线性准则，因此对应于维特征空间，线性判别函数虽然最简单，但是在应用上却具有普遍意义，便于对分类问题理解与描述。基于线性判别函数的线性分类方法，虽然使用有限样本集合来构造，从严格意义上来讲属于统计分类方法。也就是说，对于线性分类器的检验，

2、应建立在样本扩充的条件下，以基于概率的尺度来评价才是有效的评价。尽管线性分类器的设计在满足统计学的评价下并不严格与完美，但是由于其简单性与实用性，在分类器设计中还是获得了广泛的应用。Fisher判别法的基本原理Fisher判别法基本原理是：对于d维空间的样本，投影到一维坐标上，样本特征将混杂在一起，难以区分。Fisher判别法的目的，就是要找到一个最合适的投影轴w，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。如何寻找一个投影方向，使得样本集合在该投影方向上最易区分，这就是Fisher判别法所要解决的问题。Fisher投影原理如下所示。Fisher准则函数的基本思

3、路:即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。Fisher分类器设计样本在d维特征空间的一些描述量(1)各类样本均值(2)样本类内离散度矩阵与总类内离散度矩阵(3)样本类间离散度矩阵Fisher分类器设计(2)样本类内离散度矩阵与总类内离散度矩阵在一维上投影，则有：(1)各类样本均值Fisher分类器设计Fisher准则函数定义原则为：希望投影后，在一维空间中样本类别区分清晰，即两类样本的距离越大越好，也就是均值之差越大越好；各类样本内部密集，即类内离散度越小越好，根据上述两条原则，构造Fisher准则函数使得为最大值的w即为要求

4、的投影向量。进一步化为w的显函数，得到Fisher准则函为：求解Fisher准则函数的条件极值，即可解得使为极值的。Fisher分类器设计最好投影方向阈值点对于任意未知类别的样本x，计算它的投影点决策规则为：算法实现◆流程图算法实现◆样本均值clear,closeall;N=29;%N为训练样本总个数X=[1495.181957.443498.02%X为训练样本1125.171594.392937.731269.071910.722701.97…………]m1=mean(X(1:11,:));%求得第一类样本均值m2=mean(X(12:29,:));%求得第二类样本均值算法实现

5、◆阈值点本设计器采用来确定阈值点，由于它既考虑了样本均值之间的平均距离，又考虑了两类样本的容量大小作阈值位置的偏移修正，因此，采用它可以使得分类误差尽可能小。算法实现◆输出分类结果fori=1:22y=W*x(i,:)'%确定投影点yify>y0%当y>y0时，测试样本属于第一类disp('一')holdon,plot3(x(i,1),x(i,2),x(i,3),'r+','MarkerSize',6,'LineWidth',2)elsedisp('二')%当y

6、rSize',6,'LineWidth',2)endend识别待测样本类别◆选择分类方法识别待测样本类别种类分类方法第一种第12类作为第一类，第34类作为第二类第二种第13类作为第一类，第24类作为第二类第三种第14类作为第一类，第23类作为第二类识别待测样本类别观察训练样本分布图可知，如果将第1、2类分在一起作为第一类，第3、4类分在一起作为第二类，显然，这样很难将其分开。因此，排除这种分类方法。选择第二、三种分类方法。识别待测样本类别数据编号原始分类预测分类数据编号原始分类预测分类数据编号原始分类预测分类数据编号原始分类预测分类数据编号原始分类预测分类13372213111

7、9442511233833142220222644311944154421232711433101116222233283354411331744233329336221233183224113033结果分析：从表中可以看出有2个分类结果是错的，正确率为93.3%。四、总结◆文章主要论述了分类法的内容、特点以及其分类器设计，重点讨论了利用Fisher分类法设计分类器的全过程。在设计该种分类器过程中，首先利用训练样本求得最佳投影方向，并确定阈值点。接着通过分析归纳给定样本数据的分类情况，最后利