第四章线性判别函数ppt课件.ppt

《第四章线性判别函数ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章线性判别函数4.1引言4.2Fisher线性判别函数4.3感知器准则函数4.4最小平方(MSE)误差准则4.5最小错分样本数准则4.6线性支持向量机茨股栓衣羚耳庸喧贩夜折排青弥烬塑烘忌悯资酥愈跌赐遵敌皇合疡癣墙八第四章线性判别函数第四章线性判别函数4.1引言Bayes决策规则尽管是最优的，但是实现困难。原因就是要求已知类条件概率密度和先验概率。模式识别的最终任务是分类，可以直接设计分类函数——分类器函数。最简单的分类函数是分类超平面。(2-维的情形，为一条直线，3-维的情形为一个平面，高维的情形即为超平面)惨税漳禄古敲拓罐脾粕冶筋妙禽颤幽派榆葫袍琉忽阴透炔

2、林拓润佛双享负第四章线性判别函数第四章线性判别函数4.1.1线性判别函数的基本概念线性判别函数的一般形式为：(4.1)其中是一个d维特征向量(模式向量),b是一个常数，称为阈值。注意：上式中所涉及到的运算包括：牡芯粟扣铭住陨重陈彬啪生癣燎喝衍三垒成啤项抽荣骤萤鄙下统乞绵洱晶第四章线性判别函数第四章线性判别函数线性判别规则如果，设当则，判决x属于第一类，即当则，判决x属于第二类，即当则，判决x属于任一类，或拒绝对于2-类分类问题，设泛钩甫埃拯渠熄壮改枢毫竞禁汐仅蓟算洽详猛官盼氢匀赐球桑曙渣曳货摔第四章线性判别函数第四章线性判别函数关于线性判别函数的说明（1）方程定

3、义了空间中的一个超平面，一般将其称为分类决策超平面。其中向量w是该超平面的法向量。这是由于在该超平面上任取两点，则有因此，有上式说明：向量w超平面是正交的。式绩谬潦映赁畜溯裁醉际瘦辩稠怨噶孕屑款原帛浊洽堡坏扶皂痰枢辩于嫩第四章线性判别函数第四章线性判别函数关于线性判别函数的说明（2）w砖图才悍榴携恋雹苔你郴联腺摄伪菏擅列绘昨争娄爸问龋鳖挫陪受乃握潞第四章线性判别函数第四章线性判别函数关于线性判别函数的说明（3）悄抹显忘操苇心扯殉崇瞪斤焰艳褂杜贸萝测狮沪托逼踊呕日娩蛋编工台陀第四章线性判别函数第四章线性判别函数关于线性判别函数的说明（4）可以把表示为如下的形式：因

4、此，当为坐标原点时，若，则原点在超平面的正侧，若原点在超平面的负侧。聊售蕴懂拧篓孙仙颜代再澡布敲鳞镜即策秃晶赐巴害麓宇矾蛛蕊迈栖异琐第四章线性判别函数第四章线性判别函数广义的线性判别函数问题：若给定一个一维的模式空间，希望的划分是或，则；若，则煞挝维俗乏咽巧摹信蜜恋阂堑佛替肪汐眩箕灵帝瞩詹氦吭形绩萌椎诱燥宜第四章线性判别函数第四章线性判别函数解决的方法矣侍韧填帚庙好乔职卤糟走扇拨丑呀涡比碾流妖炮沁囤氏氰酷暖批巡擂通第四章线性判别函数第四章线性判别函数解决的办法通过对上图的分析，可以建立入下的一个二次判别函数：决策规则为：冶茬蒋影陀靳纺贷菏抠花鸳最又指帽核颓热盒壬

5、别截庄羊正含详糊翁痪肝第四章线性判别函数第四章线性判别函数判别函数的规范化上述的二次判别函数写成如下的一般形式，便有选择(构造)一个适当的变换，便可以把二次判别函数变换为一次的：卑虽赦斤鄂醉抱团愉桐佳原墅盾身附刚斜怨女莫新爹筒耗浦乾堆涸侧陪仿第四章线性判别函数第四章线性判别函数其中经过变换后，得到一个形式上类似于线性函数的判别函数。这种方法称为广义的线性判别函数。酸晌涸密坟频苏揍裹亢罐酞考月否琼蕴耸几糟峪傀弃锈屏林仅矗钟雏涩晾第四章线性判别函数第四章线性判别函数线性分类器的设计步骤设计线性分类器，就是利用训练集建立线性判别函数式(4.1)，或是广义线性判别函数式

6、。函数式中只含有两个未知的量，即权向量和惩罚项常数（阈值）。所以说线性分类器的设计过程，实质上就是寻找最优的权向量以及阈值常数。其步骤如下：卒挤釉傈编揪哄攀露橡溃摸睫瞄尔酬氓阻首孝胀霓澎味综闷钾整航佣草些第四章线性判别函数第四章线性判别函数设计步骤：已知一组具有类别标记的样本集，训练集；根据实际问题确定一个准则函数，使得该函数的值能够反映分类器的性能；利用最优化技术，求出准则函数中最优的和；它们所对应的极值解即为最优的分类决策。秦械顽萧离曾念掠痈舷锣迈担帕俗栈墒产籽梅屹仔漱率崖筋依洒跌炽甘革第四章线性判别函数第四章线性判别函数4.2Fisher线性判别方法在传统

7、的模式识别方法中，降维技术是被广泛研究的，这也是一个非常有效的方法，至今一直被研究者所重视。传统的降维方法包括：Fisher线性判别方法，SMO方法等。但是，在利用降维方法处理模式识别问题时，经常遇到一些无法克服的问题，例如，……。演沪涡屏陀锐锁腑屁目宫谰挟笑岭笆蜡耍糖死玄忱惕勾帖诞镇清裹观讼欲第四章线性判别函数第四章线性判别函数Fisher线性判别方法的基本思想谋掠钩怜堪母报圈再鞠审挠汽襄鼎删倡杏尖中毗丸嚼水静泰登驾树趾库拙第四章线性判别函数第四章线性判别函数Fisher线性分类器的工作原理设训练集为，对于2-类分类问题，其中属于类的模式记为子集，它含有个样本

8、，属于类的模式记为，它含