资源描述：
《225判别函数、决策与分类器设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章贝叶斯决策理论与统计判别方法§2.1引言对一个样本X表示成一个d维特征向量X=（兀］,兀2，・..,兀』找出一种办法，将其分类，X:——ej=l,2...c.用映射的观点：XgRd——符号集{①,马，…,0.}运用概率作为分类的依据实现分类先验概率p（亦,i=l,...,c.概率密度函数P（X丨0）后验概率P（a）iX）§2.2几种常用的决策规则2.2.1基于最小错误率的贝叶斯决策给定X—>CO)对任一给定X值，它属于◎的概率P(0.IX)如p(0丨X)=1,则P(a)jX)=OJ^i.则XT0・错判的可能性为0.如果P⑷•IX)=maxP(®IX),)=1,
2、2,…,c・则XG69■.对X这一具体样本，错判的概率最小P(eX)=l-P(a)iX)平均错误率p(e)=JP(eIX)P(Xlx=J[1-P{a)IX)]f(X)dx=1-p{cdIX)P(X)dx后验概率要以先验概率与类概率密度分布计算一一贝叶斯公式联合概率密度函数P（x,0）=P（0丨x）p（x）=p（xIa））p（a））基于最小错误率贝叶斯决策的其它表示如果P（xIcoi）P（69-）=maxP（xI©）P（®）,j=1,2,…，c.似然比表示心）二爭叫>码纠,则氏严（2-4）P（jdd）vP（0）[马负对数A（x）=-ln[Z（x）]（2-5）错谋率
3、（图2.3）P11平均错误率P（e）=fP（®Ix）P（x）dx+[P（©1x）P{x）dx•RiJRy[P（XIC02}p{o）2）dx+（p{xI69））P（69]}dx（2-9）2.2.2基于最小风险的贝叶斯决策出发点：考虑由错判引起的后果不同的错课产主后果的严重性不同，损失，风险。癌症———正常损失大正常—>痂症损失小原则：减小犯损失人的错的可能性T扩人其它错误的可能性定义：•状态空间：样木类别空间Q={©,・・・,©}•决策空间：所作决策的集合r-）亠Cl=C刊有vdHC•损失系数：血=A[aiIco）J、J•期望损失：对某一样本X,作e决策。而X对各类的后验
4、概率R{aix）=^p[a）jlx）j=i（2-14）•基于最小风险（损失）决策如果/?（%.Ix）=minR{aiIxi=1,…,a.则兀wari•期望风险：对样木x在特征空间取值的平均风险R=^R（aIx）p{x）clx（2-16）•基于最小风险决策与基于最小错课率决策的关系期望损失：R{aiI兀）=仏Ix）如令砖{;::;cz则R（Q：I兀）二
5、兀）=1一P（Q；
6、x）j故基于最小错误率称为基于最小风险决策的（0-1）决策图2.3决策域左移一＞OCn＞OC1X例P102.1和P142.2结果比较2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策
7、基于最小错误率决策中一个重要因素p（e）的影响(2-9)P(e)=P(692)Jp(xIa)2)dx+P(®)
8、p(xIco{)dxRR?定义P
9、@）=I69]）dx鬥@）=jp（xIco^dx心%如果）不可靠不稳定，为了排除该影响限定4@）=£（）条件下，使片@）授小条件极值利用拉格朗FI乘子法(2-20)jp(xI0])dx+Ajp(xI(o2)dx_£0r2R/?2L&-=1-
10、p(xI69(}dx+A
11、p(xIa)2)dx-兄&R、=(1->l£0)+j[/lP(xI®)-P(xI)]dxR乂二P（g）P（XI692）£（）二卩（兀®）R沿R边界的点X
12、具有学叫二2的性质呛丨0）决策：如果py叫j,贝吹wP[xco2）＜a/一rsa/dylOn0=>◎a)2(2-28)(2-25,26)224最小最大决策另一种考虑先验概率不稳定不可靠的决策方法两类别最小风险R=『［人
13、卩（山丨兀）+人2卩（®1兀）］户（兀）〃兀+JRiPSi丨兀）+/PS?lx）］P（x）dx&r2利用贝叶斯公式及He）+p（d）=1R=a+bP（（0］）其中q=222+（人2-人2）j*P（xI5）dx（2-34）&b=（人
14、—入J+（入i—&i）JP（兀Ico,）dx—（Ap一人2）JP&I©加（2-35）咫R在&已设计确定条件下，a,b为常
15、数图2.5解释其屮每一点是最佳设计（最小风险）2.2.5判别函数、决策面与分类器设计判别函数：=1,•••（?.如IfP（Q]lx）>P（0丨兀）Thenxe<中g/（x）:p（0.lx）.决策：用判别函数值的大于小于关系——不等式。决策域：在同一域内，判别函数值Z间关系满足同一个不等式。决策面：不同决策域之间分界面，相邻的决策域间的分界面。分类器框图（图2.8）P20o§2.3正态分布时的统计决策2.3.1正态分布概率密度函数的定义与性质正态分布函数的重要性（1）普遍性（2）数学描述式子的简便性—、单变量（元）正态分布公式p(x)=其中
