6、x),则判决x属于ω2;如果P(ω1
7、x)=P(ω2
8、x),则判决x属于ω1或属于ω2。这种决策称为最大后验概率判决准则,也称为贝叶斯(Bayes)判决准则。假设已知P(ωi)和p(x
9、ωi)(i=1,2,…,m),最大后验概率判决准则就是把样本x归入后验概率最大的类别中,也就是,则x∈ωj。最大后验概率判决准则几种最大后验概率判决准则的等价形式:(1)若，则x∈ωj;(2)若，则x∈ωj;(3)若则x∈ωj。其中,L(x)称为似然比，lnL(x)称为对
10、数似然比。由于已知P(ωi)和p(x
11、ωi),因此我们希望找到P(ωi
12、x)与它们之间的关系。假设特征变量为X，由Bayes公式在最大后验概率判决准则中,x∈ωj的决策区域Rj为(j=1,2,…,m)最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。因此,最大后验概率判决准则又称为最小错误概率判决准则。基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的。类条件概率密度通过计算，换算成如下图所示的后验概率分布。可以看出，在X值小时，判断为ω1类是比较合理的，判断错误的可能性小。例如,假设模式x为一维的情况,得到的两类分界点为t,将x轴分为两个区域R1和R
13、2,其中,纹理区域的面积表示平均错误概率,即图中，，图2-2平均错误概率计算示意图在作出决策时，要考虑所承担的风险。基于最小风险的贝叶斯决策的基本思路是给每一种决策规定一个损失值(或代价),将其作为因错误决策而导致的损失的度量。最小风险贝叶斯判决准则(1)决策αj:将样本x的类别判为第j类。(2)损失函数λ(αj,ωi):对真实类别为第i类的样本采取决策αj所带来的损失。(3)条件风险当样本x的真实类别未知时,决策αj的条件风险是对x为所有可能的真实类别条件下将样本判为第j类的代价求平均,即最小风险贝叶斯判决准则:如果则判决x∈ωk。考虑两类别一维特征向量情况，R
14、1与R2两个区域的分界线不再是t，而是向左移了一段距离（t1)。这是由于损失函数λ12比λ21大所造成。在发生位移这一区域内，尽管P(x
15、ω1)P(ω1)>P(x
16、ω2)P(ω2)，但是为了减少将ω2错判为ω1所带来的严重损失，在P(x
17、ω2)P(ω2)不很小的情况下，使将ω2类样本错判为ω1的可能性减小，以减小决策所承担的风险。当然平均错误率则明显增大了。t1t线性分类器Fisher线性判决分段线性分类器近邻分类器有教师训练的ANNSVM监督（有教师）分类方法线性判别函数的形式如下:线性分类器设计的关键在于确定权向量w和阈值权w0。线性判别函数常数其几何意义为d维欧几里德
18、空间中的一个超平面。(1)w是超平面的法向量。对于两类分类问题,线性判决函数的几何意义在于利用一个超平面实现对特征空间Rd的划分。超平面示意图w指向R1,R1中的点在H的正侧。R2中的点在H的负侧。(2)g(x)是x到超平面距离的一种代数距离。x可以分解为超平面的法向量x在H上的投影x到H的垂直距离w方向上的单位法向量，该距离有符号,当符号为正时,表明x对应的点在超平面的正侧,反之在负侧。(2)确定一个准则函数J,要求满足以下两个条件:①J是样本集、w和w0的函数;②J的值反映分类器性能,它的极值对应于“最好”的决策。 (3)用最优化技术求解准则函数,得到极值点
19、对应的w*和w*0。线性分类器设计,其关键在于最优准则以及相应的求解方法。(1)选择样本集z={x1,x2,…,xN}。样本集中的样本来自两类且类别已知。线性判别函数设计的一般步骤Fisher线性判决Fisher线性判决的基本思想是寻找一个最好的投影方向,当特征向量x从d维空间映射到这个方向上时,两类能最好地分开。这个方法实际上涉及特征维数的压缩问题。分析w1方向之所以比w2方向优越，可以归纳出这样一个准则：即向量W的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fi
