[理学]模式识别导论二

《[理学]模式识别导论二》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别PatternRecognition张正道江南大学通信与控制工程学院信息安全系第二章贝叶斯决策理论贝叶斯分类器最小风险Bayes分类器聂曼－皮尔逊判别准则最大最小判别准则序贯分类正态分布决策理论关于分类的错误率分析2-1引言应用要求：各类别总体的的概率分布已知要决策分类的类别数一定假设样本有d个观测量(特征)x=(X1,X2,…,Xd)T称：X为d维特征向量，其所有可能的取值构成d维特征空间。假设要求：要研究的分类问题有C个类，分别由表示。各类出现的先验概率以及类条件概率密度函数已知。对x再观察：有细胞光密度特征,有类条件概率密度:P(x/ωί)ί=

2、1,2,…。如图所示利用贝叶斯公式：通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。2-2几种常见的决策规则一、基于最小错误率的Bayes决策1、两类问题例如：细胞识别问题ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区某人细胞x属何种细胞，只能由先验概率决定。设N个样本分为两类ω1，ω2。每个样本抽出n个特征，x=（x1，x2，x3，…，xd）T通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。1、判别函数：若已知先验概率P(ω1),P(ω

3、2)，类条件概率密度P(x/ω1)，P(x/ω2)。则可得贝叶斯判别函数四种形式：2、决策规则：2、决策规则：2、决策规则：2、决策规则：3、决策面方程：x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/ω1)=0.2，P(x/ω2)=0.4g(x)阈值单元4、分类器设计：2、多类情况：ωί=(ω1,ω2,…,ωc)，x=(x1,x2,…,xd

4、)1.判别函数：M类有M个判别函数g1(x),g2(x),…,gd(x).每个判别函数有上面的四种形式。2.决策规则：另一种形式：3、决策面方程：4、分类器设计：g1(x)maxg(x)g2(x)gd(x)一般错误率分析：二、最小风险Bayes分类器假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况：第一类，判对(正常→正常)λ11；第二类，判错(正常→肺病)λ21；第三类，判对(肺病→肺病)λ22；第四类，判错(肺病→正常)λ12。在判断时，除了能做出“是”ωi类或“不是”ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研

5、究最小风险分类器，我们先说明几个概念：假定有c类问题，用表示类型，用表示可能作出的判决。实际应用中，判决数a和类型数c可能相等，a＝c；也可能不等，即允许除c类的c个决策之外，可以采用其它决策，如“拒绝”决策，此时a＝c+1。行动αi：表示把模式x判决为ωi类的一次动作。损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。损耗函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）由于判

6、决数目有a个，这样对于不同的判决和不同类型就有一个a*c维风险矩阵。在整个特征空间中定义期望风险,期望风险：条件风险（也叫条件期望损失）：条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。最小风险Bayes决策规则：实施最小风险判决规则的步骤如下：在给定样本x条件下，计算各类后验概率2.按照(2.3-1)式求各种判决的条件平均风险为此，需要知道风险矩阵。按照(2.3-2）式，比较各种判决的条件平均风险，把样本x归属于条件平均风险最小的那一种判决。二类问题：把x归于ω1时风险：把x归于ω2时

7、风险：三、在一类错误率固定使另一类错误率最小的判别准则（聂曼-皮尔逊判决neyman-pearson）例：两类的模式分布为二维正态协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则T.解：所以此时聂曼——皮尔逊分类器的分界线为：由图可知为保证ε2足够小，边界应向ω1一侧靠，则ε1↑T与ε2的关系表如右：T421½¼ε20.040.090.160.250.38四、最大最小判别准则前边的讨论都是假定先验概率不变，现在讨论在P(ωi)变化时如何使最大可能风险最小，先验概率P(ω1)与风险R间的变化关系如下：这样，就得出最小风险与先验概率的关系曲线

8、，如图所示：讨论：上式证明，所选的判别边界，使两类的