资源描述：
《模式识别--统计判别.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章统计判别贝叶斯决策理论作为统计判别问题的模式分类在现实世界中，由于许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。特征值不再是一个确定的向量，而是一个随机向量。此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。分类要求1、各类别总体的概率分布是已知的；2、要决策分类的类别是一定的。分类思路已知类的先验概率、类概密，按照某种准则能够使我们的分类识别结果统计上是最佳的。4.1最小误判概
2、率准则判决对x再观察：有细胞光密度特征,有类条件概率密度:P(x/ωί)ί=1,2,…。如图所示利用贝叶斯公式：通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。、两类问题例如：细胞识别问题ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区某人细胞x属何种细胞，只能由先验概率决定。设N个样本分为两类ω1，ω2。每个样本抽出n个特征，x=（x1，x2，x3，…，xn）T通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。1
3、、判别函数：若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ω1)，P(x/ω2)。则可得贝叶斯判别函数四种形式：判别函数判决规则决策面方程x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面例子例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/ω1)=0.2，P(x/ω2)=0.4分类器设计：g(x)阈值单元二、多类情况：ωί=(ω1,ω2,…,ωm)，x
4、=(x1,x2,…,xn)1.判别函数：M类有M个判别函数g1(x),g2(x),…,gm(x).每个判别函数有上面的四种形式。2.决策规则：另一种形式：3、决策面方程：4、分类器设计：g1(x)Maxg(x)g2(x)gn(x)§正态分布决策理论一、正态分布判别函数1、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(μ,σ²)只有均值和方差两个参数。2、单变量正态分布：3、（多变量）多维正态分布（1）函数形式：(2)、性质：①、μ与∑对分布起决定作用P(χ)=N(μ,∑),μ由n个分量组成，
5、∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。④、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。⑤、线性组合的正态性。判别函数判别函数：类条件概率密度用正态来表示：最小错误率(Bayes)分类器最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes分类器1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况)判
6、别函数最小距离分类器：未知x与μi相减，找最近的μi把x归类如果M类先验概率相等：讨论：未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。2、第二种情况：Σi＝Σ相等，即各类协方差相等。讨论：针对ω1，ω2二类情况3、第三种情况(一般情况)：Σί为任意，各类协方差矩阵不等，二次项xTΣίx与i有关。所以判别函数为二次型函数。§关于分类器的错误率分析1、一般错误率分析：2、正态分布最小错误率(在正态分布情况下求最小错误率)4.2最小风险Bayes分类器假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现
7、以下情况：第一类，判对(正常→正常)λ11；第二类，判错(正常→肺病)λ21；第三类，判对(肺病→肺病)λ22；第四类，判错(肺病→正常)λ12。在判断时，除了能做出“是”ωi类或“不是”ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：一些概念在整个特征空间中定义期望风险,期望风险：行动αi：表示把模式x判决为ωi类的一次动作。损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。损耗函数λij=λ(αi/ωj)表示模式X本来属于ω
8、j类错判为ωi所受损失。因为这是错误判决，故损失最大。风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）条件风险（也叫条件期望损失）：一些概念（续）条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空
