模式识别-3-贝叶斯决策理论ppt课件.ppt

《模式识别-3-贝叶斯决策理论ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章贝叶斯决策理论基础知识贝叶斯决策分类正态分布决策理论几种常用决策规则基于最小风险的贝叶斯决策聂曼－皮尔逊决策最小最大决策序贯分类关于分类器的错误率分析§3-1基础知识贝叶斯决策理论是统计模式识别中的基本理论之一，用其进行分类时要求：各类别总体的概率分布是已知的；要决策分类的类别数是一定的。说明：若要研究的分类问题有c个类别，各类别状态用表示，对应于各个类别的先验概率为，类的条件密度函数为。对于称为d维随机特征向量，通过对被识别对象的多次观察和测量（即采样过程）得到；并将其作为某一个判决规则的输入，按此规则来对样本进行分类。确定性特征向量与随机特征向量确定性特征向量在

2、获取模式的观测值时，有些事物具有确定的因果关系，即在一定条件下，存在必然会发生或必然不发生的确定性，这样获得的特征向量称为确定性特征向量。例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。这种现象是确定性的现象，比如上一讲的线性模式判别就是基于这种现象进行的。随机特征向量在现实世界中，对于许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。

3、此时，特征向量不再是一个确定的向量，而是一个随机向量。因此，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。样本概率、先验概率、条件概率与后验概率若模式空间样本为x，分为类别，则有：样本概率：模式空间的样本x是通过多次观察得到的，样本点的出现具有随机性，P(x)表示样本x出现的概率，也就是在全体样本中出现的概率。先验概率：对于多类问题，类别状态出现的概率，称为先验概率条件概率：在类别中，样本x出现的概率，称为条件概率后验概率：对于样本x，其来自于类别的概率，称为后验概率对x再观察：有细胞光密度特征,有类条件概率密度:P(x/ωi)i=1,2,…，如右上图所示

4、。利用贝叶斯公式：通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。§3-2贝叶斯决策分类器—最优分类、最佳分类一、两类问题例如：某地区，细胞识别问题：ω1正常细胞，ω2异常细胞。经大量统计获得先验概率为：P(ω1)，P(ω2)。若取该地区某人细胞x属何种细胞，只能由先验概率决定。设N个样本分为两类ω1，ω2。每个样本抽出n个特征，x=（x1，x2，x3，…，xn）T通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。1.判别函数：若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ω1)，

5、P(x/ω2)。则可得贝叶斯判别函数四种形式：判别函数：2.决策规则：3.决策面方程：x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/ω1)=0.2，P(x/ω2)=0.4g(x)阈值单元4.分类器设计：说明：所定义的决策规则实际上是使对每个样本的分类错误取小，即使分类的平均错误率P(e)达到最小。因此，贝叶斯决策分类器具有最小错误率，称为贝叶斯意义下的最

6、优分类。二、多类情况：ωi=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)1.判别函数：M类有M个判别函数g1(x),g2(x),…,gM(x).每个判别函数有上面的四种形式。2.决策规则：另一种形式：3.决策面方程：4.分类器设计：g1(x)Max(g(x))g2(x)gn(x)一、正态分布判别函数1、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(μ,σ²)只有均值和方差两个参数。2、单变量正态分布：§3-3正态分布决策理论3、（多变量）多维正态分布（1）函数形式：(2)、性质：①、μ与∑对分布起决定作用P(x)=N(μ,

7、∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。④、边缘分布与条件分布的正态性。⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。⑥、线性组合的正态性。判别函数：类条件概率密度用正态来表示：决策面方程：二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes分类器1.第一种情况：各个特征统