资源描述：
《贝叶斯分类器 3》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、统计模式识别（二）贝叶斯分类器内容贝叶斯分类的基本原理最小错误率贝叶斯分类最小风险贝叶斯分类最大似然比贝叶斯分类正态分布中的贝叶斯分类回顾：线性分类器设计思路梯度下降法感知器法哈哈统计有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均…统计学以数
2、据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。统计学是面对不确定情况寻求决策、制定方法的一门科学人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征PR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。1、贝叶斯公式及其意义：一、贝叶斯分类原理：P(Bk
3、A)是事件A发生时事件Bk发生的条件概率；P(Bk)是事件Bk发生的概率；p(A
4、Bk)是事件Bk发生时事件A发生的条件概率密度；p(A)是事件A发生的条件概率密度；贝叶斯公式表达了两个相关事件在先后发生时的推理关系2、作为统计判别问题的模式识
5、别：以两类分类问题来讨论：设有两个类别ω1和ω2，理想情况，ω1和ω2决定了特征空间中的两个决策区域。确定性分类：我们任取一个样本x，当它位于ω1的决策区域时，我们判别x∈ω1；当它位于ω2的决策区域时，我们判别x∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。随机性统计分类：如我们任取一个样本x，当它位于ω1的决策区域时，它属于ω1的概率为小于1，属于ω2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。3、先验概率和后验概率：先验概率：根据大量样本情况的统计，在整个特
6、征空间中，任取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说，在样本集中，属于类ωj的样本数量于总样本数量的比值为P(ωj)。我们称P(ωj)为先验概率。显然，有：P(ω1)＋P(ω2)＋……＋P(ωc)＝1后验概率：当我们获得了某个样本的特征向量x，则在x条件下样本属于类ωj的概率P(ωj
7、x)称为后验概率。后验概率就是我们要做统计判别的依据。4、后验概率的获得：后验概率是无法直接得到的，因此需要根据推理计算，由已知的概率分布情况获得。根据贝叶斯公式可得：其中：p(x
8、ωj)为类ωj所确定的决策区域中，特征向量x出现的概率
9、密度，称为类条件概率密度，又称为似然函数。p(x)为全概率密度，可由全概率公式计算得到。以细胞识别为例：细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类ω1或异常类ω2中去。假定可以得到Pr（ω1）、Pr（ω2），[Pr（ω1）+Pr（ω2）=1],和p(x
10、ω1)、p(x
11、ω2)。如果只有先验概率，那么合理的选择是把x分到Pr（ω1）、Pr（ω2）大的一类中去。一般由于Pr（ω1）>Pr（ω2），这样就把所有的细胞分到了正常的一类。失去了意义。如果有细胞的观测信息，
12、那么可以改进决策的方法。为了简单起见，假定x是一维的特征（如胞核的总光强度）。p(x
13、ω1)和p(x
14、ω2)已知：利用贝叶斯公式：得到的Pr（ωi
15、x）称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的x，把先验概率转换为后验概率。5贝叶斯分类估计密度函数p(x
16、ωi)i=1，2,…，Mp(x
17、ω1)p(x
18、ω2)p(x
19、ωM)…p(ω1)p(ω2)p(ωM)最大值选择器判别结果x贝叶斯分类器贝叶斯分类的前提要决策分类的类别数是一定的。各类别总体的概率分布是一定的。二、几种贝叶斯分类判别规则：1、最小错误率贝叶斯分
20、类：若有c个分类，若取得样本的特征向量x的条件下，某个类对应的后验概率后验概率P(ωk
21、x)最大，则判别x∈ωk发生错误分类的可能性最小，因此，以下判别规则称为最小错误率贝叶斯分类：若P(ωk
22、x)＝max｛P(ωj
23、x)｝，则x∈ωkj＝1,2,……c1、最小错误率贝叶斯分类例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率P(x/ω1)=0.2，P(x/ω2)=0.4下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。证明：错
24、误率是对所有x的平均错误率Pr（e）两类时的条件错误概率为：令t是两类的分界面，当x是一维时，即x轴上的一点。要使Pr（e）是最小的，可从两个思路看：要使最小，使对每个x，Pr（e
25、x）都要最小。所以取后验概率最大的。假
