资源描述：
《关于贝叶斯决策理论.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、课前思考机器自动识别分类，能不能避免错分类?怎样才能减少错误？不同错误造成的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？学习指南本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理
2、方法。学习指南理解本章的关键要正确理解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子，要透彻掌握。2.1引言统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法物理对象的描述在特征空间中讨论分类问题假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，记为x=[x1,x2,…,xd]T这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。贝叶斯决策理论方法讨论的问题讨论的问题总共有
3、c类物体已知各类在这d维特征空间的统计分布，各类别ωi=1,2,…,c的先验概率P(ωi)类条件概率密度函数p(x
4、ωi)问题:如何对某一样本按其特征向量分类已知d维特征空间的统计分布，如何对某一样本分类最合理基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策最小最大决策序贯分类方法§2.2几种常用的决策规则2.2.1基于最小错误率的贝叶斯决策分类识别中为什么会有错分类？当某一特征向量值X只为某一类物体所特有，即对其作出决策是容易的，也不会出什么差错问题在于出现模棱两可的情况
5、任何决策都存在判错的可能性。基于最小错误率的贝叶斯决策基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策条件概率P(*
6、#)是条件概率的通用符号即在某条件#下出现某个事件*的概率P(ωK
7、X):X出现条件下,样本为ωK类的概率P(*
8、#)与P(*)不同例:*表示中国人，#表示在中国大陆的人则P(*
9、#)与P(*)不同含义不同几个重要概念先验概率P(ω1)及P(ω2)概率密度函数P(x
10、ωi)后验概率P(ωi
11、X)贝叶斯决策理论先验概率，后验概率，概率密度函数假设总共有c类物体，用ωi(i=1,2,…,c)标记每个类
12、别，x=[x1,x2,…,xd]T，是d维特征空间上的某一点，则P(ωi)是先验概率p(x
13、ωi)是ωi类发生时的条件概率密度函数P(ωi
14、x)表示后验概率基于最小错误率的贝叶斯决策例：癌细胞的识别假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。这里我们用ω１表示是正常细胞，而ω２则属于异常细胞。基于最小错误率的贝叶斯决策先验概率P(ω1)和P(ω2)含义:每种细胞占全部细胞的比例P(ω1)+P(ω2)=1一般情况下正常细胞占比例
15、大，即P(ω1)>P(ω2)基于最小错误率的贝叶斯决策salmon”or“seabass”判别中的先验概率P(ωsalmon)P(ωseabass)基于最小错误率的贝叶斯决策先验概率根据先验概率决定这种分类决策没有意义表明由先验概率所提供的信息太少基于最小错误率的贝叶斯决策概率密度函数利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维观测向量。为简单起见，我们假定只用其一个特征进行分类，即d=1得到两类的类条件概率密度函数分布P(x
16、ω1)是正常细胞的属性分布P(x
17、ω2)是异常细胞的属性分布基于最小错误率的贝叶斯决策类条
18、件概率密度函数概率密度函数性质基于最小错误率的贝叶斯决策salmon”or“seabass”判别中的类条件概率密度函数基于最小错误率的贝叶斯决策类条件概率密度函数直接用来分类是否合理？具有一定的合理性不满足最小错误率要求没有考虑先验概率基于最小错误率的贝叶斯决策后验概率含义P(ω1
19、X)当观测向量为X值时,该细胞属于正常细胞的概率。P(ω2
20、X)当观测向量为X值时,该细胞属于异常细胞的概率。基于最小错误率的贝叶斯决策后验概率基于最小错误率的贝叶斯决策salmon”or“seabass”判别中的后验概率基于最小错误率的贝叶斯决策类
21、条件概率和后验概率区别后验概率:P(ω1
22、x)和P(ω２
23、x)同一条件x下，比较ω1与ω2出现的概率两类ω1和ω2，则有P(ω1
24、x)+P(ω2
25、x)=1如P(ω1
26、x)>P(ω2
27、x)则可以下结论，在x条件下，事件ω1出现的可能性大类条件概率:P(x
28、ω1)和
