基于统计决策的概率分类法

《基于统计决策的概率分类法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章基于统计决策的概率分类法2.1研究对象及相关概率2.2贝叶斯决策2.3贝叶斯分类器的错误率2.4聂曼-皮尔逊决策2.5概率密度函数的参数估计2.6概率密度函数的非参数估计2.7后验概率密度分类的势函数方法第2章基于统计决策的概率分类法获取模式的观察值时，有二种情况：*确定性事件：事物间有确定的因果关系。第三章内容。*随机事件：事物间没有确定的因果关系，观察到的特征具有统计特性，是一个随机向量。只能利用模式集的统计特性进行分类，使分类器发生分类错误的概率最小。1.两类研究对象2.相关概率1）概率的定义设Ω是随机试验的基本空间（所有可能的实验结果或基本事件的全体构成的集合，也称样本空间），A

2、为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若P(A)满足：2.1研究对象及相关概率（3）对于两两互斥的事件A1，A2，…有（1）对任一事件A有：0≤P(A)≤1。（2）P(Ω)=1，Ω——事件的全体则称函数P(A)为事件A的概率。设A、B是两个随机事件，且P(B)>0，则称为事件B发生的条件下事件A发生的条件概率。3）条件概率定义（1）不可能事件V的概率为零，即P(V)=0。2）概率的性质联合概率P(AB)：A，B同时发生的概率(2-1)（1）概率乘法公式：如果P(B)>0，则联合概率P(AB)=P(B)P(A

3、B)=P(A)P(B

4、A)=P(BA)（3）贝叶斯公式：在全概

5、率公式的条件下，若P(B)>0，则将(2-2)，(2-3)式代入(2-1)式中，有：(2-4)4）条件概率的三个重要公式：则对任一事件B有：（2）全概率公式：设事件A1，A2，…，An，两两互斥，且(2-2)(2-3)今后的分类中常用到类概率密度p(X

6、ωi)：ωi类的条件概率密度函数，通常也称为ωi的似然函数。设随机样本向量X，相关的三个概率：（2）后验概率P(ωi

7、X)：相对于先验概率而言。指收到数据X（一批样本）后，根据这批样本提供的信息统计出的ωi类出现的概率。表示X属于ωi类的概率。5）模式识别中的三个概率（1）先验概率P(ωi)：根据以前的知识和经验得出的ωi类样本出现的概率，与现

8、在无关。（3）条件概率P(X

9、ωi)：已知属于ωi类的样本X，发生某种事件的概率。例对一批得病患者进行一项化验，结果为阳性的概率为95%，ω1代表得病人群，则X化验为阳性的事件可表示为P(ω2

10、X)表示试验呈阳性的人中，实际没有病的人的概率。若用某种方法检测是否患有某病，假设X表示“试验反应呈阳性”。则：例如：一个2类问题，ω1诊断为患有某病，ω2诊断为无病，P(ω2)表示该地区人无此病的概率。则：P(ω1)表示某地区的人患有此病的概率，P(X

11、ω2)表示无病的人群做该试验时反应呈阳性(显示有病)的概率。值低/高√值低/高√P(X

12、ω1)表示患病人群做该试验时反应呈阳性的概率。P(ω1

13、X)表

14、示试验呈阳性的人中，实际确实有病的人的概率。？？通过统计资料得到（4）三者关系：根据(4-4)贝叶斯公式有（2-5）M：类别数2.决策规则2.2.1最小错误率贝叶斯决策讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：先验概率P(ωi)类(条件)概率密度p(X

15、ωi)后验概率P(ωi

16、X)采用哪种概率进行分类最合理？1.问题分析后验概率P(ωi

17、X)2.2贝叶斯决策设有M类模式，(2-6)——最小错误率贝叶斯决策规则虽然后验概率P(ωi

18、X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X

19、ωi)从统计资料中容易获得，故用Bayes公式，

20、将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：(2-7)几种等价形式：对两类问题，(2-7)式相当于若，则若，则可改写为：统计学中称l12(X)为似然比，为似然比阈值。对(2-9)式取自然对数，有：(2-7)，(2-8)，(2-9)都是最小错误率贝叶斯决策规则的等价形式。若，则（2-8）若，则（2-9）例2.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。，是

21、正常细胞。证明：贝叶斯分类器在最小化分类错误率上是最优的。最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。2.2.2最小风险贝叶斯决策1.风险的概念*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。对M类问题，如果观察