模式识别之贝叶斯决策.pdf

《模式识别之贝叶斯决策.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第2章贝叶斯(Bayes)决策理论2.1引言（已知条件、欲求解的问题）2.2几种常用的决策规则2.3正态分布时的统计决策2.4离散情况的贝叶斯决策2.5分类器的错误率问题2.1引言模式识别的分类问题：根据待识别对象的特征观察值，将其分到某一个类别中Bayes决策理论的基本已知条件①已知决策分类的类别数为c，各类别的状态为：,ic1,...,i②已知各类别总体的概率分布（各个类别出现的先验概率和类条件概率密度函数）P(),(x

2、p),i1,...,ciiBayes决策理论欲解决的问题如果在特征空

3、间中观察到某一个（随机）向量x=(x,x,…,x)T12d那么，应该将x分到哪一个类才是最合理的？2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策2.2.2基于最小风险的Bayes决策2.2.3Neyman-Pearson决策2.2.4最小最大决策2.2.5序贯分类方法2.2.1基于最小错误率的Bayes决策利用概率论中的Bayes公式进行分类，可以得到错误率最小的分类规则已知条件①类别状态的先验概率P()ip(x

4、)②类条件概率密度iic1,...,根据Bayes公式得到状态的后

5、验概率pP(x

6、)()iiP(

7、x)icpP(x

8、jj)()j1后验=似然x先验/证据因子基本决策规则ifPP(

9、x)max(

10、x)thenxijijc1,...,将x归属后验概率最大的类别两类情况下的Bayes决策规则及其变型①Bayes决策规则如果(PP

11、x)max(

12、x),则xijij1,21如果(PP

13、x)(

14、x)则x12<2②变型1（消去相同的分母）如果(PP

15、x)max(

16、x),则xijij1,2pP(x

17、)()iiP

18、(

19、x)icpP(x

20、jj)()j1如果(x

21、p)(P)max(x

22、p)(P),则xiijjij1,21如果(x

23、p)(P)(x

24、p)(P)则x1122<21如果(x

25、p)(P)(x

26、p)(P)则x③变型211<222似然比似然比阈值pP(x

27、12)()1如果(x)l则xpP(x

28、)<()212④变型3（取似然比的自然对数的负值）如果(x)hlln((x))P()11ln((x

29、pp))l

30、n((x

31、))ln()则x12>P()22两类的后验概率相等时，采取的策略：归属其中一类拒绝（设置一个拒绝类，供进一步分析）例：某地区细胞识别中，正常和异常细胞的先验概率：P(ω)=0.9，P(ω)=0.112有未知细胞x，对应的类条件概率密度：P(x

32、ω)=0.2，P(x

33、ω)=0.412判别该细胞属于正常细胞还是异常细胞？解：先计算后验概率：px(

34、)(P)0.20.911Px(

35、)0.818120.20.90.40.1px(

36、jj)(P)j1P(

37、)

38、x1P(

39、)x0.18221属于正常细胞，注意：先验概率起主导作用如果先验概率相等，则属于异常细胞正确分类与错误分类•正确分类：将样本归属到样本本身所属的类别•错误分类：将样本归属到非样本本身所属的类别312以一维、两类情况为例，证明Bayes规则使分类错误率最小（平均）错误率定义为Pe()Pexdx(,)Pexpxdx(

40、)()条件错误概率Bayes决策规则：if(PP

41、x)>(

42、x)thenx121此时，x(ω2)的条件错误概率Px(2

43、)if(PP

44、

45、x)>(

46、x)thenx212此时，x(ω1)的条件错误概率Px(1

47、)Px(

48、)1Px(

49、)2P(

50、),(xifP

51、)xP(

52、)x121Pex(

53、)条件错误概率P(

54、),(xifP

55、)xP(

56、)x212pP(x

57、)()iiP(

58、x)icBayes公式pP(x

59、jj)()j1P(

60、x)(x)pp(x

61、)(P)iiicpx()px(

62、ii)(P)i1全概率公式平均错误率Pe()Pexpxdx(

63、)()px(

64、)(P),

65、(ifP

66、)xP(

67、)x1121Pexpx(

68、)()px(

69、)(P),(ifP

70、)xP(

71、)x2212t是两类的分界点，x轴分成两个区间tPe()px(

72、)(P)dxpx(

73、)(P)dx2211t红＋黄绿只有当t取两类后验概率相等的点时，错误率才是最小的（黄颜色区域变成零）Pe()P()px(

74、)dxP()px(

75、)dx221112P()Pe()P()()Pe2211