贝叶斯决策理论课件1).ppt

《贝叶斯决策理论课件1).ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、贝叶斯决策理论内容引言几种常用的决策准则分类器设计基本概念模式分类：根据识别对象的观测值确定其类别样本与样本空间：类别与类别空间：c个类别（类别数已知）决策把x分到哪一类最合理？理论基础之一是统计决策理论决策：是从样本空间S，到决策空间Θ的一个映射，表示为：D:S->Θ。评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则主要有：基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策(Neyman—Pearson决策)基于最小错误率

2、的贝叶斯决策引例：癌细胞的识别。（每个细胞抽象为d维向量x=（x1,x2,x3,…,xd），识别的目的是要将x分类为正常细胞或异常细胞。先验概率类条件概率密度：p(x

3、w1)p(x

4、w2)x类条件概率密度贝叶斯公式：后验概率P(1

5、x)P(2

6、x)后验概率x1.00.00.5对于2分类问题：P(1

7、x)+P(2

8、x)=1决策规则：如果P(1

9、x)>P(2

10、x)类别状态=1如果P(1

11、x)

12、x)类别状态=2简写为：后验形式几种等价形式：1、先验形式2、似然比由先验形式易知：即：似然比似然比阈值3、似然对数例：

13、某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ω1)=0.2，P(x/ω2)=0.4问该细胞属于正常细胞还是异常细胞。解：先计算后验概率：P(e

14、x)=P(2

15、x)判定为1(错误选择2);因为决策规则为：如果P(1

16、x)>P(2

17、x)类别状态=1如果P(1

18、x)

19、x)类别状态=2P(e

20、x)=P(1

21、x)判定为2(错误选择1);错误率分析因此，无论何时观测到某一个特定值x，概率误差为：因此，条件错误概率：P(e

22、x)=min[P(1

23、x),

24、P(2

25、x)]模式特征x是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征x，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率P(e)应是P(e

26、x)的数学期望。平均错误率在整个d维特征空间上的积分从上式可知，如果对每次观察到的特征值x，P(e

27、)是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面以两类模式为例，从理论上给予证明：也可以写为：对应图中黄色和橘红色区域面积对多类决策（假设有c类），很容易写出相应的最

28、小错误率贝叶斯决策规则：形式一：形式二：多类别决策过程中，要把特征空间分割成c个区域，可能错分的情况很多，平均错误概率P(e)将由c(c-1)项组成。直接求P(e)的计算量较大，将代之计算平均正确分类概率P(c),则：因此，P(e)=1-P(c)基于最小风险的贝叶斯决策上述分类基于错误率最小化的所得到规则，但有时要考虑比错误率更广泛的概念-----风险。风险与损失密切相连。比如对细胞分类固然尽可能正确判断，但判错了的后果将怎样？正常异常：精神负担；异常正常：失去进一步治疗的机会。显然这两种不同的错误判断所造成损失的严重程度是有显著

29、差别的，后者的损失比前者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。状态空间：设{1,2,…,c}是c个类别的集合。决策空间：设{1,2,…,a}是a种决策行为。损失函数：记(i

30、j)是类别状态为j时采用决策行为为i时所带来的损失(风险)。几个基本概念：引入损失概念，考虑错判所造成损失，不能只由后验概率的大小来决策，而应考虑所采取决策是否使损失最小。对于i=1,…,a，条件风险R(i

31、x)定义为：它是在c个类别状态中任取某个状态j时，采用决策i的风险(i

32、j)相对于后验

33、概率P(j/x)的条件期望。观察值x是随机向量，不同的观察值x，采取决策i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。决策看成随机向量x的函数，记为(x),它也是一个随机变量。我们可以定义期望风险R：期望风险R反映对整个特征空间上所有x的取值采取相应的决策(x)所带来的平均风险。条件风险R(i

34、x)只是反映对某一观察值x，采取决策i时，所有类别状态下带来风险的平均值。显然，我们要求采取的一系列决策行动(x)使期望风险R最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值x

35、作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为：已知先验概率P(j)、类条件概率密度p(x/j),并给出待识别的x，根据贝叶斯公式，计算出后验概率P(j/x)。最小风险贝叶斯决策步骤2