随机模式的分类方法.ppt

《随机模式的分类方法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基本思想：类先验概率未知，考查先验概率变化对错误率的影响，找出使最小贝叶斯风险最大的先验概率，以这种最坏情况设计分类器。在实际应用中，有时分类器处理的各种类型样本的“先验概率是变化的”，此时再按照某个固定的条件下的决策规则来进行决策，就得不到最小错误率或最小风险所需要得出的结果。这时就要用“最小最大判决规则”了。先回顾一下2.3节里，介绍的最小风险判决规则，以及条件平均风险的概念和计算公式：2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity把摸式样本归属于条件平均风险最小的那一种类型。由上式可以看出，与类概率

2、密度、损失函数、先验概率有关。如果上述因素是不变的，由足够的样本对分类器进行训练，就可以把特征空间划分成不同的类型区域。如果先验概率不是确切知道，在训练过程中，采用多组先验概率，就会得到多组类型区域的划分结果。另外，条件平均风险仅反映在样本x条件下，判决为的平均风险，而不能反映把整个特征空间划分成某种类型空间的总的平均风险。（2.3-1）2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity又由于x的观测值是随机向量，决策结果又依赖于x，所以决策作为x的函数可以记为，它也是一个随机变量。因此，可以定义“平均风险”

3、为：(2.6-1)其中为x的取值空间，实际上就是整个特征空间。当特征空间被划分成c个类型区域之后(2.6-1)变为：(2.6-2)2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity由上式看出：如果类型区域的划分不同，则平均风险也不同。由于先验概率不同，对分类器训练结果，有不同的类型区域划分。所以，平均风险可作为先验概率的函数。（因为对于各类先验概率组合，有一系列的类型区域划分结果，从而可以计算出一系列的平均风险，可以得到与先验概率的函数关系。）下面研究一下两类问题，用和表示不同的类型，它们的先验概率满足：2.

4、6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity所以，上述平均风险与先验概率的关系就是与的关系，一般是非线性关系。假定已经得到这个关系，如右图曲线所示。如果预先不确切知道先验概率，能否按照使平均风险最小来选择决策方案呢?这是不可以的！！这涉及所谓最小最大判决规则。为了说明这个问题，下面针对两类问题进一步研究平均风险2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity由(2.6-2)：将，，代入上式，得到：(2.6-3)2.6最小最大判决规则（minimax

5、）MadeinCV&PRLabofShandongUniversity又因为，代入上式：又因为：，代入上式，得到：(2.6-4)(2.6-5)(2.6-6)2.6最小最大判决规则（minimax）式中：MadeinCV&PRLabofShandongUniversity损失函数是给定的，由(2.6-5)式和(2.6-6)式看出，如果已经确定类型区域和，则a、b为常数。根据(2.6-4)式，平均风险是先验概率的线性函数。由于先验概率的取值范围为0～1，所以值变化范围为a～(a+b)。例如，在上图中，在划分类型区域时，，。在分类判决过程中，类型区域不再变化，而可能变化，

6、最大可能的平均风险，这是所不希望的。如何使最大可能的平均风险为最小呢?2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity由(2.6-4)式，，如果b＝0，，且与无关，即最大可能的平均风险达到最小值。但是b＝0又意味着由于类型区域的划分使平均风险达到曲线极值，如下图所示。此时,为曲线的最大值。即在训练过程中使平均风险达到最大值（对于不同的变化的先验概率），恰好在分类判决中使最大可能的平均风险达到最小值（即E-D-F水平线，其他任何一点的切线的最大可能的平均风险都比该直线的最大点要大，例如上面的图中的直线的最高点

7、），这就是最小最大判决规则的基本思想。2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity由上述分析，为了实施最小最大判决规则，必须令b=0。由(2.6-6)式，有：(2.6-7)此时，在分类判决中，平均风险为：(2.6-8)这种情况下，平均风险与先验概率的变化无关。2.6最小最大判决规则（minimax）MadeinCV&PRLabofShandongUniversity对于特殊情况：也就是取0－1损失函数，代入(2.6-4～6)，有：最小错误率判决规则的错误率2.6最小最大判决规则（minimax）Ma