近邻法错误率分析

《近邻法错误率分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、近邻法错误率分析如果样本X的两类别后验概率分别为P(ω1

2、X)与P(ω2

3、X)，那么对X值，在N→∞条件下，发生错误决策的概率为：　　　　　　　(3-64)　　当训练样本数量无限增多时，一个测试样本X的最近邻在极限意义上讲就是X本身。如果在X处对某一类的的后验概率为P(ω1

4、X)，则另一类为1-P(ω1

5、X)。那么当前测试样本与它的最近邻都属于同一类才能分类正确，故正确分类率为，故有(3-64)式。　　而在这条件下的平均错误率　　　　　　　(3-65)　　P称为渐近平均错误率，是PN(e)在N→∞的极限。　　

6、为了与基于最小错误率的贝叶斯决策方法对比，下面写出贝叶斯错误率的计算式。　　基于最小错误率贝叶斯决策的错误率是出错最低限，因此要与它作比较。　　　　　　　(3-66)　　其中　　　　　(3-67)　　而　　　　　(3-68)　　如果用图3.17中的例子，则从(3-67)可得　　　　　　　(3-69)　　而从(3-64)得　　　　　　　(3-70)　　如果用(3-70)减去(3-69)，并写成△P，则有　　　　　　　(3-71)　　从(3-71)式可见在一般情况下△P是大于零的值，只要P(ω1

7、X)＞P(ω2

8、

9、X)＞0。有以下两种例外情况△P＝0，这两种情况是P(ω1

10、X)＝1的情况或P(ω1

11、X)＝P(ω2

12、X)＝1/2。　　请想一下，什么情况下P(ω1

13、X)＝1或P(ω2

14、X)=1?P(ω1

15、X)=P(ω2

16、X)会出现什么什么情况？　　答：一般来说，在某一类样本分布密集区，某一类的后验概率接近或等于1。此时，基于最小错误率贝叶斯决策基本没错，而近邻法出错可能也很小。而后验概率近似相等一般出现在两类分布的交界处，此时分类没有依据，因此基于最小错误率的贝叶斯决策也无能为力了，近邻法也就与贝叶斯决策平起平坐了。　　从

17、以上讨论可以看出，当N→∞时，最近邻法的渐近平均错误率的下界是贝叶斯错误率，这发生在样本对某类别后验概率处处为1的情况或各类后验概率相等的情况。　　在其它条件下，最近邻法的错误率要高于贝叶斯错误率，可以证明以下关系式成立　　　　　(3-72)图3.18　　即最近邻法的渐近平均错误率的上下界分别为贝叶斯错误率及。图3.18表示了这种关系。由于一般情况下很小，因此(3-72)又可粗略表示成　　　　因此可以说最近邻法的渐近平均错误率在贝叶斯错误率的两倍之内。从这点说最近邻法是优良的，因此它是模式识别重要方法之一。