模式识别导论(二).pdf

《模式识别导论(二).pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别导论模式识别导论：Bayes决策理论BayesDecisionTheory武汉大学遥感信息工程学院马洪超模式识别导论如果模式表现为具有确定性（deterministic）特征，在特征空间（featurespace）中各类互不重叠，那么可以用线性判别函数（lineardecisionfunction，广义线性）但事实上并不完全是这样，许多（特征）观测结果具有不确定性（uncertainty），这时用概率法则。如图▼▼▼▽▼▼▽▼▽▽▽□□□□□□□武汉大学遥感信息工程学院马洪超模式识别导论•本章主要讨论第二种情况下，如何设

2、计分类器的问题•设计的思想是：给定一个未知样本（模式），它“最有可能”（mostprobable）属于哪一类？•把上述问题用数学语言来表达：一个未知模式，用一组它的模式特征向量来表示为x，并且已知它来自M个类别中的某一类，这是，我们可以获得一组后验概率如下：P(

3、x),i1,2,Mi•如果用文字来表达，就是：已经测定未知模式的特征向量x的条件下，来自某一类别i的概率。这个最大概率完全可以作为“最有可能”的数学表达武汉大学遥感信息工程学院马洪超模式识别导论§2.1基于最小错误率的Bayes判别法§2.2基于Bayes判别的几

4、种判别规则基于最小风险的Bayes决策Neyman-pearson决策最小最大决策序贯分类决策§2.3正态分别模式的统计决策正态分别概率密度函数的定义与性质多元正态概率模型的Bayes判别函数§2.4概率密度函数的估计§2.5Bayes分类器的错误概率武汉大学遥感信息工程学院马洪超模式识别导论§2.1基于最小错误率的Bayes决策一、两类问题例如：细胞识别问题。设ω1正常细胞，ω2异常细胞。某地区经大量统计获先验概率（aprioriprobability)P(ω1),P(ω2)。若取该地区某人细胞，问属何种细胞，此

5、时只能由先验概率决定。P(1)P(2),x1这种分类器意义不大P()P(),x122武汉大学遥感信息工程学院马洪超模式识别导论不过一般总是不止这么一点信息的。假设我们对细胞的某个特征x进行了测量，它具有概率密度函数(PDF)px

6、1现假设我们对某未知细胞进来了这个特征的测量，获得测量值x，那么这个测量值对我们判别该细胞来自哪一类有什么样的影响呢？设细胞来自同时具有测量值x的概率为iPx,P(,x)P(x

7、)P()P(

8、x)p(x)iiiii武汉大学遥感信息工程学院马洪超模式识别导

9、论2px

10、PiiPi

11、xp(xi)P(i)p(xj)P(j)pxj1全概率公式这就是Bayes公式。当给定某未知细胞特征的测量值的条件下，来自于i的概率。这个概率称为后验概率(aposterioriprobability)。所以后验概率的计算可以通过先验概率和类概率密度。如果我们测量的是一组特征，那么：2px

12、PiiPi

13、xp(xi)P(i)p(xj)P(j)pxj1武汉大学遥感信息工程学院马洪超模式识别导论若P(x)P(x),则x121判别规

14、则：若P(x)P(x),则x122决策面(decisionsurface)－－按照判别规则将多维特征空间分成M个类别区域，这些区域的边界面决策面方程(decisionequation)－－用解析形式表示决策面判别函数(decisionfunction)－－用以表述判别规则的函数一般地，设N个样本分为两类ω1，ω2。每个样本抽出n个特征，x=（x1，x2，x3，…，xn）T武汉大学遥感信息工程学院马洪超模式识别导论若已知先验概率P(ω1),P(ω2)，类条件概率密度p(x

15、ω1)，p(x

16、ω2)。则可得贝叶斯判别函数四种

17、形式：(1)g(x)P(x)P(x),(后验概率)12(2)g(x)p(x)P()p(x)P(),(类条件概率密度)1122p(x)P()12(3)g(x),(似然比形式)p(x)P()21p(x)P()12(4)g(x)lnln,(取对数方法)p(x)P()21武汉大学遥感信息工程学院马洪超模式识别导论决策规则：1(1)P(x)P(x)x1221(2)p(x)P()p(x)P()x11222p(x)p()1(3)12xP(x2)P(1

18、)2p(x1)P(2)1(4)g(x)lnlnxp(x)P()212武汉大学遥感信息工程学院马洪超模式识别导论Bayes决策的基本思想是：要求判别归属时依概率最大作出决策，这样的结果可以使分类的错误率最小证明：