资源描述：
《模式识别(四)and(五)数学知识补充》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、武汉大学计算机学院本科生课程模式识别概率论相关知识武汉大学计算机学院袁志勇Email:yuanzywhu@163.com一.模式识别的两类研究对象模式识别的目的是要确定某一给定的模式样本属于哪一类。我们通过对被识别对象的多种观察和测量构成特征向量，并将其作为某一判决规则的输入，依此规则对样本进行分类。在这个过程中，最初获取模式观察值时会遇到两种情况：1.事物间有确定的因果关系-确定性事件即某一事件在一定条件下必然会发生或必然不发生。如，根据“三条直线边的闭合和一个直角”这一特征，就完全可以确定是直角三角形，这是确定性现象(Deterministi
2、cphenomena)。“第2章线性判别分析”的模式判别就是基于这类现象，一个模式要么属于这一类，要么属于其他类。2.事物间没有确定的因果关系-随机事件在许多实际情况中，由于存在噪声和缺乏测度模式向量的完整信息，有些观察数据具有不确定的特点，有时属于某一类，有时又不属于该类，只有在大量重复的观察下才会呈现出某种规律性。也就是说，对它们观察得到的特征具有统计特性，特征向量不再是一个确定的向量，而是随机向量，其分量是随机变量。基于随机现象(Radom/Stochasticphenomena)的随机模式向量只能利用模式集的统计特性来分类，以使分类器发生
3、分类错误的概率最小，这就是“基于统计决策理论的概率分类法”所要讨论的问题。这时不能说一个模式一定属于某一类，只能说它属于某一类的可能性(概率)有多大。二.概率论基础1.概率的性质1)不可能事件的概率为即∅∅0,P()=0;2)P(A)=1-P(A);3)设A,B是两个随机事件,有P(A∪B)=P(A)+P(B)-P(AB);其中,P(AB)为A,B同时发生的概率.2.条件概率设A,B为两个随机事件,P(B)>0,称已知事件B发生条件下P(AB)事件A发生的条件概率为P(A
4、B)=.P(B)3.条件概率的三个重要公式1)概率乘法公式若P(A)>0,
5、则A,B的联合概率P(AB)=P(A)P(B
6、A);若P(B)>0,则A,B的联合概率P(AB)=P(B)P(A
7、B);2)全概率公式设事件AA,,...,A两两互斥,且12nn∑Aii=Ω,()PA>0,1,2,...,in=i=1则对任一事件B,有如下全概率公式:nPB)(=P∑(Ai)P()B
8、Aii=1直观上看，全概率公式是从“原因”Ai推出“结果”B发生的概率计算公式。3)贝叶斯公式在前面全概率公式的条件下,若再有P(B)>0,则有如下贝叶斯公式:P(AB)P(AP(B
9、A))iiiP(A
10、B)==inP(B)∑P(A)P(B
11、Aii)
12、i=1直观上，贝叶斯公式是已知“结果”B发生，推出某个“原因”A发生的后验概率。i三.模式识别中常用的三个概率1.先验概率P(ω)i指事先根据大量的统计资料得出的类样本出现的概率.ωi先验概率来源于先前的知识和经验,与现在无关,提供的分类信息很少.2.后验概率P(
13、ωX)i后验概率与先验概率相对应,指得到一批观察样本数据后统计出的X属于类的概率ω.i3.条件概率P(
14、Xω)i指已知属于的样本发生某种事件的ωX概率.i分类中常用条件概率密度/类条件概率密度,也称条件概率密度函数/类概率密度函数,统计学中称为似然函数(Likehoodfunction
15、).类ωi的类概率密度函数表示为p()X
16、ω.i如要对一批患者进行一项化验,可以用代表患病人群患者的,,ω1化验结果就是特征向量的值,仍用表示.由于化验结果不是阴性就是X阳性,因此这里的是一维特征向量,只有两个取值.那么"对一批患者X进行一项化验,结果为阳性的概率为95%"可以表示为P(=阳性
17、XXωω)=0.95;也可以先设=阳性,写成P(
18、X)=0.95.11分类中常用条件概率密度/类条件概率密度,也称条件概率密度函数/类概率密度函数,统计学中称为似然函数Likehoodfun(ction).ωω类的类概率密度函数表示为p(X
19、).ii例:一
20、个二类问题,类表示某地区患有某病的人群,ωω类表示12无此病的人群.那么:先验概率P(ω)表示该地区居民患有此病的概率;1先验概率P(ω)表示该地区无此病的概率;2这两个值可以通过大量的统计资料得到.如果采用某种方法检测是否患病,设表示"试验反应呈阳性",X那么:P(
21、Xω)表示无病的人群做该实验时反应呈阳性(显示有病)的概率;2P(ω
22、X)表示试验反应呈阳性的人中,实际无病者的概率.2从上面的概率可以看出,诊断病情需要多种手段,用一种方法诊断为可能有病时,还要综合其他的结果才能最后确诊.类似地,也有类的条件概率和后验概率ω.i4.三个概率之间的
23、关系设有M类模式,根据贝叶斯(Bayes)公式,可以得到后验概率,先验概率和类条件概率密度函数之间的关系为:pp(
24、P(XXωω))(
25、
