模式识别第二章 贝叶斯决策理论课件.ppt

《模式识别第二章 贝叶斯决策理论课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三讲贝叶斯决策理论参考书：中文教材：第二章p9-34，p42-432011-2012学年第二学期第二章贝叶斯决策理论2.1引言2.2贝叶斯决策理论2.3最小错误率分类2.4最小风险决策2.5分类器、判别函数及决策面2.6正态密度2.7正态分布的判别函数2.8错误率与积分第三讲第四讲2基本模式识别过程上一过程的数学表达：特征提取决策理论(判别准则)根据决策理论计算理论结果，再用判别准则得到识别或分类结果。Object(n个样本)每个样本有d个特征c个类别被观测对象特征信息识别分类样本空间Ω事件A划分Bi模式识别PatternRecognitionCh.2分类器-基于Ba

2、yes决策理论贝叶斯决策理论例Thenthethresholdvalueis:Thresholdforminimumr4模式识别PatternRecognitionCh.2分类器-基于Bayes决策理论贝叶斯决策理论例2-1Thusmovestotheleftof(WHY?)Considerthereversesituationwhenthemovestotherightof?5知识点6小结(1)分类器设计时使用什么原则是关键---影响到分类器的效果。原则包括：错分率最小的原理。后验概率基于最小风险的贝叶斯决策的原理。(2)“风险”与“损失”风险系数损失：对某个样本作第

3、i个决策的风险λ(αi

4、ωj)=λ(αi,ωj)7小结分类所用的计算式：比较所计算数值谁大谁小；称为判别函数gi(X)。自变量是样本X；如果，则称特征空间的这一点X是第i类的决策域。由gi(X)占主导地位的区域称为第i类的决策域，我们将它表示成Ri如果第i类决策域Ri与第j类决策域相邻，则它们之间有边界。在边界上有gi(X)=gj(X),该式是一个方程式，称为决策面方程。8学习目标结合一种比较典型的概率分布：正态分布，进一步基于最小错误贝叶斯决策分析分类器的设计。什么叫正态分布，或高斯分布，是哪一种概率定义的？定义高斯分布的表达式：均值/协方差矩阵。将正态分布与基于最小

5、错误率的贝叶斯决策结合高斯分布是指数函数，因此计算时常用对数使计算简化不同分类器的定义9正态分布下的Bayes决策贝叶斯公式中类条件概率和先验概率未知时需要进行概率密度函数(probabilitydensityfunction,pdf)的估计。什么是正态分布？为何要用正态分布？正态分布在模式识别及其它信息处理应用系统中，正态分布假设是对各种随机变量使用得最普遍的假设正态分布在数学上比较简便。数学的简便性便于人们对统计识别方法进行数学分析。在模式识别技术的研究中，用正态分布模型抽取设计样本集与测试样本集在数学上实现起来也比较方便。物理上的合理性，在许多实际应用场合，如果同

6、一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的。11正态分布概率密度函数的定义与性质一、单变量正态分布二、多元正态分布1.多元正态分布的概率密度函数2.多元正态分布的性质13单变量正态分布单变量正态分布(NormalDistribution),即高斯分布(GaussDistribution)正态分布的pdf:其中，：x的期望(均值)，：标准差，：x的方差，单变量正态分布单变量正态分布的形状完全由和来确定：P(x)x小大P(x)x相同P(x)x正态分布的样本主要集中分布在其均值附近，其分散程度可用

7、标准差来衡量，σ愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间(μ－2σ，μ+2σ)内。正态密度16正态密度–讨论正态分布是指一个随机实数度量值在整个实数域上的分布规律。因此它属于概率密度函数类，不是先验概率P(ωi)和后验概率P(ωi

8、X)，而是p(x

9、ωi)。通用公式，具体化后的公式：其中σi是对σ的具体化。17正态密度–讨论请思考一下，正态分布(又称高斯分布)以x为横轴，y为纵轴画出来是什么样子？有没有最高点？最高点的x坐标是什么？σ的大小对你所画的图有什么影响？如果有两种高斯分布μ1=μ2，σ1>σ2，你能将它们画在一起吗？两者有什么

10、不同？Matlab实例-正态分布18多元正态分布多变量正态分布的pdf:式中：均值向量，；协方差矩阵，为的行列式。1×dd×1d×d与单变量中相对应，变量间互不相关时是对角阵：正态密度参数的计算：是向量x的期望，＝E[x]=[μ1，μ2，…，μd]T是矩阵(x-)(x-)t的期望，=E[(x-)(x-)t]若xi是x的第i个分量，i是的第i个分量，ij2是的第i，j个元素，则：20正态密度协方差矩阵总是对称非负定阵，且可以表示为其对角线上的元素是xi的方差，非对角线上的元素是xi和xj的协方差。如果各分量独立，则非