资源描述：
《第2章贝叶斯决策理论与统计判别方法ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、模式识别徐蔚然北京邮电大学信息工程学院本节和前节的关系上节:基本概念阶段性的总结本节:概念具体化结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器的种种情况本节重点什么叫正态分布高斯分布的表达式如何将正态分布与基于最小错误率的贝叶斯决策结合起来如何简化方式表示正态分布即时思考正态分布？正态分布是以哪一位科学家的名字命名的？正态分布又称什么？所谓正态分布是先验概率、类条件概率密度函数、还是后验概率而言的？为什么正态分布假设是使用得最普遍的假设？正态分布时的统计决策研究正态分布的原因数学上比较简单物理上的合理性单变量正态
2、分布单变量正态分布单变量正态分布概率密度函数定义为μ表示随机变量x的数学期望σ2为其方差，而σ则称为标准差。Aunivariatenormaldistributionhasroughly95%ofitsareaintherange
3、x−μ
4、≤2σ,asshown.Thepeakofthedistributionhasvaluep(μ)=1/√2πσ.单变量正态分布单变量正态分布思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X
5、ωi),还是后验概率P(ωi
6、X)？不是我们所讨论的先验概率P(ωi)，也不是后验概率P(
7、ωi
8、X)，而是p(x
9、ωi)。单变量正态分布单变量正态分布具体化其中ωi,σi分别是对ω及σ的具体化。多元正态分布多元正态分布μ是X的均值向量，也是d维，μ＝E{X}＝[μ1，μ2，…，μd]TΣ是d×d维协方差矩阵Σ－1是Σ的逆矩阵
10、Σ
11、是Σ的行列式Σ＝E{(X－μ)(X－μ)T}Σ是非负矩阵，在此我们只考虑正定阵，即
12、Σ
13、＞0。多元正态分布讨论二元正态分布二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系Samplesdrawnfromatwo-di
14、mensionalGaussianlieinacloudcenteredonthemean.TheellipsesshowlinesofequalprobabilitydensityoftheGaussian.两个二元正态分布的各个分量相同,(即期望(μ1和μ2)方差σ1和σ2都相同),但这两个特征向量在空间的分布却不相同多元正态分布协方差矩阵用E[(x2-μ2)](x1-μ1)]来衡量相关性，称为协方差,用符号Σ表示协方差越大，说明两个变量的相关度越高非对角元素正表示了两个分量之间的相关性主对角元素则是各分量本身的方差二维向量
15、的协方差矩阵多元正态分布协方差矩阵协方差矩阵并不只对正态分布有用特性:协方差矩阵是一个对称矩阵特性:协方差矩是正定的多元正态分布的性质(1)参数μ与Σ对分布具有决定性与单变量相似，记作p(X)～N(μ，Σ)(2)等密度点分布在超椭球面上(x－μ)ＴΣ－１(x－μ)＝常数二维时表示一个椭圆，在三维表示椭球，在高维是表示超椭球(X-μ)ＴΣ－１(X-μ)称为向量X到向量μ的Mahalanobis距离的平方，即r2＝(x－μ)ＴΣ－１(x－μ)可将mahalanolbis距离与欧氏距离作比较前者是一个椭圆，而后者则是圆多元正态分布的性
16、质(3)多元正态分布的离散程度由参数
17、Σ
18、１／２决定与单变量时由标准差σ决定是对应一致的(4)不相关性等价于独立性两个随机变量不相关:E[xixj]＝E[xi]·E[xj]两个随机变量统计独立:p(xixj)＝p(xi)p(xj)两个随机变量不相关，不意味着它们一定独立相互独立的随机变量，它们之间是不相关的正态分布中不相关性等价于独立性多元正态分布的性质(5)边缘分布和条件分布的正态性多元正态分布的边缘分布和条件分布仍然是正态分布(6)线性变换的正态性这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量(7)线性组
19、合的正态性这是指多元正态分布的随机向量，在经过线性组合后得到的一维随机变量也是正态分布的。Theactionofalineartransformationonthefeaturespacewillconvertanarbitrarynormaldistributionintoanothernormaldistribution.A,takesthesourcedistributionintodistributionN(At,AtA)aprojectionPontoalinedefinedbyvectora—leadstoN(μ,σ
20、2)measuredalongthatlineAwhiteningtransform,Aw,leadstoacircularlysymmetricGaussian正态分布概率模型下的最小错误率贝叶斯决策最小错误率决策规则因此判别函数为是多元正态分布，判别函数采用
