模式识别培训课件(PPT)

《模式识别培训课件(PPT)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionChapter205.10.20221第一页，共七十四页。

1王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.1引言2.1.1问题表述05.10.20222第二页，共七十四页。

2王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.1引言2.1.2全概率公式和贝叶斯准那么05.10.20223第三页，共七十四页。

3王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.1引言2.1.2全概率公式和贝叶斯准那么05.10.20224第四页，共七十四页。

4王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.1引言2.1.2全概率公式和贝叶斯准那么05.10.20225第五页，共七十四页。

5王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论2.2.1贝叶斯决策的原理05.10.20226第六页，共七十四页。

6王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.2贝叶斯决策理论2.2.1贝叶斯决策的原理05.10.20227第七页，共七十四页。

7王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论2.2.2最小化分类错误率可以证明，贝叶斯分类器在分类错误率最小化方面最优：由贝叶斯规那么：由概率密度函数的定义：和并以上两式可以得到：05.10.20228第八页，共七十四页。

8王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.2贝叶斯决策理论2.2.2最小化分类错误率05.10.20229第九页，共七十四页。

9王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.2贝叶斯决策理论2.2.2最小化分类错误率Indeed:MovingthethresholdthetotalshadedareaINCREASESbytheextra“grey〞area.05.10.202210第十页，共七十四页。

10王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论2.2.3最小化分类平均风险分类错误率最小并非总是最好的，某些情况下有些错误会产生更严重的后果，因此用“损失〞来衡量错误有时候更符合实际。(2-10)(2-11)05.10.202211第十一页，共七十四页。

11王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.2贝叶斯决策理论2.2.3最小化分类平均风险(2-12)(2-13)按极小值原理求解(2-11)，必须使积分的每一项最小，因此应选择：设M=2，那么有：(2-14)05.10.202212第十二页，共七十四页。

12王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论2.2.3最小化分类平均风险(2-15)按照常规，对于正确分类的惩罚应小于错误分类的惩罚，即取：依据假设，(2-12)式在两类情况下可以表示为：其中，比率称为似然比(Likelihood)，(2-15)式称为似然比检验。当取表示正确分类惩罚为零，2中的样本错误地分到1惩罚更大，则05.10.202213第十三页，共七十四页。

13王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论例2-1Thenthethresholdvalueis:Thresholdforminimumr05.10.202214第十四页，共七十四页。

14王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.2贝叶斯决策理论例2-1Thusmovestotheleftof(WHY?)Considerthereversesituationwhenthemovestotherightof?05.10.202215第十五页，共七十四页。

15王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.3判别函数和决策面(DiscriminantFunctions&DecisionSurfaces)(2-16)(2-17)(2-18)05.10.202216第十六页，共七十四页。

16王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.3判别函数和决策面(DiscriminantFunctions&DecisionSurfaces)Ingeneral,discriminantfunctions(判别函数)canbedefinedindependentoftheBayesianrule.Theyleadtosuboptimalsolutions,yetifchosenappropriately,canbecomputationallymoretractable(容易的).——SergiosTheodoridis-PatternRecognition05.10.202217第十七页，共七十四页。

17王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)(2-19)MultivariateGaussianpdf(ProbabilityDistributionFunction-pdf)(随机变量x的均值或期望)(x的协方差矩阵，CovarianceMatrix)(x的概率分布)函数ln(·)是单调的，定义：05.10.202218第十八页，共七十四页。

18王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)(2-20)式(2-19)可以写成：其中，常数Ci为：05.10.202219第十九页，共七十四页。

19王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)(2-21)将式(2-20)展开可以写成：一般地，上式是一个非线性二次型，例如，对于：的情况，假设：式(2-21)又可以表示成：(2-22)05.10.202220第二十页，共七十四页。

20王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)Thatis,isquadratic(二次的)andthesurfacesarequadrics(二次的),maybeellipsoids(椭圆),parabolas(抛物线),hyperbolas(双曲线),pairsoflines(直线对).Forexample:(图2-4(a))(图2-4(b))05.10.202221第二十一页，共七十四页。

21王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)图2-4二次决策曲线的例子，(a)椭圆；(b)双曲线05.10.202222第二十二页，共七十四页。

22王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)Quadraticterms:IfALL(thesame)，thequadratictermsarenotofinterest.Theyarenotinvolvedincomparisons.Then,equivalently,wecanwrite:DiscriminantfunctionsareLINEAR(2-23)(2-24)(2-25)05.10.202223第二十三页，共七十四页。

23王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)(2-26)(2-27)(2-28)(2-29)05.10.202224第二十四页，共七十四页。

24王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)决策平面是一个通过的超平面，当概率时，，超平面经过均值点05.10.202225第二十五页，共七十四页。

25王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)图2-5两类情况下的决策线和的正态分布向量05.10.202226第二十六页，共七十四页。

26王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)图2-6决策线(a)分布致密类；(b)分布非致密类(a)(b)05.10.202227第二十七页，共七十四页。

27王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.1决策超平面(DecisionHyperplanes)(2-30)(2-31)05.10.202228第二十八页，共七十四页。

28王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.2最小距离分类器(MinimumDistanceClassifiers)(2-32)换个角度考虑，假设等概率类(equiprobable)忽略常量的决策超平面可以表达为(参考讲义(2-20)或教材(2-26))：协方差矩阵为对角时IfEuclideanDistanceSmallerthan也即，此时特征向量可以根据它们与均值点之间的欧氏距离来分类。05.10.202229第二十九页，共七十四页。

29王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.2最小距离分类器(MinimumDistanceClassifiers)协方差矩阵为非对角时IfMahalanobisDistanceSmallerthan在这种情况下，常量距离的曲线是椭圆(或者超椭圆)因为协防差矩阵的对称性，可以通过归一划使协防差矩阵对角化：05.10.202230第三十页，共七十四页。

30王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.4正态分布的贝叶斯分类(BayesianClassifierforNormalDistributions)2.4.2最小距离分类器(MinimumDistanceClassifiers)图2-7a)等欧几里德曲线；b)等Mahalanobis曲线05.10.202231第三十一页，共七十四页。

31Example:第三十二页，共七十四页。05.10.202232

32王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.1最大似然参数估计(ParametersEstimationofMaximumLikelihood-ML)05.10.202233第三十三页，共七十四页。

33王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.1最大似然参数估计(ParametersEstimationofMaximumLikelihood-ML)05.10.202234第三十四页，共七十四页。

34王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)图2-8极大似然估计2.5.1最大似然参数估计(ParametersEstimationofMaximumLikelihood-ML)05.10.202235第三十五页，共七十四页。

35Example:第三十六页，共七十四页。05.10.202236

36王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.2最大后验概率估计(EstimationofMaximumAposterioriProbability-MAP)InMaximumLikelihoodmethod,wasconsideredasaparameter；Hereweshalllookatasarandomvectordescribedbyapdf(概率分布函数)p(),assumedtobeknownGivenComputethemaximumof05.10.202237第三十七页，共七十四页。

37王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)FromBayestheoremTheMethod2.5.2最大后验概率估计(EstimationofMaximumAposterioriProbability-MAP)05.10.202238第三十八页，共七十四页。

38王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)图2-9对于的最大似然估计和最大后验概率估计a)中基本相同；b)中差别较大2.5.2最大后验概率估计(EstimationofMaximumAposterioriProbability-MAP)05.10.202239第三十九页，共七十四页。

39Example:第四十页，共七十四页。05.10.202240

40王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.3贝叶斯推论(BayesianInference)05.10.202241第四十一页，共七十四页。

41王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.3贝叶斯推论(BayesianInference)Abitmoreinsightviaanexample：05.10.202242第四十二页，共七十四页。

42王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.3贝叶斯推论(BayesianInference)图2-10上述表达就是当N→∞时的高斯分布序列05.10.202243第四十三页，共七十四页。

43王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.4最大熵估计(MaximumEntropyEstimation)熵的概念来源于香农的信息论，它是关于事件不确定性(或无序性)的度量，或者是系统输出信息中的随机性的度量。熵的定义：(2-33)根据Jaynes[Jayn82]陈述的最大熵原理，在约束条件下，这样的估计符合最大可能随机性的分布。05.10.202244第四十四页，共七十四页。

44王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.4最大熵估计(MaximumEntropyEstimation)Example:Constraint：LagrangeMultipliers：05.10.202245第四十五页，共七十四页。

45王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.4最大熵估计(MaximumEntropyEstimation)取导数为零得到：由约束条件可以得到：于是得到ME.pdf：结论：未知概率密度的最大熵估计都服从均匀分布(UniformDistribution),可以证明，假设将均值和方差作为第二、三个约束，在正负无穷范围内，最大熵估计的结果都是高斯分布，这是MaximumEntropyEstimation的精髓。05.10.202246第四十六页，共七十四页。

46王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)还可以通过密度函数的线性合并获取未知的pdf：意为：一个J分布符合p(x)，那么可认为每一点x都可能以概率Pj属于J模型分布。该模型可以接近任意连续密度函数，只需要有足够数量的混合J和适当的参数。Assumeparametricmodeling,i.e.,(2-34)05.10.202247第四十七页，共七十四页。

47王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)ThegoalistoestimategivenasetWhynotML(极大似然)?Asbefore?这是因为未知参数以非线性形式出现在最大化过程中导致计算困难，必须采用非线性优化迭代技术。复杂的原因是缺乏关于样本的类标签，即混合体中每一个样本所属的类。没有标签信息使得这一任务成为一个典型的具有不完全数据集的任务。可以考虑采用期望值最大算法(ExpectationMaximization,EM)05.10.202248第四十八页，共七十四页。

48王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)TheExpectation-Maximization(EM)algorithmGeneralformulation：whicharenotobserveddirectly.Weobserve：amanytoonetransformation05.10.202249第四十九页，共七十四页。

49王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)WhatweneedistocomputeButarenotobserved.HerecomestheEM.Maximizetheexpectationofthelog-likelihoodconditionedontheobservedsamplesandthecurrentiterationestimateofThealgorithm:(2-35)(2-36)05.10.202250第五十页，共七十四页。

50王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)ApplicationtothemixturemodelingproblemAssumingmutualindependence(假设相互独立)那么对数似然函数为：(2-37)05.10.202251第五十一页，共七十四页。

51王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.5混合模型(MixtureModels)05.10.202252第五十二页，共七十四页。

52王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)图2-11直方图方法估计概率密度近似值；a)细划分；b)粗划分05.10.202253第五十三页，共七十四页。

53王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)(2-38)05.10.202254第五十四页，共七十四页。

54王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)ParzenWindowsMethod在一个超立方体中分割多维空间，定义函数：(2-39)图2-12在超立方体内定义多维空间也即，在以原点为中心的单位超立方体内的所有点的函数为1，其余为零。05.10.202255第五十五页，共七十四页。

55王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)于是可以将一维的概率密度函数表达式(2-38)改写为：(2-40)上述公式的解释：落在以x为中心的单位超方体内的试验点总数KN除以体积和总个数，但问题是不连续而p(x)连续。可以通过扩展不连续函数得到一个近似的连续函数p(x)，但是这种不连续必然影响p(x)的平滑性质。Parzen窗就是使用平滑的函数代替原来不连续的函数从而生成(2-40)式。05.10.202256第五十六页，共七十四页。

56王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)Parzenwindows-kernels-potentialfunctions：(2-41)Meanvalue：(2-42)Henceunbiasedinthelimit，independentwithbigorsmallofN.05.10.202257第五十七页，共七十四页。

57王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)Variance：Thesmallerthehthehigherthevariance图2-13Parzen窗计算概率密度函数，样本数N=1000；a)h=0.1b)h=0.805.10.202258第五十八页，共七十四页。

58王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)Variance：ThehighertheNthebettertheaccuracy图2-14Parzen窗计算概率密度函数，h=0.8N=1000N=2000005.10.202259第五十九页，共七十四页。

59王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)分类方法，回忆：(2-43)采用Parzen窗的分类公式为：05.10.202260第六十页，共七十四页。

60王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)CURSEOFDIMENSIONALITYInallthemethods,sofar,wesawthatthehighestthenumberofpoints,N,thebettertheresultingestimate.Ifintheone-dimensionalspaceaninterval,filledwithNpoints,isadequately(充分)(forgoodestimation),inthetwo-dimensionalspacethecorrespondingsquarewillrequireN2andintheℓ-dimensionalspacetheℓ-dimensionalcubewillrequireNℓpoints.Theexponentialincreaseinthenumberofnecessarypointsinknownasthecurseofdimensionality.Thisisamajorproblemoneisconfrontedwithinhighdimensionalspaces.05.10.202261第六十一页，共七十四页。

61王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)NAÏVE(简易的)–BAYESCLASSIFIERLetandthegoalistoestimatei=1,2,…,M.Fora“good”estimateofthepdfonewouldneed,say,Nℓpoints.Assumex1,x2,…,xℓmutuallyindependent.Then:Inthiscase,onewouldrequire,roughly,Npointsforeachpdf.Thus,anumberofpointsoftheorderN·ℓwouldsuffice.ItturnsoutthattheNaïve–Bayesclassifierworksreasonablywellevenincasesthatviolate(破坏、不满足)theindependenceassumption.(2-44)05.10.202262第六十二页，共七十四页。

62王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)KNearestNeighborDensityEstimation(K-最近邻密度分类)InParzen:ThevolumeisconstantThenumberofpointsinthevolumeisvaryingNow:KeepthenumberofpointsconstantLeavethevolumetobevarying05.10.202263第六十三页，共七十四页。

63王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)K-最近邻密度分类结果解释：在高密度区，体积小，低密度区，体积大。如果采用Mahalanobis距离，则得到超球面空间的超椭圆体图2-15K-近邻密度估计；a)密度大体积小b)密度小体积大(2-45)05.10.202264第六十四页，共七十四页。

64王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)最近邻规则(TheNearestNeighborRule)给定一个未知特征向量x和一种距离测量方法，于是：在N个训练向量之外，不考虑类的标签来确定k近邻。在两类的情况下，k选为奇数，一般不是类M的倍数；在k个样本之外，确定属于ωi(i=1,2,…M)类的向量的个数ki，显然∑iki=k；x属于样本最大值ki的那一类ωi，也即在训练样本数足够大时，这种简单规则具有良好性能。当N→∞,用PB表示最优Bayes理论错误率，最近邻规则的分类错误率PNN由下式约束：(2-46)05.10.202265第六十五页，共七十四页。

65王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.5未知概率密度函数的估计(EstimationofUnknownProbabilityDensityFunctions)2.5.6非参数估计(NonparametricEstimation)ForsmallPB:05.10.202266第六十六页，共七十四页。

66王杰(博士/教授(jiàoshòu)/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.6贝叶斯网络(BayesianNetworks)2.6.1贝叶斯概率链规那么(BayesProbabilityChainRule)(2-47)(2-48)现假设每个随机变量xi的条件依赖性被限制于各自的乘积表达式中出现的特征子集，例如说：其中：具体假设例如l=6，于是可以假定：则：TheaboveisageneralizationoftheNaïve–Bayes.FortheNaïve–Bayestheassumptionis:Ai=Ø,fori=1,2,…,ℓ05.10.202267第六十七页，共七十四页。

67王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.6贝叶斯网络(BayesianNetworks)2.6.1贝叶斯概率链规那么(BayesProbabilityChainRule)Agraphicalwaytoportray(描绘)conditionaldependenciesisgivenbelowAccordingtothisfigurewehavethat:x6isconditionallydependentonx4,x5.x5onx4x4onx1,x2x3onx2x1,x2areconditionallyindependentonothervariables.ForThisCase：图2-16条件依赖性示意05.10.202268第六十八页，共七十四页。

68王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于(jīyú)Bayes决策理论2.6贝叶斯网络(BayesianNetworks)2.6.2贝叶斯网络(BayesianNetworks)Definition:ABayesianNetworkisadirectedacyclicgraph(DAG-有向无环图)wherethenodescorrespondtorandomvariables(节点代表随机变量).Eachnodeisassociatedwithasetofconditionalprobabilities(densities)(每一节点与一个条件概率(密度)相关联),p(xi|Ai),wherexiisthevariableassociatedwiththenodeandAiisthesetofitsparents(父节点)inthegraph.ABayesianNetworkisspecifiedby(贝叶斯网络由如下特征确定):Themarginalprobabilities(边缘概率)ofitsrootnodes(根节点).Theconditionalprobabilities(条件概率)ofthenon-rootnodes(非根节点),giventheirparents,forALLpossiblecombinations(对所有组合，给出其父节点).05.10.202269第六十九页，共七十四页。

69王杰(博士(bóshì)/教授/博导)郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.6贝叶斯网络(BayesianNetworks)2.6.2贝叶斯网络(BayesianNetworks)ThefigurebelowisanexampleofaBayesianNetworkcorrespondingtoaparadigm(范例)fromthemedicalapplicationsfield(医疗领域应用贝叶斯网的范例).这一贝叶斯网络模拟了关于抽烟者(变量S)罹患癌症(变量C)和心脏疾病(变量H)的概率模型。图中表达心脏疾病的变量位H1,H2，表达癌症的变量C1,C2。图2-17贝叶斯网的医疗应用范例05.10.202270第七十页，共七十四页。

70王杰(博士/教授/博导(bódǎo))郑州大学电气工程学院0371-67781411/13837106273wj@zzu.edu模式识别(móshìshíbié)PatternRecognitionCh.2分类器-基于Bayes决策(juécè)理论2.6贝叶斯网络(BayesianNetworks)2.6.2贝叶斯网络(BayesianNetworks)OnceaDAGhasbeenconstructed,thejointprobability(联合概率)canbeobtainedbymultiplyingthemarginal(rootnodes)andtheconditional(non-rootnodes)probabilities(边缘概率和条件概率乘积).Training:Onceatopologyisgiven,probabilitiesareestimatedviathetrainingdataset.Therearealsomethodsthatlearnthetopology(给定拓扑时可由训练数据获得该旅的估计。也有关于拓扑结构学习的研究成果).ProbabilityInference(概率推论)这是贝叶斯网络能帮我我们有效进行的最普通的工作：在图中给出一些变量的数值(称为证据)，目标是为其它变量通过计算获得条件概率，也即给出证据。05.10.202271第七十一页，共七十四页。

71Example:ConsidertheBayesiannetworkofthefigure:a)Ifxismeasuredtobex=1(x1),computeP(w=0|x=1)[P(w0|x1)].b)Ifwismeasuredtobew=1(w1)computeP(x=0|w=1)[P(x0|w1)].第七十二页，共七十四页。

72Fora),asetofcalculationsarerequiredthatpropagate(传播)fromnodextonodew.ItturnsoutthatP(w0|x1)=0.63.Forb),thepropagationisreversedindirection.ItturnsoutthatP(x0|w1)=0.4.Ingeneral,therequiredinferenceinformationiscomputedviaacombinedprocessof“messagepassing(信息(xìnxī)传递)〞amongthenodesoftheDAG.Complexity:Forsinglyconnectedgraphs(单联图),messagepassingalgorithmsamounttoacomplexitylinearinthenumberofnodes.第七十三页，共七十四页。

73内容(nèiróng)总结王杰(博士/教授/博导)。(2-23)(2-24)(2-25)。忽略常量(chángliàng)的决策超平面可以表达为(参考讲义(2-20)或教材(2-26))：。Hereweshalllookatasarandomvectordescribedbyapdf(概率分布函数)p(),assumedtobeknown。图2-15K-近邻密度估计第七十四页，共七十四页。