资源描述：
《模式识别 第3章 概率密度密度的估计ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、武汉大学电子信息学院IPL第三章概率密度密度的估计模式识别与神经网络PatternRecognitionand NeuralNetwork内容目录IPL第三章概率密度密度的估计3.1引言21343.2参数估计3.3非参数估计3.4讨论模式识别与神经网络3.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXg1...g2gc...x1x2xna(x)分类器 功能结构基于样本的直接确定判别函数方法3第三章概率密度密度的估计基于样本的Bayes分类器设计Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x
2、ωi)
3、知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计利用样本集估计P(ωi)和p(x
4、ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价4第三章概率密度密度的估计基于样本的Bayes分类器训练 样本集样本分布的 统计特征：概率 密度函数决策规则： 判别函数 决策面方程最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。5第三章概率密度密度的估计直接确定判别函数基于样本的直接确定判别函数方法：针对各种不同的情况，使用
5、不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?引言训练样本集决策规则： 判别函数 决策面方程选择最佳准则6第三章概率密度密度的估计概率密度估计的方法类的先验概率的估计：用训练数据中各类出现的频率估计依靠经验类条件概率密度估计的两种主要方法：参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计最大似然估计Bayes估计非参数估计：密度函数的形式未知，也不作假设，利用训练
6、数据直接对概率密度进行估计Parzen窗法kn-近邻法引言7第三章概率密度密度的估计3.2参数估计统计量：样本集的某种函数f(K)，K={x1,x2,…,xN}参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)点估计的估计量和估计值：8第三章概率密度密度的估计估计量的评价标准估计量的评价标准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，更有效一致性：样本数趋于无穷时，依概率趋于θ：9第三章概率密度密度的估计3.2.1最大似然估计MaximumLikelihood(ML)样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的
7、形式已知，参数未知，为了描述概率密度函数p(x
8、ωi)与参数θ的依赖关系，用p(x
9、ωi,θ)表示。估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。独立地按概率密度p(x
10、θ)抽取样本集K={x1,x2,…,xN}，用K估计未知参数θ10第三章概率密度密度的估计似然函数似然函数：对数(loglarized)似然函数：最大似然估计11第三章概率密度密度的估计最大似然估计最大似然估计12第三章概率密度密度的估计最大似然估计示意图最大似然估计13第三章概率密度密度的估计计算方法最大似然估计量使似然函数梯度为0：最大似然估计14第三章概率密度密度的估计一元正态分布例
11、解最大似然估计15第三章概率密度密度的估计一元正态分布均值的估计最大似然估计16第三章概率密度密度的估计一元正态分布方差的估计最大似然估计17第三章概率密度密度的估计多元正态分布参数最大似然估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的无偏估计是：最大似然估计18第三章概率密度密度的估计3.2.2贝叶斯估计-最大后验概率用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为p(θ
12、K)最大后验概率估计-Maximumaposteriori(MAP)19第三章概率密度密度的估计决策
13、问题与估计问题决策问题:样本x决策ai真实状态wj状态空间A是离散空间 先验概率P(wj)参数估计问题：样本集K估计量^s 真实参数s 参数空间S是连续空间 参数的先验分布p(s)贝叶斯估计20第三章概率密度密度的估计贝叶斯(最小风险)估计参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望贝叶斯估计：使风险最小的估计贝叶斯估计21第三章概率密度密度的估计贝叶斯估计(II)损失函数定义为误差平方：贝叶斯估计定理3.1:如果定义损失函数为误差平方函数，则有：22第三章概率密度密度的
