资源描述：
《3概率密度函数的估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、模式识别与神经网络PatternRecognitionAndneuralnetwork第三章概率密度函数的估计请各位思考的问题1、我们可以构造一个比贝叶斯规则更好的分类器吗？2、利用贝叶斯法则构造分类器的前提条件是什么？3、为何要估计密度以及如何估计密度?TableofContents3.1引言3.2参数估计3.3正态分布的参数估计3.4非参数估计3.5分类器错误率的估计3.6讨论3.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数分类器 功能结构基于样本的直接确定判别函数方法基于
2、样本的Bayes分类器设计Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x
3、ωi)知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计利用样本集估计P(ωi)和p(x
4、ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价利用样本集估计错误率引言基于样本的Bayes分类器训练 样本集样本分布的 统计特征：概率 密度函数决策规则：判别函数决策面方程最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义
5、。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。引言直接确定判别函数基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?训练样本集决策规则：判别函数决策面方程选择最佳准则引言概率密度估计的方法类的先验概率P(ωi)的估计：用训练数据中各类出现的频率来估
6、计依靠经验引言类条件概率密度函数的估计：两大类方法参数估计：概率密度函数的形式已知，而表征函数的参数未知，需要通过训练数据来估计最大似然估计Bayes估计非参数估计：概率密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计Parzen窗法kn-近邻法3.2参数估计统计量：总体的某种信息是样本集K={x1,x2,…,xN}的某种函数f(K)。参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)点估计和区间估计点估计的估计量(variable)和估计值(value)：估计量的评价标准估计量的评价标
7、准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，估计更有效一致性：样本数趋于无穷时，依概率趋于θ：3.2.1最大似然估计MaximumLikelihood(ML)估计估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x
8、ωi)与参数θ的依赖关系，用p(x
9、ωi,θ)表示。独立地按概率密度p(x
10、θ)抽取样本集K={x1,x2,…,xN}，用K估计未知参数θ似然
11、函数似然函数：对数(loglarized)似然函数：最大似然估计最大似然估计最大似然估计最大似然估计示意图最大似然估计计算方法最大似然估计量使似然函数梯度为0：最大似然估计3.2.2贝叶斯估计-最大后验概率用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为p(θ
12、K)最大后验概率估计-Maximumaposteriori(MAP)贝叶斯决策问题与贝叶斯估计问题贝叶斯决策问题:样本x决策ai真实状态wj状态空间A是离散空间 先验
13、概率P(wj)贝叶斯参数估计问题：样本集K={xi}估计量^s真实参数s参数空间S是连续空间 参数的先验分布p(s)贝叶斯估计贝叶斯风险最小估计问题：用一组样本集K={x1,x2,…,xN}估计未知参数θ，使估计带来的风险最小。贝叶斯(最小风险)估计参数估计的条件风险：给定x条件下，估计量的条件风险参数估计的风险：估计量的条件风险的期望贝叶斯估计：使风险最小的估计贝叶斯估计贝叶斯估计(II)贝叶斯估计损失函数定义为误差平方：定理3.1:如果定义损失函数为误差平方函数，则有：贝叶斯估计的步骤确定θ的先验分布p(θ)
14、由样本集K={x1,x2,…,xN}求出样本联合分布：p(K
15、θ)计算θ的后验分布计算贝叶斯估计贝叶斯估计3.3正态分布的参数估计最大似然估计示例贝叶斯估计示例3.3.1一元正态分布例解最大似然估计一元正态分布均值的估计最大似然估计一元正态分布方差的估计最大似然估计多元正态分布参数最大似然估计最大似然估计是一致估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的无偏
