模式识别-参数估计统计决策法.ppt

《模式识别-参数估计统计决策法.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别PatternClassification第四章:参数估计统计决策法参数估计原理对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。参数估计法即是利用学习样本来估计类概率密度参数的方法。3模式识别，第四章参数估计参数估计法最大似然估计法Bayes估计法两种方法原理不同，但结果是一致的！4模式识别，第四章参数估计原理最大似然估计法：将待估参数视为确定的未知量进行估计Bayes估计法：将待估参数视为随机变量进行估计5模式识别，第四章最大似然估计法（ML）已知条件拥有一

2、批已知类别的学习样本，并知第j类的类概率密度的函数形式，参数未知。问题由学习样本估计最佳参数。6模式识别，第四章最大似然估计法解决方案7模式识别，第四章最大似然估计法解决方案8模式识别，第四章最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ可以看出，μ取A和B对似然函数的影响由于μ取B是似然函数更大，参数B优于AP(x/μ)xABμ=Bμ=A9模式识别，第四章最大似然估计法P(x/θ)10模式识别，第四章最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且均值

3、已知，现需估计最佳的方差σ可以看出，σ的变化对似然函数的影响P(x/σ)xσ1σ2参数σ1优于σ211模式识别，第四章最大似然估计法如何寻求最优参数？12模式识别，第四章解决方案用求极值的方法求最佳θ值为计算方便，对似然函数求自然对数:最大似然估计法13模式识别，第四章最大似然估计法解决方案定义梯度算子▽为：14模式识别，第四章最大似然估计法解决方案则令：15模式识别，第四章最大似然估计法解决方案即：可得到r个关于参数θ的方程组，求解方程组，即可求得最佳估计值。16模式识别，第四章最大似然估计法例一：设样本满足一维正态分

4、布，现已知n个学习样本，试用最大似然估计法估计其均值μ和方差σ２。解：对于一维正态分布待估参数为　　　　　　　　其中17模式识别，第四章最大似然估计法可记为:则似然函数为：18模式识别，第四章最大似然估计法令:即:19模式识别，第四章最大似然估计法得:解得:20模式识别，第四章最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵Σ已知，且已知n个学习样本，试用最大似然估计法估计均值向量μ。21模式识别，第四章最大似然估计法解：样本满足正态分布，则似然函数22模式识别，第四章最大似然估计法协方差矩阵已知，仅有一个待参

5、数均值向量，即θ=μ令得：23模式识别，第四章最大似然估计法即：可得θ=μ的最佳估计值为：即最佳均值向量是n个学习样本的重心（算数平均）。最佳估计值24模式识别，第四章最大似然估计法例三:设为多维正态分布，现已知n个学习样本，试用最大似然估计法估计和。解:与前述方法相同，即：25模式识别，第四章最大似然估计法似然函数令:26模式识别，第四章最大似然估计法得:27模式识别，第四章最大似然估计法基于最大似然估计法的分类器设计确定样本类概率密度函数形式确定待估参数根据学习样本，用最大似然估计法估计概率密度函数的参数估计样本先验

6、概率用Bayes方法设计分类器28模式识别，第四章Bayes估计原理：将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。29模式识别，第四章Bayes估计实现过程将待估参数视为随机变量，并由先验只是得到粗略分布P(θ)θ30模式识别，第四章Bayes估计为已知函数形式的类概率密度，待估，且知n个学习样本，记为，j为类别。由Bayes公式有：其中为的后验概率，表示在观察了n个学习样本后对的修正分布。31模式识别，第四章Bayes估计则表示在参数为的条件下，n个

7、样本出现的概率。为待估随机参数的先验概率分布。与无关，可用系数代替即：32模式识别，第四章Bayes估计显然，由于n个学习样本是独立抽取的，则可得：观察了n个样本后θ的修正分布33模式识别，第四章Bayes估计合理的估计方法是：在修正的分布中，使得取值最大的值即是的最佳估计值。34模式识别，第四章Bayes估计P(θ/X(j))θθ0P(θ)θn35模式识别，第四章Bayes估计例：已知类概率密度为一维正态分布，其中方差已知，均值参数待估。试用Bayes估计法估计均值36模式识别，第四章Bayes估计解：对一维正态分布P

8、(x/μ)xμ37模式识别，第四章Bayes估计首先，将待估参数μ视为随机变量，并具有一定的初始分布。假设其具有正态分布：38模式识别，第四章Bayes估计P(μ)μμ039模式识别，第四章Bayes估计观察了n个学习样本后，μ的后验概率(修正分布)为：40模式识别，第四章Bayes估计可见：修正后μ的分布仍为正态分