第3章 概率密度函数的参数估计.ppt

《第3章 概率密度函数的参数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章概率密度函数的参数估计3.0引言贝叶斯分类器的学习：类条件概率密度函数的估计。问题的表示：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度。概率密度函数的估计方法参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知；最大似然估计(MLE,MaximumLikelihoodEstimation)；贝叶斯估计(BayesianEstimation)。非参数估计方法。3.1最大似然估计独立同分布假设：样本集D中包含n个样本：x1，x2，…,xn，样本都是独立同分布的随机变量(i.i.d，independentidenticallydistr

2、ibuted)。对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ：似然函数样本集D出现的概率：对数似然函数：最大似然估计最大似然估计：寻找到一个最优矢量，使得似然函数最大。正态分布的似然估计Gauss分布的参数：由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为：3.2期望最大化算法(EM算法)EM算法的应用可以分为两个方面：训练样本中某些特征丢失情况下，分布参数的最大似然估计；对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。混合密度模型混合密度模型：一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成：高斯混合模型：GMM，GaussMixtureM

3、odel两个高斯函数的混合样本的产生过程高斯模型样本的产生：每一个样本都是按照正态分布产生的；GMM样本的产生：先按照先验概率ai选择一个子类，然后按照这个子类满足的正态分布产生样本。GMM模型产生的2维样本数据GMM模型的参数估计GMM的参数：参数估计：已知样本x1,…,xn，估计参数θ。存在的问题：每个样本是由哪一个子集产生的未知。训练样本：来自子类：已知y的条件下，参数的估计：已知参数条件下，y的估计：K-mean算法存在的问题：样本xt可能来自于任何一个子类，但在参数估计时只出现在一个子类中。修改计算过程：EM算法混合密度模型的参数估计混合密度模型的参数可以表示为：参数的估计方法：

4、梯度法：利用最优化方法直接对似然函数进行优化；EM算法：引入未知隐变量Y对问题进行简化，将Y看作丢失的数据，使用EM算法进行优化。EM算法的性质收敛性：EM算法具有收敛性；最优性：EM算法只能保证收敛于似然函数的局部最大值点（极值点），而不能保证收敛于全局最优点。基本EM算法样本集：令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=XY。似然函数：由于Y未知，在给定参数θ时，似然函数可以看作Y的函数：基本EM算法由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值：E步：M步：基本EM算法begininitial

5、ize，T，i0；doii+1E步：计算;M步：untilreturn隐含Markov模型(HiddenMarkovModel,HMM)应用领域：识别对象存在着先后次序信息，如语音识别，手势识别，唇读系统等；模式描述：特征矢量序列。输入语音波形观察序列观察序列：信号的特征需要用一个特征矢量的序列来表示：其中的vi为一个特征矢量，称为一个观察值。一阶Markov模型状态序列的产生：一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列WT=w(1),…,w(T)。一阶Markov模型的状态转移Markov性：模型在时刻t处于

6、状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即：Markov模型的初始状态概率模型初始于状态wi的概率用表示。模型参数：一阶Markov模型可以用参数表示，其中：一阶Markov模型输出状态序列的概率输出状态序列的概率：由初始状态概率与各次状态转移概率相乘得到。例如：W5=w1,w1,w3,w1,w2，则模型输出该序列的概率为：一阶隐含Markov模型隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态可以输出一个观察值。隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。HMM的工作原理观察序列的产生过程：HMM的内部状态转移过程同Marko

7、v模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。输出概率：以离散的HMM为例，隐状态可能输出的观察值集合为{v1,v2,…,vK}，第i个隐状态输出第k个观察值的概率为bik。例如：T=5时，可能的观察序列V5=v3v2v3v4v1HMM的工作过程HMM的参数表示状态转移矩阵：A，M*M的方阵；状态输出概率：B，M*K的矩阵；初始概率：π，包括M个元素。M个