7.贝叶斯分类器的学习

《7.贝叶斯分类器的学习》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、贝叶斯分类器的学习引言贝叶斯分类器中最主要的问题是类条件概率密度函数的估计。问题可以表示为：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度。概率密度函数的估计方法参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知；最大似然估计(MLE,MaximumLikelihoodEstimation)；贝叶斯估计(BayesianEstimation)。非参数估计方法。最大似然估计样本集D中包含n个样本：x1，x2，…,xn，样本都是独立同分布的随机变量(i.i.d，

2、independentidenticallydistributed)。对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ：似然函数由独立同分布假设，样本集D出现的概率为：定义对数似然函数：最大似然估计最大似然估计就是要寻找到一个最优矢量，使得似然函数最大。例1假设手写数字样本满足正态分布，使用最小错误率贝叶斯分类器进行识别，采用降维后的样本；正态分布最大似然估计结果为：混合密度模型一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成：高斯混合模型(GaussianMixedModel,GMM

3、)N(μ,Σ)表示一个高斯分布。其中：GMM模型产生的2维样本数据两个高斯函数混合GMM的训练K值要预先确定；需要训练的参数：aj，μj，Σj；训练算法一般采用EM迭代算法。ExpectationMaximizationAlgorithmGMM参数的EM估计算法设定混合模型数K，初始化模型参数，阈值T，i0；用下列公式迭代计算模型参数，直到似然函数变化小于T为止：隐含Markov模型(HiddenMarkovModel,HMM)有一些模式识别系统处理的是与时间相关的问题，如语音识别，手势识别，唇读系统等；对这

4、类问题采用一个特征矢量序列描述比较方便，这类问题的识别HMM取得了很好的效果。输入语音波形观察序列信号的特征需要用一个特征矢量的序列来表示：其中的vi为一个特征矢量，称为一个观察值。一阶Markov模型一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列WT=w(1),…,w(T)。一阶Markov模型的状态转移模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即：Markov模型的初始状态概率模型初始于状态wi的概

5、率用表示。完整的一阶Markov模型可以用参数表示，其中：一阶Markov模型输出状态序列的概率模型输出状态序列的概率可以由初始状态概率与各次状态转移概率相乘得到。例如：W5=w1,w1,w3,w1,w2，则模型输出该序列的概率为：一阶隐含Markov模型隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态可以输出一个观察值。隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。HMM的工作过程HMM的工作原理HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输

6、出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。以离散的HMM为例，隐状态可能输出的观察值集合为{v1,v2,…,vK}，第i个隐状态输出第k个观察值的概率为bik。例如：T=5时，可能的观察序列V5=v3v2v3v4v1HMM的参数表示状态转移矩阵：A，M*M的方阵；状态输出概率：B，M*K的矩阵；初始概率：π，包括M个元素。M个状态，K个可能的输出值。HMM的三个核心问题估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率–前向算法，后向算法；解码问题：已

7、有一个HMM模型，其参数已知，计算最有可能输出特定的观察序列VT的隐状态转移序列WT–Viterbi算法；学习问题：已知一个HMM模型的结构，其参数未知，根据一组训练序列对参数进行训练–Baum-Welch算法；估值问题一个HMM模型产生观察序列VT可以由下式计算：rmax=MT为HMM所有可能的状态转移序列数；为状态转移序列输出观察序列的概率；为状态转移序列发生的概率。估值问题的计算计算复杂度：HMM估值算法的简化HMM的前向算法初始化：迭代计算：结束输出：计算复杂度：解码问题解码问题的计算同估值问题的计算类

8、似，最直观的思路是遍历所有的可能状态转移序列，取出最大值，计算复杂度为：O(MTT)。同样存在着优化算法：Viterbi算法。Viterbi算法因为需要回朔最优路径，所以建立一个矩阵Φ，其元素保存第t步，第i个状态在第t-1步的最优状态。初始化：迭代计算：结束：路径回朔：Viterbi算法图示“左-右”模型结构带跨越的“左-右”结构HMM模型非参数估计的基本思想非参数估计的基本思想令R