参数估计问题.pdf

《参数估计问题.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、回顾•参数估计•将类条件概率密度未知转化为较简单的参数未知•参数估计方法•最大似然估计•贝叶斯估计•最大似然估计•似然函数•对数似然函数•似然方程•对数似然方程回顾•高斯情况回顾•贝叶斯估计的基本思路npD(

2、)θθpx(

3、)kk1pD(

4、)()θθppD(

5、)θpD(

6、)()θθθpdp(xx

7、DppD)(

8、θθθ)(

9、)d•高斯情况•递归的贝叶斯学习Ch04.参数模型Part1隐马尔可夫模型马尔可夫链•状态i,1i,2,•t时刻的状态•长度为T的离散时间上的状态序列例如：•转移概率（矩阵）为从状态到的转移概率ij马尔可夫链•状态转移图马尔可夫链•j

10、-阶马尔可夫过程•下一时刻为某个状态的概率仅与最近的j个状态有关仅与最近的j个状态有关•一阶马尔可夫过程•任一时刻为某状态的概率仅与上一时刻的状态相关仅与上一个状态有关隐马尔可夫模型•隐马尔可夫模型（HiddenMarkovModel，缩写为HMM）•状态不可见•在t时刻，隐藏的状态以一定的概率激发出可见的符号x()t，其取值表示为vvv,,,123•长度为T的离散时间上的可见符号序列TXxx(1),(2),,()xT6例如：Xvvvvvv511523,,,,,•观察到可见符号的概率bPjkk(()xtvt

11、()j)bjk1k隐马尔可夫模型•状态

12、转移图一个例子•盒子编号不可见•每次从任一盒子中取出一个小球•隐藏状态：盒子编号•可见符号：小球•盒子i中取出各种小球的概率•得到某个特定小球序列的概率？离散HMM的符号表示•隐藏状态集•可见符号集完整的HMM参数向量•状态序列•观察序列•状态转移概率•观察到可见符号的概率•初始状态概率HMM三大核心问题•估值问题•已知•观察到特定符号序列X•HMM模型参数向量•求•似然函数•解码问题•已知•观察到特定符号序列X•HMM模型参数向量•求•最有可能产生X的隐状态序列HMM三大核心问题•学习（或参数估计）问题•已知•观察到特定符号序列X•求•模型参数向量的估计值例如：ML估计估值

13、问题•直接计算HMM模型产生可见长度为T的符号序列X的概率其中，表示状态(1)的初始概率T假设HMM中有c个隐状态，则计算复杂度为OcT()！例如：c=10，T=20，基本运算1021次！估值问题•解决方案•递归计算t时刻的计算仅涉及上一步的结果，以及()t，(1t)，和xt()•HMM向前算法•HMM向后算法估值问题•HMM向前算法定义i()t：t时刻在状态i，并且已观察到x(1)，x(2)，……x(t)的概率•初始化对每一个隐状态i，计算•递归fort=2toT对每一个隐状态j，计算end•最后2T计算复杂度OcT()()OcT估值问题•HMM向前算法估值问题

14、•HMM向后算法（向前算法的时间反演版本）定义()t：t时刻在状态i，并且已逆向观察到x(T)，x(T-1)，……x(t)i的概率•初始化bixT()对每一个隐状态i，计算i()T（假设T时刻每个状态的概率相同）c•递归fort=T-1to1c对每一个隐状态i，计算ii()tajj(1)tbix()tj1end•最后c2TP(X

15、θ)(1)计算复杂度OcT()()OcTiii1例子•HMM为•：吸收状态，即序列结束时的必然状态。该状态产生唯一的特殊可见符号v0，表示HMM过程结束例子•已知t=0时状态为，即1aa0.2,

16、0.3,010111aa0.1,0.4212313•现观测到的序列为4V{,,,}vvvv1320•计算HMM产生这个特定观测序列的概率？例子•解HMM用于分类•为每一个类别建立一个HMM•每个HMM有自己的参数向量θi，该参数向量可以从属于类别i的样本中学习（估计）得到。P(

17、)()xθθPii•贝叶斯决策P(

18、)θxicPP(

19、)()xθθiii1•决策结果*iPargmax((x

20、θθ)())PiiiHMM用于语音识别•“从左到右”（left-to-right）HMM发音“viterbi”的“从左到右”HMM•为每个单词发音建立一个HM

21、M，其参数为θi•用向前算法计算发音序列X的类条件概率P(

22、)Xθi•P()θi取决于语言本身和上下文语义•用贝叶斯公式计算X的后验概率P(

23、)θXi•最大后验概率指示语音内容解码问题•已知一个观察序列XT，寻找最可能的隐状态序列•穷举法•把所有可能的隐状态序列的概率都计算一遍•计算复杂度TOcT()解码问题•Viterbi算法•初始化对每个隐状态i，计算•递归fort=2toT:对每一个隐状态j，计算end•最后fort=T-1to1（路径回溯）:2T计算复杂度OcT()()OcTend例子•HMM