资源描述：
《em算法理论及其应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、32009年11月安庆师范学院学报(自然科学版)Nov.2009第15卷第4期JournalofAnqingTeachersCollege(NaturalScienceEdition)Vol.15No.4EM算法理论及其应用杨基栋(华东师范大学金融与统计学院,上海200062)摘要:EM算法是一种迭代算法,主要用来计算后验分布的众数或极大似然估计,广泛地应用于缺损数据、截尾数据、成群数据、带有讨厌参数的数据等所谓的不完全数据的统计推断问题。在介绍EM算法的基础上,针对EM算法收敛速度慢的缺陷,具体讨论了加速EM算法:EMB算法和MEMB算法;针对EM算法计算的局限性,给出了EM算法
2、的推广:GEM和MCEM算法。最后给出了EM的实值实例,结果精确。关键词:EM算法;极大似然估计;GEM算法;MCEM算法;EMB算法;MEMB算法中图分类号:O212.8文献标识码:A文章编号:1007-4260(2009)04-0030-060引言在统计领域里,统计计算技术近年来发展很快,它使许多统计方法,尤其是Bayes统计得到广泛的运用。Bayes计算方法有很多,大体上可分为两大类:一类是直接应用于后验分布以得到后验均值或后验众数的估计,以及这种估计的渐进方差或其近似;另一类算法可以总称为数据添加算法,这是近年发展很快而且应用很广的一种算法,它是在观测数据的基础上加一些“潜
3、在数据”,从而简化计算并完成一系列简单的极大化或模拟,该“潜在数据”可以是“缺损数据”或未知参数。其原理可以表述如下:设我们能观测到的数据是Y,θ关于Y的后验分布p(θ
4、Y)很复杂,难以直接进行各种统计计算,假如我们能假定一些没有能观测到的潜在数据Z为已知(譬如,Y为某变量的截尾观测值,则Z为该变量的真值),则可能得到一个关于θ的简单的添加后验分布p(θ
5、Y,Z),利用p(θ
6、Y,Z)的简单性我们可以对Z的假定作检查和改进,如此进行,我们就将一个复杂的极大化或抽样问题转变为一系列简单的极大化或抽样。EM算法就是一种常用的数据添加算法。1EM算法及其理论先考虑一个简单情形。设某元件的
7、失效时间Y关于某个变量x有直线回归关系,假设在一次试验中得到一批观测数据,见右图“,×”表示该种元件的失效时间对应的值,“○”对应元件的(右)截尾时间(比实际失效时间要小)。如果直线斜率和截距的估计值已知,则我们可以在真实数据不小于截尾数据的前提下,将各个被截尾的失效时间估计出来(譬如,若E(Y
8、x)>Z,则用E(Y
9、x)作为真实数据,否则取Z作为真实数据),从而得到所谓的“完全数据”,由此“完全数据”,我们可以对直线斜率和截距进行估计(如极大似然估计),估计出新的斜率和截距后,在重新估计各个被截尾的失效时间,得到新的完全数据,如此重复,我们将一个复杂的估计时间替换成一系列简单的估
10、计问题。将之一般化,我们可以给出EM算法。EM算法是一种迭代方法,最初由Dempster等于1977年首次提出,主要用来计算后验分布的众数或极大似然估计。近十年来引起了统计学家们的极大兴趣,在统计领域得到广泛应用。这种方法可以广3收稿日期:2009-05-21作者简介:杨基栋,女,安徽安庆人,华东师范大学金融与统计学院助理工程师。第4期杨基栋:EM算法理论及其应用·31·泛的应用于缺损数据,截尾数据,成群数据,带有讨厌参数的数据等所谓的不完全数据。它的每一次迭代有两步组成:E步(求期望)和M步(极大化)。一般的,以p(θ
11、Y)表示θ的基于观测数据的后验分布密度函数,称为观测后验分布
12、,p(θ
13、Y,Z)表示添加数据Z后得到的关于θ的后验分布密度函数,称为添加后验分布,p(Z
14、θ,Y)表示在给定θ和观测数据Y下潜在数据Z的条件分布密度函数。我们的目的是计算观测后验分布p(θ
15、Y)的众数,于是,EM算法如下进行。(i)记θ为第i+1次迭代开始时后验众数的估计值,则第i+1次迭代的两步为E步:将p(θ
16、Y,Z)logp(θ
17、Y,Z)后关于Z的条件分布求期望,从而把Z积掉,即(i)(i)(i)Q(θ
18、θ,Y)¦Ez[logp(θ
19、Y,Z)
20、θ,Y]=∫log[p(θ
21、Y,Z)]p(Z
22、θ,Y)dZ(1)(i)(i+1)M步:将Q(θ
23、θ,Y)极大化,即找一个点θ,使(i
24、+1)(i)(i)Q(θ
25、θ,Y)=maxQ(θ
26、θ,Y)(2)θ(i)(i+1)(i+1)(i)如此形成了一次迭代θ→θ。将上述E步和M步进行迭代直至‖θ-θ‖或(i+1)(i)(i)(i)‖Q(θ
27、θ,Y)-Q(θ
28、θ,Y)‖充分小时停止。例1假设一次试验可能有四个结果,其发生的概率分别为125,18,20,34。此处观测数据为Y=(y1,y2,y3,y4)=(125,18,20,34),取θ的先验分布∏(θ)为(0,1)上均匀分布,则θ的观测后验分布为1θy1y
