基于EM算法的极大似然参数估计探讨.pdf

《基于EM算法的极大似然参数估计探讨.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第32卷第4期河南大学学报（自然科学版）Vol.32No.42002年12月JournalofHenanUniversity（NaturalScience）Dec.2002基于EM算法的极大似然参数估计探讨112孙大飞，陈志国，刘文举（1.河南大学计算机与信息工程学院，河南开封475001；2.中国科学院自动化所模式识别国家重点实验室，北京100080）摘要：首先介绍了EM算法，然后研究了基于EM算法的混合密度极大似然参数估计，最后利用计算机仿真验证了此算法的收敛性和有效性.关键词：参数估计；似然函数；极大似然参数估计；完全数据似然函数；EM算法中图

2、分类号：文献标识码：A文章编号：1003-4978（2002）04-0035-07DiscussionofMaximumLikelihoodParameterEstimationBasedOnEMAlgorithm112SUNDa-fei,CHENZhi-guo,LIUWen-ju(1.InstituteofComputerandInformationEngineering,HenanUniuersity,Kaifeng475001,HenanChina;2.NationalLaboratoryofPatternRecognitionInstitut

3、eofAutomationCAS,Beijing100080,China)Abstract:Inthispaper,weintroducetheessenceofthealgorithm,studythemethodofmixturedensitiesparameterestimationbasedonEMAlgorithm,andgiveacomputeremulationexampletoillustrateconvergenceandvalidityofEMalgorithm.Keywords:parameterestimationglikel

4、ihoodfunctiongmaximumlikelihoodparameterestimationgincompletedatalikelihoodfunctiongEMalgorithm0引言［1，2，4~9］由于极大似然估计的渐进最优性质，它已经成为参数估计的一种常用方法，并且已经在众多领域中广泛得到应用，例如系统辨识、语音处理、图像处理及模式识别等等.但是，对于似然函数方程的求解却没有一般的理论方法，而实际应用中还主要借助于数字最优化方法.似然函数最大化可以通过梯度方法实现，这往往要求似然函数有较好的解析性质，但在大多数情况下很难满足这种要求

5、，因此必须寻求别的解决［4~6］方法，正是在这种情况下，人们提出了EM算法.EM算法主要用于非完全数据参数估计，它是通过假设隐变量的存在，极大地简化了似然函数方程，从而解决了方程求解问题.对于一些特殊的参数估计问题，利用EM算法可以较容易地实现.1极大似然估计极大似然估计是一种常用的参数估计方法，它是以观测值出现的概率最大作为准则.设x为连续随机变量，其分布密度函数为（px!），!=｛!1，⋯!M｝，这个密度函数由参数!完全决定.已知N个观测值x1，⋯xN，假设它们是从分布密度为（px!）的总体中独立抽取的.记X=｛x1，⋯xN｝，则N（pX!

6、）=（pxi!）gL（!X）.（1.1）i=1收稿日期：2002-09-30基金项目：国家自然科学基金（60174011）、河南省杰出青年科学基金（0312001900）、河南省高校杰出人才创新工程项目（2002KYCX007）作者简介：孙大飞（1976-），男，硕士生.36河南大学学报（自然科学版），2002年，第32卷第4期函数L（!lX）称为似然函数.当X固定时，L（!lX）是!的函数.极大似然参数估计的实质就是求出使L（!lX）达到极大时!值，即!^=argmaxL（!lX），（l.2）"其中"表示参数空间.为了便于求出使L（!lX）达到

7、极大的!^，通常对式（l.l）两边取对数，即NIn（L（!lX））=2In（（pxil!）），（l.3）i=l将式（l.3）分别对!i求偏导，令偏导数等于零，得方程组#In（L（!lX））=0，i=l，⋯，M，（l.4）#!i求解方程组（l.4），可以得到极大似然估计值!^.但是，极大似然估计存在的问题是，对于许多具体问题不能构造似然函数解析表达式，或者似然函数的表达式过于复杂而导致求解方程组（l.4）非常困难，因此须借助于其它方法.下面将要介绍的EM算法就是实际应用中的一种有效方法.2EM算法EM算法是进行极大似然估计的一种有效方法，它主要应用于下

8、面两种非完全数据参数估计：第一，观测数据不完全，这是由于观测过程的局限性所导致；第二，似然函数不是解析的，或