欢迎来到天天文库
浏览记录
ID:54017928
大小:341.67 KB
页数:9页
时间:2020-04-28
《基于EM算法的极大似然参数估计探讨.pdf》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、第32卷第4期河南大学学报(自然科学版)Vol.32No.42002年12月JournalofHenanUniversity(NaturalScience)Dec.2002基于EM算法的极大似然参数估计探讨112孙大飞,陈志国,刘文举(1.河南大学计算机与信息工程学院,河南开封475001;2.中国科学院自动化所模式识别国家重点实验室,北京100080)摘要:首先介绍了EM算法,然后研究了基于EM算法的混合密度极大似然参数估计,最后利用计算机仿真验证了此算法的收敛性和有效性.关键词:参数估计;似然函数;极大似然参数估计;完全数据似然函数;EM算法中图
2、分类号:文献标识码:A文章编号:1003-4978(2002)04-0035-07DiscussionofMaximumLikelihoodParameterEstimationBasedOnEMAlgorithm112SUNDa-fei,CHENZhi-guo,LIUWen-ju(1.InstituteofComputerandInformationEngineering,HenanUniuersity,Kaifeng475001,HenanChina;2.NationalLaboratoryofPatternRecognitionInstitut
3、eofAutomationCAS,Beijing100080,China)Abstract:Inthispaper,weintroducetheessenceofthealgorithm,studythemethodofmixturedensitiesparameterestimationbasedonEMAlgorithm,andgiveacomputeremulationexampletoillustrateconvergenceandvalidityofEMalgorithm.Keywords:parameterestimationglikel
4、ihoodfunctiongmaximumlikelihoodparameterestimationgincompletedatalikelihoodfunctiongEMalgorithm0引言[1,2,4~9]由于极大似然估计的渐进最优性质,它已经成为参数估计的一种常用方法,并且已经在众多领域中广泛得到应用,例如系统辨识、语音处理、图像处理及模式识别等等.但是,对于似然函数方程的求解却没有一般的理论方法,而实际应用中还主要借助于数字最优化方法.似然函数最大化可以通过梯度方法实现,这往往要求似然函数有较好的解析性质,但在大多数情况下很难满足这种要求
5、,因此必须寻求别的解决[4~6]方法,正是在这种情况下,人们提出了EM算法.EM算法主要用于非完全数据参数估计,它是通过假设隐变量的存在,极大地简化了似然函数方程,从而解决了方程求解问题.对于一些特殊的参数估计问题,利用EM算法可以较容易地实现.1极大似然估计极大似然估计是一种常用的参数估计方法,它是以观测值出现的概率最大作为准则.设x为连续随机变量,其分布密度函数为(px!),!={!1,⋯!M},这个密度函数由参数!完全决定.已知N个观测值x1,⋯xN,假设它们是从分布密度为(px!)的总体中独立抽取的.记X={x1,⋯xN},则N(pX!
6、)=(pxi!)gL(!X).(1.1)i=1收稿日期:2002-09-30基金项目:国家自然科学基金(60174011)、河南省杰出青年科学基金(0312001900)、河南省高校杰出人才创新工程项目(2002KYCX007)作者简介:孙大飞(1976-),男,硕士生.36河南大学学报(自然科学版),2002年,第32卷第4期函数L(!lX)称为似然函数.当X固定时,L(!lX)是!的函数.极大似然参数估计的实质就是求出使L(!lX)达到极大时!值,即!^=argmaxL(!lX),(l.2)"其中"表示参数空间.为了便于求出使L(!lX)达到
7、极大的!^,通常对式(l.l)两边取对数,即NIn(L(!lX))=2In((pxil!)),(l.3)i=l将式(l.3)分别对!i求偏导,令偏导数等于零,得方程组#In(L(!lX))=0,i=l,⋯,M,(l.4)#!i求解方程组(l.4),可以得到极大似然估计值!^.但是,极大似然估计存在的问题是,对于许多具体问题不能构造似然函数解析表达式,或者似然函数的表达式过于复杂而导致求解方程组(l.4)非常困难,因此须借助于其它方法.下面将要介绍的EM算法就是实际应用中的一种有效方法.2EM算法EM算法是进行极大似然估计的一种有效方法,它主要应用于下
8、面两种非完全数据参数估计:第一,观测数据不完全,这是由于观测过程的局限性所导致;第二,似然函数不是解析的,或
此文档下载收益归作者所有