资源描述：
《含缺失数据的线性模型回归系数的约束em算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、南京航空航天大学硕士学位论文含缺失数据的线性模型回归系数的约束EM算法姓名：沈启霞申请学位级别：硕士专业：计算数学指导教师：刘心声20070301南京航空航天大学硕士学位论文摘要EM算法是求解不完全数据问题的参数极大似然估计的最好算法之一.它是一种迭代方法,算法的每一次迭代有两步组成:E步是计算一个建立在条件分布上的条件期望,M步是寻找一个建立在完全数据问题上的极大似然估计.线性等式约束下参数极大似然估计的EM算法问题已经被解决.然而当参数满足一系列线性或非线性不等式约束时,直接应用EM算法就显得非常困难.本文给出含有缺失数据的线性模型回归系数极大似然估计的约束EM算法,其中约束
2、条件分别为线性不等式和非线性不等式.对于线性不等式约束,我们采用两种方法求解,首先是将Kudo和Dykstra的投影方法加以改进,并将此算法应用到二元正态分布的线性模型中;其次利用Hildreth-D’Esopo方法给出M-步的最优化算法,并讨论了其EM序列的收敛性质.对于非线性不等式约束,我们利用极大似然估计的渐近正态性质,将EM算法的M-步转化为随机优化问题,给出了该随机优化问题的极限问题,即利用更易求解的极限问题的最优解来代替原优化问题的最优解,并证明了原优化问题的最优解是依概率收敛于极限问题的最优解.最后给出了本文所提出算法的数值模拟.关键词：不完全数据，EM算法，极大似
3、然估计，线性不等式约束，线性回归，非线性不等式约束i含缺失数据线性模型回归系数的约束EM算法AbstractOneofthemostpowerfulalgorithmsforobtainingmaximumlikelihoodestimatesformanyincompletedataproblemsistheEMalgorithm.ItisaniterativemethodandtherearetwostepsineveryiterationoftheEMalgorithm:oneiscalledE-stepwhichistofindaconditionalexpectatio
4、nbasedonaconditionaldistributionandtheotheriscalledM-stepwhichistofindamaximumlikelihoodestimator(MLE)basedonthecompletedataproblem.TherestrictedEMalgorithmformaximumlikelihoodestimationunderlinearequalitiesrestrictionsontheparametershasbeensolved.However,whentheparameterssatisfyasetoflinearo
5、rnonlinearinequalitiesrestrictions,theEMalgorithmmaybetoocomplicatedtoapplydirectly.ThispaperisdevotedtogivetherestrictedEMalgorithmforregressioncoefficientsofthelinearmodelwithmissingdata,heretheconstraintsaregivenbylinearandnonlinearinequalities,respectively.Forthelinearrestrictionsonthepar
6、ameters,wegivetwoalgorithms,thefirstismodifiedprojectionalgorithmofKudoandDykstra’s,andthisalgorithmisappliedtoM-stepofEMalgorithmfortwo-dimensionalnormaldistribution.TheotheroptimalalgorithmofM-stepistheHildreth-D’Esopoalgorithm,someconvergencepropertiesoftheEMsequencearediscussed.Andforthen
7、onlinearrestrictionsontheparameters,byusingtheasymptoticnormalityofthemaximumlikelihoodestimators,wechangethiskindofestimationproblemtoastochasticoptimizationproblemintheM-step,andgivethelimitproblemofthestochasticoptimizationproblem.Thatis,w
