带隐变量的回归模型EM算法.pdf

《带隐变量的回归模型EM算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第41卷第2期计算机科学Vo1．41No．22014年2月ComputerScienceFeb2014带隐变量的回归模型EM算法韩忠明吕涛张慧姜同强(北京工商大学计算机与信息工程学院北京100048)摘要带有隐变量的回归模型具有非常广泛的应用场合，隐回归模型的参数求解问题依赖于自变量的分布假设。基于自变量的beta分布的假设条件，给出了隐回归模型的EM算法，详细地推导了模型中的参数求解过程，给出了使用牛顿法求解beta分布参数的算法，并提出一个合适的初值选择算法。在模拟数据和真实数据的基础上进行了详细的比较性试验，结果表明，对具有不同分布特

2、征的因变量观察值，EM算法能够有效地求解隐回归模型的参数。关键词隐回归模型，最大期望算法，回归模型中图法分类号TP391．4文献标识码AEMAlgorithmforLatentRegressionModelHANZhong-mingLVTaoZHANGHuiJIANGTong-qiang(SchoolofComputerandInformationEngineering，BeiingTechnologyandBusinessUniversity，Beqing100048，China)AbstIctTherehaveaverywiderang

3、eofapplicationsforlatentvariableregressionmode1．Estimationoftheparame—tersoflatentvariableregressionmodelsdependsontheassumptionsofthedistributionoftheindependentvariables．BasedontheBetadistributionoftheindependentvariables，anEMalgorithmforparametersestimationoflatentregre

4、s—sionmodelwasproposedinthispaper．Thedetailedsolutionprocessinthemodelwasderived．Newtonmethodforsol—vingparameterofBetadistributionwasgiven．Furthermore。aninitialvalueselectionalgorithmwasproposed．Compre—hensiveexperimentswereconductedbasedonsimulationdatasetsandrealdataset

5、．TheexperimentalresultsshowthattheEMalgorithmcanefficientlyestimateparameterswithdifferentdistributionshapesoflatentregressionmodels．KeywordsLatentregressionmodel，EMalgorithm，Regressionmodel近年来，图模型作为一种非常有效的统计学习模型受到些对应关系。对于带隐变量的回归模型一届+卢l+e，如果了广泛的关注，应用领域越来越广泛。图模型涉及的变量较自变量X为0

6、-1分类变量，则模型转化为混合模型。如果自多，而受试验条件所限，变量中常存在一些无法观察到的变变量服从正态分布，则模型为高斯混合模型。求解带隐变量，亦即隐变量。如果带隐变量的图模型联合概率分布可以量的回归问题就是求解混合模型中的参数。获取，就可以采用EM算法求解，但是在实际情况中，带隐变隐变量回归模型具有很多实际应用领域，现实问题中很量的联合概率分布难以确定，如果可以假定隐变量和观察变多现象存在隐因素的作用。例如在基因网络中，不同的基因量之间具有特定的作用形式，例如线性关系或非线性关系，那之间存在调控关系，但是很多基因的表达无法直接通过试验

7、么隐变量的求解可以转化为带有隐变量的回归问题。如图1观察得到，所以要建模不同基因间的作用形式就会形成隐变所示，假设32，32z，⋯，z是隐变量，这些隐变量作用于可以观量模型。在社会网络中，节点之间存在关系的强弱，而关系的察到的变量Y上。假设隐变量与观察变量之间具有的作用关强弱可以通过交互的强弱来体现。关系的强弱无法在试验中系为y=f(x，⋯，Xn)，则可以通过给定的观察变量的值Y，获取，因此关系强弱可以建模为交互强弱上的回归模型。此⋯，来估计隐变量的分布参数以及对应的值。非线性关系外，在分类问题中，如果特征无法准确度量，则也可以采用隐可以通

8、过对数化等转化为线性关系，所以我们只讨论带隐变回归模型求解。量的线性回归问题。假设一个线性回归模型为一届+届z+e，如果自变量,27为隐变量，随机误差s~N(0，)，而参数岛，以