一元线性回归模型的贝叶斯分析[1]

《一元线性回归模型的贝叶斯分析[1]》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一元线性回归模型的贝叶斯分析[1]BayesianAnalysisonUnivariateLinearRegressionModelXUChang2lin,WEILi2li(SchoolofMathematicsandComputer,NingxiaUniversity,Yinchuan750021,China)BayesianAnalysisonUnivariateLinearRegressionModelXUChang2lin,WEILi2li(SchoolofMathematicsandComputer,NingxiaUniversity,Yinchuan750021,C

2、hina)第23卷　第3期重庆工学院学报(自然科学)2009年3月Vol.23　No.3JournalofChongqingInstituteofTechnology(NaturalScience)Mar.2009　　　　一元线性回归模型的贝叶斯分析X许昌林,魏立力(宁夏大学数学计算机学院,银川　750021)摘要:在贝叶斯统计的基础上,给出了一元线性回归模型的贝叶斯分析方法.关　键　词:线性回归;贝叶斯分析;边缘分布中图分类号:O212.1　　　　文献标识码:A文章编号:1671-0924(2009)03-0098-03gressionisthefoundationofAbs

3、tract:Thelinearregressionplaysaveryimportantroleinappliedstatisticsandtheunivariatelinearre2regression.Theregressionequationhasbeenfoundwithclassicalmethod.BasedontheBayesianstatistics,thispaperpresentstheBayesiananalysismethodforunivariatelinearre2gressionmodel.Keywords:linearregression;Bay

4、esiananalysis;marginaldistribution1　贝叶斯公式　　贝叶斯统计学是数理统计中一个活跃的分支,与经典统计学相比,不仅需要使用总体信息和样本信息,而且特别强调使用先验信息.所谓先验信息,是指获得观测量之前就已存在的关于未知参数的知识,其起点是贝叶斯定理和贝叶斯假设.贝叶斯定理又称贝叶斯公式,在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式.一般情况下,设θ为未知参数(或向量),它的先验密度记为π(θ),x为观测量,当获得观测量x后,θ的后验密度由Bayes公式得出:f(x

5、θ)π(θ)π(θ

6、x)=f(x

7、θ)π(θ)dθ∫Θ其中:f(x

8、θ)

9、为给定x时样本概率密度函数,也称似然函数;Θ为参数空间;π(θ

10、x)为获得试验样本之后对θ的新认识,称为后验密度.以π(θ

11、x)作为统计推断的出发点,这就是贝叶斯统计方法.没有任何知识帮助确定先验分布密度π(θ).贝叶斯提出可采用均匀分布作为先验分布密度,这种确定先验分布的原则称为贝叶斯假设.用“∝”表示成比例,贝叶斯假设可表示为π(θ)∝常数.在贝叶期定　X　收稿日期:2008-12-15基金项目:宁夏自然科学基金资助项目(1999A002).作者简介:许昌林(1983—),男,宁夏盐池人,硕士研究生,主要从事概率统计研究.许昌林,等:一元线性回归模型的贝叶斯分析　　　　99

12、理中,分母是一个与θ无关的量,它只依赖于x,而分子是与似然函数和先验分布有关的,因此贝叶斯定理也可等价表示为π(θ)∝f(x

13、θ)π(θ).2　模型系数的贝叶斯估计　　一元线性回归模型是单个因变量与单个自变量联系起来研究他们之间的相互关系,其模型为yi=β1+β2xi+εi,i=1,2,.,n其中:xi表示自变量的第i个观测值;yi表示在自变量xi下因变量的第i个观测值;εi表示第i个扰动(误差);β1,β2是未知参数.这里假定εi服从正态分布N(0,σ2),且相互独立,β1,β2,σ2之间也相互独立.令y=(y1,.,yn)′,x=(x1,.xn)′,似然函数为n211L(β

14、1,β2,δ)=2πσ2exp-2Σ(yi-β1-β2xi)2,-∞<β1,β2<+∞,0<σ<+∞(1)2σi=n1　　对式(1)两边取对数,然后关于β1,β2分别求偏导数,且令偏导数为0,得β1,β2的极大似然估计为nni=11,β2本研究考虑无信息先验分布下的贝叶斯β1=y-β(^)估计.参数βx,β^2=Σi=1(xi-..x)(yi-y)Σni=1(xi-x)2.(^).2.11n其中:.y=Σyi;.x=Σxi.i=1nn2.1　参数β的贝叶斯估计1,β2,σ的先验分布分别为π(