线性模型参数的多种估计方法的随机模拟

《线性模型参数的多种估计方法的随机模拟》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性模型参数的多种估计方法的随机模拟问题的陈述：人们常常使用线性模型对数据进行回归与预测，在假定了数据的自变量X与响应变量Y具有线性关系Y=α+β·X+ε之后，我们可以对参数值进行估计，从而达到对模型进行估计的效果。这是本次模拟要处理的主要问题，即各种估计方式的优劣判别。目的的陈述：对于给定的数据X，Y（两列数据），我们将对4种距离：d1(a,b)=

2、(y–a–b*x)/b2+1

3、；d2(a,b)=

4、(y–a–b*x)

5、；d3(a,b)=

6、(y–a–b*x)/b

7、；d4(a,b)=

8、y–a–b*x2/b

9、与3种计算方式f1a,b=sum(d(a,b))、f2a,b

10、=max⁡(d(a,b))、f3a,b=sum(d(a,b)^2)（每个元素平方）进行优劣比较。试验的设计：对一组给定的数据X，Y，我们将通过极小化目标函数f1、f2、f3的方式来求得a与b。第零部分，比较通过随机数产生的样本点与固定样本点对参数估计带来的影响。第一部分，比较距离函数d1、d2、d3、d4对参数估计带来的影响。方法如下：对每一个计算方式f1、f2、f3，与每一组数据，我们分别计算使用4种不同距离函数得到的参数值并且将其对比。第二部分，比较计算方式f1、f2、f3的优劣。方法如下：对4种距离中的每一种，我们都用3种计算方式来得到估计的参数值，并将其对

11、比。关于参数估计的其他兴趣：参数估计值的渐近性质。对上文的任意一个单项的检验，我们都遵从如下步骤：Step1：产生n个样本点（固定样本点等距离取定即可，随机样本点Xi~iidU(0,1)或Xi~iidN(2,1)），产生对应于n个样本点的随机误差ϵi~iidN(0,σ2)，σ2可以取1与0.1，或者ϵi~iidCauchy(0,1)。对应的Yi=α+β·Xi+ϵi。从而，我们得到了“数据”，(X1,Y1),(X2,Y2)…(Xn,Yn)。Step2：利用上文产生的“数据”，我们分别通过最小化对应的f函数的方式来得到参数α与β的估计，a与b。Step3：重复Step

12、1&Step2n_repeat次，得到若干组估计值a、bStep4：对得到的估计数据进行分析。1、通过方差、偏倚直接描述估计值，2、通过假设检验的方式比较不同的计算方式得来的结果。第零部分：探究X取固定样本点与随机样本点的关系（代码统一见1.txt，在代码里，可供修改的参数处已经做好批注）1、ϵi~iidN(0,σ2)，σ2=0.1，比较X~U0,1与X在0,1中等距取样本点两者在参数估计上的效果。计算方式采用d2与f3的结合。单次试验样本数n=100，试验重复数n_repeat=10000。结果展示：Part1：采用随机样本点得到的a、b的估计值的直方图均值与方

13、差：有关a的估计值：mean=0.9999975，var=0.0004027有关b的估计值：mean=2.000021，var=0.00120413采用固定样本点得到的a、b的估计值的直方图均值与方差：有关a的估计值：mean=1.000002，var=0.0004017有关b的估计值：mean=2.000052，var=0.0012546Part2：检验两种估计方式的均值和方差是否相同1）均值是否相同？由于这里两种估计方式的样本数量都高达10000，远大于30，我们可以认为这是大样本的检验，我们计算两次估计得到的样本的z值对a的估计值：z=meanx1-mean

14、(x2)var(x1)10000+var(x2)10000=-0.01539，这个值的绝对值远远小于1.96（95%significance），于是我们便没有充分的理由拒绝两者均值相同的假设。对b的估计值：同上计算得到z=-0.06282，同样，我们也没有充分的理由拒绝两者有相同的期望1）方差是否相同？计算F-ratio，F=max{var(x1)var(x2)，var(x2)var(x1)}，对自由度为（9999,9999）的F分布，F0.05=1.033447，F0.01=1.047632对a的估计值：F=1.002618

15、来拒绝两者有相同的方差对b的估计值：F0.01>F=1.041891>F0.05，同样我们有95%可信度来拒绝关于b的估计两者具有相同的方差，不过，没有99%的可信度。Part3：综上所述，在d2，f3这一计算方式下，样本点取值是[0,1]均匀随机变量或是给定的等距节点对参数值的估计在均值层面没有影响，但在β的估计上，两者的离散程度不同。1、ϵi~iidN(0,σ2)，σ2=1，比较X~N2,1与X在-1,3中等距取样本点两者在参数估计上的效果。计算方式采用d2与f3的结合。单次试验样本数n=100，试验重复数n_repeat=10000。结果展示：Part1：采

16、用随机样本