多元线性回归中的参数估计

《多元线性回归中的参数估计》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、§5.4多元线性回归中的参数估计多元回归模型设自变量是可控变量，因变量是随机变量，它们之间具有统计相关关系，若，（5.4-1）则称（5.4-1）式为元回归模型。，（5.4-2）则称（5.4-2）式为元线性回归模型。，（5.4-3）则称（5.4-3）式为元正态线性回归模型。取，称为元线性回归（平面）方程。未知参数称为回归系数。对变量;作次（）观测，得到观测值，即有观测变量观测次数12n于是模型（5.4-3）又化为则称（5.4-4）式为元正态线性回归的观测值模型。为表达方便，在寻求模型（5.4-4）式的矩阵表示，记，，，则模型（5.4-4）又化

2、为其中维正态随机变量的期望向量为协方差矩阵为显然对于元正态线性回归分析，仍有以下三方面工作：①估计未知参数,；②对模型的假设检验和对参数的假设检验；③在处对作预测。多元线性回归中的参数估计（1）的最小二乘估计给定，相应的满足模型（5.4-4），从而以近似的观测值时产生的均方误差为如有使，则称为的最小二乘估计。为求，令即（5.4-8）式称为正规方程组。其矩阵形式为即亦即（5.4-9）称为正规方程。当可逆时，有其中称为经验回归常数；称为经验回归系数；元线性方程（5.4-11）式称为经验回归平面方程。由正规方程组（5.4-8）式中的第一个方程可得

3、即与有关，上式代入（5.4-11）式，得故维的点总位于经验回归平面上。（2）的矩估计将（5.4-10）式中的代入的表达式时，得到，称之为残差平方和或剩余平方和。故由矩法知，的矩估计为（3）多重相关系数令其中称多重相关系数。越接近1时，越接近0，说明线性回归的效果越好；特别，当时，，说明观测点全部落在经验回归平面上。例5.4-1根据经验，在人的身高相等的条件下，其血压与体重，年龄有关，现有如下13组观测数据：观测次数体重年龄血压1152501202183201413171201244165301265158301176161501257149

4、601238158501259170401321015355123111644013212190401551318520147试求关于，的线性回归方程。解：①设回归模型为，，记②求解经验回归系数MATLAB程序：x1=[152183171165158161149158170153164190185];x2=[50202030305060504055404020];x=[ones(1,13);x1;x2]';y=[120141124126117125123125132123132155147]';b=inv(x'*x)*x'*yb=-62.9

5、6341.06830.4002即有所求经验回归平面为③经验回归平面图形MATLAB程序：plot3(x1,x2,y','ro')gridholdon[X1,X2]=meshgrid(x1,x2);y1=-62.9634+1.0683*X1+0.4002*X2;mesh(X1,X2,y1)图5.4-1散点图与经验回归平面图中视线被遮住的部分没有显示，若再键入命令hiddenoff，则被遮住的部分会同时显示。hiddenoff图5.4-2散点图与经验回归平面④求的矩估计、多重相关系数MATLAB命令：>>n=length(y);>>q=(y-x

6、*b)'*(y-x*b);>>sigma2=q/nsigma2=6.2639>>r=sqrt(1-q/(n*var(y,1))r=0.9727即,.多项式回归——一元非线性回归化为多元线性回归多项式回归模型为：令，则模型化为元线性回归模型（5.4-3）注：多项式回归一般在的情况下使用，当时称为抛物线回归。例5.4.2已知废品率与化学成分有统计相关关系，现有试验数据如下：化学成分3436373839393940废品率1.301.000.730.900.810.700.600.50化学成分4041424343454748废品率0.440.560

7、.300.420.350.400.410.60试求对的回归方程。解：①画散点图，确定选配的曲线类型MATLAB程序：x=[34363738393939404041424343454748];y=[1.301.000.730.900.810.700.600.500.440.560.300.420.350.400.410.60];plot(x,y,'ro')图5.4-3观测值的散点图②设有二次多项式回归模型，.令，则回归模型化为，记，求解经验回归系数：MATLAB程序：x1=[34363738393939404041424343454748];

8、x2=x1.^2;n=length(x1);x=[ones(1,n);x1;x2]';y=[1.301.000.730.900.810.700.600.500.440.560.3