实用多元统计分析 第四讲new

《实用多元统计分析 第四讲new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、二多元线性回归分析1回归模式考虑p个自变量xx,,Lx和一个因变量y它们之间的线性关系12pyx=+αβ()−x+L+β(x−x)+eii111pippi1N其中x=∑xjp=1,L,jijNi=12e是独立同分布((N0,σ))i仍用最小二乘法估计回归系数αβ,,L,β1pN2误差平方和为∑[]yx−−αβ()−x−L−β(x−x)ii111pippi=1用矩阵形式来表示线性方程为YX=+βeαy11x11−x1Lx1p−xpβe11Y=MX=MMLMβ=Mei=My1x−xLx−xeNN11Npp

2、βNp误差平方和为SY()ββ=−(X)′(Y−Xβ)∂βS()=−22XY′+XX′β=0∂β$−1XY′=XX′ββ=()XX′′(XY)将X阵分为[]jX,1[]′[]j′[]j′jj′x1NO′X′X=j,X1j,X1='jX1==X1X1′jX1′X1OX1′X1N2X′X在对角线上第j项为∑()xx−11ijji=1NX′X在非对角线上第jh项为∑()xx−−(xx)11ijjihhi=1j′Ny1N同样X′Y=Y=y=∑yiX′X1′yNi=1NNX′Y的第j项为∑()xx−y=∑()x

3、−−x(yy)1ijjiijjii==11i−1$α$NO′Nyyβ=$==−1βOX′XXy′()XX′′Xy11111112回归方程评价N2$$残差平方和SSE=−∑()yy−(Xβ)(′Xβ)自由度为N-P-1i1111i=1N2总离差平方和SSY=∑(y−y)自由度为N-1ii=1$'$回归平方和SSR=βX′Xβ自由度为P1111212随机误差的方差σ$=SSE误差的标准差S=σNP−−12SSRSSE在y的总方差中被线性方程所解释的方差量为R==1−SSYSSY22由SSE和SSY的自由度不同常用R代替RaSSE/

4、(N−−P1)−PN−122R=−1=+RaSSY/(N−11)NP−−NP−−12R没有自由度不同造成的影响在比较二个回归方程好坏时常用a3残差的图象分析分析目的主要是检验模式选用是否合适令zy=−y$jii作z和y$的散点图此图应是随机分布如果呈线性分布或方差随y$变化应对自jii变量进行变换后重新建立模式2z和每个x的散点图或z和xi或z和xx等如果散点图发生对称分布说jijj12明模式需要加入新的项z的直方图和Q-Q图检查个别误差和误差分布jQ-Q图作法a.将z从小到大排列zi()j1b.算出每个zi()的发生频率(iN−)/2c.根据频率查标准正态表得到qi()d

5、.作qi()和z的散点图此散点图趋于直线为好j将zj按j的顺序作散点图检查随机ei假设如果zj随j增加而变化可能指示yi之间不独立有自相关存在4回归系数检验2σ根据a.E(α$)=αVar(α$)=正态分布Nb.Cov(,αβ)=01$$2−1c.β是P维正态分布E(β)=βCov()βσ=(X′X)111111β$∼N(,βσ2α)α是(XX′)−1的第j个对角元素jjjjjj11$$2Cov(ββ,)为σαijijd.(ββ$−$)∼N((ββ−+),σ2(αα−2α))ijijiijjij估计值−检验参数t=∼tα,NP−−1估计值的均方差(y−α0)Nσ$对于αt=

6、置信区间yt±ασˆ2;NP−−1N$$ββ−β−βii$$对于βiti==βσi±tα2;NP−−1αii$σα$Var(β)iii()1()2()3H:β=βagainstH:β≠β,H:ββ〈,H:ββ〉0jj01jj01jj01jj0()1如果tt〉α2;NP−−1拒绝H0接受H1:βjj≠β0()2如果t〈−t拒绝H接受H:ββ〈α;N−P−101jj0()3如果t〉t拒绝H接受H:ββ〉α;N−p−101jj0β01检验所有βj都为0H0:MM=β0P2SSR/PNP−−11SSRNR−−RF===2SSE/1N−−PPS

7、SEP1−R如果FF<接受Hα;,PN−−P105多元回归注意的问题$−1模式YX=+βeβ=()XX′′XY1111−1(XX′)存在的条件是(XX′)非退化要求XX′≠0或其秩等于P向量组线性无关111111应用时注意检查自变量间是否线性相关即x,x相关系数为1ij样本量N>>P,自由度大6预报和置信区间′预报区间在XX=[]1,,L,X的情况下预报出y的区间0010P0模式y=+αβ′X+e注X以距平表示01000预报模式y$=+αβ$′X预报误差为y−y$010002对yEy()=+αβ′xVar()y=σ