资源描述：
《实用多元统计分析 第3讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、回归和相关分析基本概念回归分析和相关分析均研究变量之间的线性统计关系回归一个或一组变量可被观测者控制得到准确的量测值另一个或一组变量是随机变化观测值中含有随机误差相关成对或成组变量的观测值来自于一个总体的二维或多维变量变量是随机变化观测值中含有随机误差一一元线性回归和相关分析例子美国某大学连续5年12500记录了毕业生的平均起薪11500年平均起薪10500197499500210122310805850041137612345512025问题这5年的平均起薪的趋势是否可用一条斜线来表示怎样拟和
2、这条斜线怎样评价斜线对点拟和的好坏是否能对平均起薪随年代增长作一些推论1一元线性回归模式自变量以距平形式的一元线性回归模式设N对观测值(x1,y1),…,(xn,yn)来自于因变量Y和自变量Xxi是在观测者的控制下取值没有随机误差每个xi可能都不同也可能有相同的xiyi取值只能是观测不能控制Y对X的线性回归模式为y=α+β(xi−x)+e,i=1,...,N1iiN1其中x=∑xi,Ni=12ei为随机误差部分e是一随机变量N0Cov(er,es)=0,rs,和为回归系数需要我们估计由e的性质和
3、方程1得到yi的三个矩为Ε(y)=α+β(x−x)i=1,L,Nii2Var(y)=σiCov(y,y)=0r≠srs22用最小二乘法估计和即使误差平方和为s(α,β)=∑ei=∑[yi−α−β(xi−x)]最小s(α,β)分别对和求导得到方程组∂s(α,β)=2∑[yi−α−β(xi−x)]=0∂α∂s(α,β)=−2∑[yi−α−β(xi−x)](xi−x)=0∂βN1因为∑(xi−x)=0αˆ=∑yi=yNi=1N∑(xi−x)(yi−y)ˆi=1∑yixi−[(∑yi)(∑xi
4、)]Nβ==N22∑(x−x)2∑xi−(∑xi)Nii=1一般线性回归模式对于Χ=x时Y的预报值为yˆ=y+βˆ(x−x)iii将上述公式展开yˆ=y+βˆx−βˆxyˆ=(y−βˆx)+βˆxiiii令β=y−βˆx得一般线性回归模式y=β+βx+e0i0ii令z=y−yˆz称拟和模式的残差iiii∑∑zi=∑(yi−yˆi)=[yi−y−βˆ(xi−x)]=∑∑(yi−y)−βˆ(xi−x)=0残差之和为0估计参数的性质11βE(αˆ)=E(∑yi)=∑[α+β(xi−x)]=α+∑(xi
5、−x)=α无偏估计NNN∑(yi−y)(xi−x)E(βˆ)=E[]2∑(xi−x)1=2E{∑[α+β(xi−x)+ei−y](xi−x)}∑(xi−x)1=2∑[α+β(xi−x)−E(y)](xi−x)=β无偏估计∑(xi−x)2σVar(αˆ)=Var(y)=,N21σVar(βˆ)=22Var[∑(yi−y)(xi−x)]=2[∑(xi−x)]∑(xi−x)122Cov(αˆ,βˆ)=2[σ∑(xi−x)−σ∑(xi−x)]=0αˆ和βˆ不相关N∑(xi−x)]自变量的样本量越大并离散
6、程度越高估计参数的方差越小222令总离差平方和为SSY=∑(yi−y),回归平方和为SSR=β∑(xi−x)22残差平方和SSE=∑(yi−yˆ)=∑[yi−αˆ−βˆ(xi−x)]22[∑(yi−y)(xi−x)]=∑(yi−y)−2∑(xi−x)222=∑(yi−y)−βˆ∑(xi−x)=SSY−SSR222E(SSY)=β∑(xi−x)+(N−1)σ222E(SSR)=α+β∑(xi−x)2222222E(SSE)=β∑(xi−x)+(N−1)σ−α−β∑(xi−x)=σ(N−2)2σˆ=
7、SSE/(N−2)2误差的标准差s=SSE/(N−2)=σ估计参数的检验22根据yN(α+β(x−x),σαˆN(α,σ/N)ii222222βˆN(β,σ/∑(xi−x)SSE/σ=(N−2)σˆ/σ是ΧN−2分布αˆβˆ和SSE是独立分布(αˆ−α)对于来说t=Nσˆ1假设H:α=αagainstH:α>α0010如果t>t,拒绝H接受Hr;N−201t是在r水平上N−2个自由度时t分布值r;N−22假设H:ααagainstH:α≠α0010如果t≤t,接受H否则即t>t,拒绝H接受Hr2
8、;N−20r2;N−201σˆσˆ(3)α的1001r)%置信区间y−t≤α≤y+tr2;N−2r2;N−2NN2βˆ−β0(βˆ−β0)∑(xi−x)对于来说t==(Var(β)ˆ)σˆ(1)假设H:β=βagainstH:β>β0010如果t>t,拒绝H接受Hr;N−2012假设H:ββagainstH:β≠β0010如果t≤t,接受H否则即t>t,拒绝H接受Hr2;N−20r2;N−201(3)β的1001r)%置信区间βˆ−tσˆ≤β≤βˆ+tσˆr2;N−2r2;N−222∑(xi−x
