多重回归中的注意事项

《多重回归中的注意事项》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多重回归分析中的注意事项医学统计学教研室柳伟伟2内容共线性诊断与异常点诊断自变量的数量化主成分回归分析最优回归子集法3一、自变量的数量化1.定量变量：通常将定量变量的原始观察值代入方程进行计算。当某个自变量X与因变量Y之间不呈线性关系时，可以考虑对X作某种变换，以改善回归方程的拟合优度。如果数据变换恰当，应使决定系数R2有明显的增大4一、自变量的数量化2.二值变量：赋值后代入方程进行计算，赋值的方式可以有多种，如对性别的赋值方法可为或5一、自变量的数量化3.多值名义变量：需要产生哑变量，每个哑变量都是一个指示变量，所需哑变量的数目为多值名义变量的类别数减1。如“血型”是一个多值

2、名义变量，有A、B、AB、O四种，若以O型血为基准，需引入3个（4-1=3）哑变量来描述。6一、自变量的数量化治疗高血压的疗法分为中医、西医及中西医结合，可用两个哑变量D1、D2表示，赋值方式为疗法哑变量D1D2中医00西医10中西医结合017一、自变量的数量化疗法哑变量D1D2中医10西医01中西医结合-1-18一、自变量的数量化两种赋值方法在使用上的侧重点不同，方法一强调参数解释；方法二采用的是方差分析编码的方法，更注重的是假设检验采用不同的回归方法，得到的回归方程不同，但回归分析的总体效果不改变9一、自变量的数量化4.多值有序变量：有两种处理方式，方法一是将有序变量各等级

3、分别赋值1、2、3、…后，直接代入方程计算，这种方式适合于自变量较多、样本含量又不够大的场合；方法二是赋哑变量，这种方式适合于自变量不是很多、样本含量又比较大的场合10二、共线性诊断与异常点诊断1.条件数设X为n个研究对象在k个自变量上的取值数据矩阵，则可求出其交叉乘积矩阵X′X的k个特征根，记为li(i=1、2、…、k)，且有l1>l2>…>lk。11二、共线性诊断与异常点诊断1.条件数最大特征根与其余每个特征根比值的平方根，称为条件指数(conditionalnumber)，公式为：12二、共线性诊断与异常点诊断1.条件数而最大条件指数，简称为条件数，其值为最大特征根与最小

4、特征根之比值的平方根。即：13二、共线性诊断与异常点诊断1.条件数直观上，条件数度量了信息矩阵X′X的特征根散布程度，可用来判断多重共线性是否存在及其严重程度。条件数越大，说明设计矩阵X具有越强的共线性。14二、共线性诊断与异常点诊断1.条件数经验上，若030，则认为自变量间存在严重的多重共线性。15二、共线性诊断与异常点诊断2.方差分量SAS软件在进行回归诊断时，自动对模型中的全部自变量进行主成分分析，使每个标准化后的自变量相应的方差(值为1)被分解到同等数

5、目的主成分变量上。每个主成分变量分得的方差称为方差分量。16二、共线性诊断与异常点诊断2.方差分量强的多重共线性可以表现在变量的方差分量上。若条件数(即最大条件指数)所在行同时有两个以上的变量方差分量超过0.5，就意味着这些变量间存在一定程度的相关。17二、共线性诊断与异常点诊断3.容许度(tolerance,TOL)对自变量Xi而言，其容许度的计算公式为：18二、共线性诊断与异常点诊断3.容许度(tolerance,TOL)其中，Ri2指模型中其余自变量对自变量Xi的决定系数。Ri2越大，则1-Ri2值越小，容许度越差。说明该自变量不由其他自变量说明的部分相对较小，即该自变量

6、与其他某些自变量关系较为密切。19二、共线性诊断与异常点诊断4.方差膨胀因子(varianceinflationfactor,VIF)Xi的方差膨胀因子计算公式为：根据经验，VIF>5或10时，一般存在严重的多重共线性。20二、共线性诊断与异常点诊断5.共线性的解决方法(1)变量筛选自变量存在多重共线性时，说明部分自变量间有较高的相关性。可认为这些自变量对因变量的作用部分重叠或存在包含作用。故可采用自变量筛选的方法选出对因变量有统计学影响且相互之间独立或相关性较低的一组自变量。21二、共线性诊断与异常点诊断5.共线性的解决方法(2)有偏估计自变量间存在多重共线性且专业上认为需要

7、保留在模型中时，不宜使用最小二乘法估计模型。此时，可采用有偏估计。所得回归系数的估计值与参数的偏离不大，且较为稳定，另回归系数的标准误比最小二乘法小。此类方法包括岭回归分析、主成分回归分析等。22二、共线性诊断与异常点诊断5.共线性的解决方法(3)偏最小二乘回归分析此法是最小二乘法的一种拓展，最早产生于化学界。建模过程中，集成了主成分分析、典型相关分析和线性回归分析的特点，具有传统经典回归分析所没有的优点。23二、共线性诊断与异常点诊断5.共线性的解决方法(4)增大样本含量通过增加样本含量，