逻辑回归模型分析见解

《逻辑回归模型分析见解》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1.逻辑回归模型1.1逻辑回归模型考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为　　　　　　　　　（1.1）上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。其中。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有（1.2）　　定义不发生事件的条件概率为（1.3）那么，事件发生与事件不发生的概率之比为（1.4）这个比值称为事件的发生比(theoddsofexperiencinganevent),

2、简称为odds。因为00。对odds取对数，即得到线性函数，　　　　　　（1.5）1.2极大似然函数　　假设有n个观测样本，观测值分别为设为给定条件下得到的概率。在同样条件下得到的条件概率为。于是，得到一个观测值的概率为　　　　　　　　　　（1.6）　　因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。（1.7）上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数，使上式取得最大值。对上述函数求对数（1.8）上

3、式称为对数似然函数。为了估计能使取得最大的参数的值。对此函数求导，得到p+1个似然方程。（1.9），j=1,2,..,p.上式称为似然方程。为了解上述非线性方程，应用牛顿－拉斐森(Newton-Raphson)方法进行迭代求解。1.3　牛顿－拉斐森迭代法　　对求二阶偏导数，即Hessian矩阵为（1.10）如果写成矩阵形式，以Ｈ表示Hessian矩阵，Ｘ表示（1.11）令（1.12）则。再令(注：前一个矩阵需转置)，即似然方程的矩阵形式。得牛顿迭代法的形式为（1.13）注意到上式中矩阵Ｈ为对称正定的，求解即为求

4、解线性方程ＨＸ＝Ｕ中的矩阵Ｘ。对Ｈ进行cholesky分解。最大似然估计的渐近方差（asymptoticvariance）和协方差(covariance)可以由信息矩阵（informationmatrix）的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值，表示为。估计值的方差和协方差表示为，也就是说，估计值的方差为矩阵Ｉ的逆矩阵的对角线上的值，而估计值和的协方差为除了对角线以外的值。然而在多数情况，我们将使用估计值的标准方差，表示为，forj=0,1,2,…,p（1.14）２.显著性检验下面讨论在逻辑回归模型

5、中自变量是否与反应变量显著相关的显著性检验。零假设：＝0（表示自变量对事件发生可能性无影响作用）。如果零假设被拒绝，说明事件发生可能性依赖于的变化。2.1Waldtest对回归系数进行显著性检验时，通常使用Wald检验，其公式为（2.1）其中,为的标准误差。这个单变量Wald统计量服从自由度等于１的分布。　　如果需要检验假设：＝0,计算统计量（2.2）其中，为去掉所在的行和列的估计值，相应地，为去掉所在的行和列的标准误差。这里，Wald统计量服从自由度等于p的分布。如果将上式写成矩阵形式，有（2.3）矩阵Ｑ是第

6、一列为零的一常数矩阵。例如，如果检验，则。　　然而当回归系数的绝对值很大时，这一系数的估计标准误就会膨胀，于是会导致Wald统计值变得很小，以致第二类错误的概率增加。也就是说，在实际上会导致应该拒绝零假设时却未能拒绝。所以当发现回归系数的绝对值很大时，就不再用Wald统计值来检验零假设，而应该使用似然比检验来代替。2.2　似然比（Likelihoodratiotest）检验　　在一个模型里面，含有变量与不含变量的对数似然值乘以-2的结果之差，服从分布。这一检验统计量称为似然比(likelihoodratio)，

7、用式子表示为（2.4）计算似然值采用公式（1.8）。倘若需要检验假设：＝0,计算统计量　（2.5）上式中，表示＝0的观测值的个数，而表示＝１的观测值的个数，那么n就表示所有观测值的个数了。实际上，上式的右端的右半部分表示只含有的似然值。统计量G服从自由度为p的分布2.3Score检验　　在零假设：＝0下，设参数的估计值为，即对应的＝0。计算Score统计量的公式为　　　　　　　　　　（2.6）上式中，表示在＝0下的对数似然函数（1.9）的一价偏导数值，而表示在＝0下的对数似然函数（1.9）的二价偏导数值。Sco

8、re统计量服从自由度等于１的分布。2.4　模型拟合信息　　模型建立后，考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。(1)-2LogLikelihood(2.7)(2)Akaike信息准则（AkaikeInformationCriterion,简写为AIC）(2.8)　其中Ｋ为模型中自变量的数目，Ｓ为反应变量类别总数减１，对于逻辑回归有S=2-1=1。-2LogL的值域为