【精品】LR和假设检验

《【精品】LR和假设检验》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、LogisticRegression&HypothesisTesting武玉兰（思思）yulan.wu@langtaojin.com2011-10-12Outline■LogisticRegression□Maximumlikelihoodestimation(MLE)□LogisticcurveNumericalOptimizationLRcoefficientsexplanationStatisticalhypothesistesting□SignificancetestingLRcoefficientsignificancetestingLRcoefficientconfidencei

2、ntervalsLRmodelevaluationLRfeatureselectionLRproblemsMLE-Maximumlikelihoodestimation■Maximumlikelihoodestimation最大似然估计□一种参数估计方法，被用来求一个样本集的相关概率密度函数（pdf）的参数。■基本思想：□例如：我们有10个广告，展示了很多次了，其中有一个广告A个被点击的次数最多。当我们要寻找一个概率函数来预测这10个广告哪一个更容易被点击时，那我们所找的概率函数（参数）应该使A广告点击概率最大。□使试验已得结果的发生概率最大化■求MLE的一般步骤：□条件：观测样本遵从iid

3、（independentandidenticallydistributed）□给出每个样本观测结果的概率函数□因为遵从iid条件，所以可以给出观测样本集的联合概率（即似然函数）函数□对似然函数取对数（即对数似然函数loglikelihood）□求使得对数似然函数最大时的参数估计Logisticcurve(sigmoidcurve)1l+e~gM^—logisticcurve其中，g(x)=00+0內+02兀2・・・+0届LRModeling建模：以具有n个独立变量的向量［xp...,xj来标识一个观测量,设条件概率P（Y=1

4、x）=p为根据观测量相对于某事件（比如观测量为一个广告，事件是被点

5、击）发生的概率。定义事件发生的概率为：P（Y=11兀）=7T（X）=1l+e~gM（式I）g（X）=00+0內+02吃…+禹£（式1□定义事件不发生的概率为:P（Y=0x）=1-P（Y=1x）1严）1=1=1=1+八⑴1+幺曲）1+幺曲）事件发生与不发牛之比的对数:ln（P1-）=g（X）=00+0內+02吃…+齢（式1・3）（式1-4）LR-MLE■假设有m个观测样本，观测值分别是儿力，…，儿，设〃产=为给定条件下得到xt的概率。在同样条件下得到必=。的概率为P（y.=Olxz）=l-A.。于是，得到一个观测值的概率为：P（yj=pg-pjr（式1.5）■假设各项观测独立，那么这m个观

6、测样本的联合分布可以表示为各边际分布的乘积（似然函数）：m/（0）=H兀（兀尸［1一〃（兀）］宀（式1.6）■对数似然函数：乙（0）=1叩（0）］=lnwa）］+（l——”3）］｝（式1.7）■MLE目标：求出使似然函数的值最大的参数估计（极值问题）NumericalOptimization-NewtonRaphson■Taylorexpansion：□设厶（0）是二次可微实函数，,又设0"）是厶（0）极值点的一个估计，将厶（0）在0（「）处展开成二阶Taylor级数：（0-府））+希（0-0丁）+.・.+誅H

7、yf力2/合2[+｛顾（"础X0—0⑺（"外）（0一炉）+…+^^（0一0『）（

8、0一府）d2L厶（0）w（0）=乙（0））+d2Ld2Ld2L+…丽〒m“）｝=厶（0"））+（0—0⑺yzA/?⑴）+丄（0—0"））q"（0"））（0—0⑺）（式2.1）为简便,不考虑0（110—万II），0（110-万II）是当110-万II->0时，关于110-万II的高阶无穷小量■极值点（平稳点），匚阶导数为0,即：0=0（0）=L'（0（「）r+

9、[L”（0㈤）（0_0（「））+（0—0（「）卩L"（0（「））]=D（0（'））+Z/（0°））（0—0（。）（式2.2）NumericalOptimization-NewtonRaphson■设"（0E）可逆，由（式22）得到牛顿法

10、（Newton-Raphson）的迭代公式（用0（刊替代0符号）：（式2.3）0（“1）=0（r）+d（r）0（川）=0（「）_l”（0（门）-.L'（0（°）其中，L（3^yx是Hessian矩阵厶”（0（门）的逆矩阵。这样，当知道0⑴后，计算出在这一点处的目标函薮的梯度和Hessian矩阵的逆，代入上式，便得到后继逼近点严。依次迭代，产生序列｛0"）｝。在适当条件下，这个序列收敛。其中，护）=-£/（刖