Logistic回归梯度下降法.doc

《Logistic回归梯度下降法.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、Logistic回归学习材料广义线性模型（generalizedlinearmodel）这一家族中的模型形式基本上都差不多，不同的就是因变量不同。·如果是连续的，就是多元线性回归；·如果是二项分布，就是Logistic回归；·如果是Poisson分布，就是Poisson回归；·如果是负二项分布，就是负二项回归。Logistic回归的因变量可以是二分类的，也可以是多分类的，但实际中最常用的就是二分类的Logistic回归。自变量既可以是连续的，也可以是分类的。常规步骤Regression问题的常规步骤为：1.寻找h函数（即hypothesis）；

2、2.构造J函数（损失函数）；3.使J函数最小并求得回归参数（θ）构造预测函数hLogistic回归实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为： 下面左图是一个线性的决策边界，右图是非线性的决策边界。对于线性边界的情况，边界形式如下（n：特征个数；m：样本数）：构造预测函数为：函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：构造损失函数JJ函数如下，它是基于最大似然估计推导得到的。下面详细说明推

3、导的过程：（1）式综合起来可以写成：取似然函数为：对数似然函数为：最大似然估计就是求使取最大值时的θ，将取为下式，即：因为乘了一个负的系数-1/m，所以取最小值时的θ为要求的最佳参数。梯度下降法求的最小值θ更新过程：θ更新过程可以写成： 更新过程向量化（Vectorization）训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同特征的取值：θ更新过程可以改为：综上所述，Vectorization后θ更新的步骤如下：（1）求；（2）求；（3）求 。