欢迎来到天天文库
浏览记录
ID:55075887
大小:374.07 KB
页数:13页
时间:2020-05-09
《随机梯度下降(Stochastic Gradient Descent ).pdf》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、LeoZhangAsimplemanwithmyownideal导航博客园首页联系StochasticGradientDescent订阅管理一、从MultinomialLogistic模型说起统计信息1、MultinomialLogistic随笔-30文章-0令为维输入向量;评论-367Trackbacks-0为输出label;(一共k类);NEWS为模型参数向量;MultinomialLogistic模型是指下面这种形式:其中:例如:时,输出label为0和1,有:2、MaximumLikelihoodEstimateand
2、MaximumaPosterioriEstimate(1)、MaximumLikelihoodEstimate假设有数据集,为了训练一个模型通常使用极大似然法来确定模型参数:(2)、MaximumaPosterioriEstimate假设模型参数的分布服从,那么在给定数据集上我们想要找到的最佳参数满足以下关系:利用上面的式子可以定义求解该问题的损失函数:个人认为,从统计学习的角度来说,上面式子第一部分描述了偏差(经验风险),而第二部分描述了方差(置信风险)。3、L1-regularizedmodelandL2-regulari
3、zedmodel对模型参数的分布,可以有下面的假设:(1)、GaussianPrior(2)、LaplacePrior当时,叫做L2-regularized:当时,叫做L1-regularized:在这里常数是一个用来调节偏差与方差的调节因子:●很小时,强调likelihood,此时会造成Overfit;●很大时,强调regularization,此时会造成Underfit。在相同的条件下,GaussianPrior和LaplacePrior的比较如下:图1-红色为LaplacePrior,黑色为GaussianPrior4、
4、L1-regularizedmodel?orL2-regularizedmodel?目前主流的方法都选择用L1-regularized,包括各种L-BFGS(如:OWL-QN)和各种SGD方法,主要原因如下:●我们要优化的目标是:从图1可以看出,要想让取得最大值,权重向量需要靠近其mean值(也就是0),显然服从LaplacePrior的权重向量下降速度要快于服从GaussianPrior的;●以时的梯度下降算法为例,权重的更新方式如下:○GaussianPrior:○LaplacePrior:当时,;当时,。当与同号时表明没
5、有误分,权重的绝对值会以一个比较小的速度更新,而当与异号时误分发生,权重的绝对值会以一个比较大的速度更新。●将权重更新看成两个阶段:likelihood+regularization,暂时不考虑likelihood,那么k次迭代后有下面关系:○GaussianPrior:○LaplacePrior:当时,;当时,。当,虽然前者的极限值为0,但是不会精确为0,而后者每次更新一个常数,这就意味着理论上后者可能会精确的将权重更新为0。●L1-regularized能够获得稀疏的feature,因此模型训练过程同时在进行feature
6、selection。●如果输入向量是稀疏的,那么LaplacePrior能保证其梯度也是稀疏的。二、L1-StochasticGradientDescent1、NaiveStochasticGradientDescent随机梯度下降算法的原理是用随机选取的TrainingSet的子集来估计目标函数的梯度值,极端情况是选取的子集只包含一条Sample,下面就以这种情况为例,其权重更新方式为:这种更新方式的缺点如下:●每次迭代更新都需要对每个feature进行L1惩罚,包括那些value为0的没有用到的feature;●实际当中在
7、迭代时能正好把权重值更新为0的概率很小,这就意味着很多feature依然会非0。2、LazyStochasticGradientDescent针对以上问题,Carpenter在其论文《LazySparseStochasticGradientDescentforRegularizedMutlinomialLogisticRegression》(2008)一文中进行了有效的改进,权重更新采用以下方式:这种更新方式的优点如下:●通过这样的截断处理,使得惩罚项不会改变函数值符号方向,同时也使得0权重能够自然而然地出现;●算法中使用la
8、zyfashion,对那些value为0的feature不予更新,从而加快了训练速度。这种方式的缺点:●由于采用比较粗放的方式估计真实梯度,会出现权重更新的波动问题,如下图:3、StochasticGradientDescentwithCumulativePenalty这个方
此文档下载收益归作者所有