欢迎来到天天文库
浏览记录
ID：48168972
大小：590.05 KB
页数：19页
时间：2020-01-17
《Trust+Region+Newton+Method+for+Large-Scale+Logistic+Regression.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、TrustRegionNewtonMethodforLarge-ScaleLogisticRegressionChih-JenLin,etal.(2008,4),JournalofMachineLearningResearchTheLogisticFunctionf(z)=ez/(1+ez)=1/(1+e-z)ThelogisticregressionTheregularizedlogisticregression求解方法的分类LowcostperiterationSlowconvergenceHighcostpe
2、riterationfastconvergence梯度和Hesse矩阵模型（1）的性质模型（1）是个严格凸的无约束最优化问题，具有唯一的最优解模型（1）的求解缺点：不一定收敛，甚至可能不为下山序列即使矩阵X稀疏，但XTDX可能是稠密的牛顿法可用于求解模型模型（1），既然其Hesse矩阵正定线性方程组（6）的求解有直接法（如高斯消去法）和迭代法（如Jaccobi迭代法，共轭梯度法）由于X是稀疏矩阵，迭代法更适合求解（6），目前常用的是共轭梯度法不幸的是用共轭梯度法求解（6），获得精确的牛顿方向，常需很多的迭代步。因此
3、常采用较少迭代步，求出一个近似的牛顿方向即可，此类方法称为非精确牛顿法或裁剪了的牛顿法（TruncatedNewtonMethod）信赖域牛顿法△k的调整规则
此文档下载收益归作者所有
点击更多查看相关文章~~
