资源描述：
《大规模逻辑回归并行化》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、机器学习平台汇报Iniyosaliu(刘小兵)提纲基础准备CTR平台凸函数优化MPI基础BSPBatchLearning原理评测CheckerboardIncrementalLearning原理评测后续方向CTR平台MPIMassagePassingInterface:是消息传递函数库的标准规范，由MPI论坛开发，支持Fortran和CMPI是一种标准或规范的代表，而不是特指某一个对它的具体实现MPI是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准MPI有丰富的接口提供实时的点对点、Gro
2、up对Group、点和Group进行数据交互的API目前主流使用的有Mpich2和OpenMPIMPIP0P0P1P2dataprocessorMPIp0p1p2p3p0p1p2p3k=m/pp0p1p2p3Layout向量按照节点进行分割，矩阵采用rowshards的方式存储加速比不算AllReduce的开销，加速比是Processor数目MPI支持P是进程单位，Mpich2最新版本支持同一个Node启动多个PBSPBulksynchronousparallel:BSPwasdevelopedbyLe
3、slieValiantduringthe1980sABSPcomputationproceedsinaseriesofglobalsupersteps.Asuperstepconsistsofthreeorderedstages:1)Concurrentcomputation:localdata,independent,asynchronously2)Communication:Atthisstage,theprocessesexchangedatabetweenthemselves.3)Barrier
4、synchronization:Whenaprocessreachesthispoint1)Nodeadlockanddataraces2)Barrierpermitnovelformsoffaulttolerance3)Parallelgraph-processing-PregelParallelDSLocalVectorParallelVectora[0]a[N-1]P0Aa[0]a[N-1]P0P1P2P3boolCreateVector(Comm,GlobalSize,LocalSize,*Ve
5、ctor)boolVectorSet(*Vector,double)doubleDot(Vec*,Vec*)doubleVectorNorm(Vec*,NormType,double*)AXPYAYPX……AClassVector逻辑抽象和物理存储分开存储和计算都并行通信量很少凸函数优化假设f(x)有二阶连续偏导:Example:FindMinimumPlot[Cos[x^2-3y]+Sin[x^2+y^2],{{x,1},{y,1}}]优化的方法：1)最速下降法2)NewTon法3)Qusai-New
6、Ton法4)BFGS方法5)OWLQN所有上述方法的核心：f的一阶导数——梯度，二阶导数——Hessian{{-2.,{x=1.37638,y=1.67868}},{Steps=9,Function=13,Gradient=13}凸函数优化OWLQN或者说LBFGS不存储Hessian矩阵，而是存储以前迭代的梯度信息，直接计算搜索方向S，Y中存储前m次迭代的信息使用two-looprecursion方法直接计算搜索方向内部向量有60个DenseVector的向量1亿的Feature的内部存储需要48G数
7、据存储：训练数据如何存储？CPU：内部有大量超高纬向量的运算BatchLearningVSOnlineLearningOnlinealgorithmsoperatebyrepetitivelydrawingafreshrandomexampleandadjustingtheparametersonthebasisofthissingleexampleonly.Batchalgorithmscompletelyoptimizingthecostfunctiondefinedonasetoftraining
8、examplescostfunctionBatchgradient:Onlinegradient:正则化Regularization实际中，Over-fit问题求解最优化的时候会加入正则化因子：L1对于取样复杂度的关系是Log关系，也就是说L1对于无关特征的适应性较好L1可以训练出很多权重为0的特征值，天然的具有特征选择的作用L1和L2相比可以用更少的迭代次数达到收敛Logistic回归模型(背景)Logistic分布:极大似然估计MaxL
