关于拉格朗日乘子法的理解

《关于拉格朗日乘子法的理解》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、关于拉格朗日乘子法的理解2018-11-071关于拉格朗日乘子法有拉格朗日乘子法的地方，肯定会是一个组合优化的问题。带约束的优化问题很好说，比如下面这个问题：注：在数学里面s.t.是subjectto的缩写，受约束的意思按中文习惯应该是使得...满足...s.t.=subjectto这是一个带等式约束的优化问题，有目标值，有约束条件。那么如果假设没有这个约束条件，这个问题该如何求解呢？直接f对x求导等于0，解x就可以了，可以看到没有约束的话，求偏导等于0，那么各个x均等于0，这样f=0了。但是x都为0不满足约束条件。在这里说一点，为什么上面说求导为0就可以呢？理论

2、上多数问题是可以的，但是有的问题不可以。如果求导为0一定可以的话，那么f就是一个凸优化问题，什么是凸呢，下图：图1凸就是开口朝一个方向（向下或者向上）。准确的数学关系就是：注意的是这个条件是对函数的任意值x取值。如果满足第一个就是开口向上的凸，反之开口向下的凸。对于凸问题可以去求导，从图中可以很容易看出只有一个极点，那么它就是最优点，直观也很合理。类似的如下图，有时候满足第一个关系，有时候满足第二个关系。所以它是一个非凸的问题，对它进行求导会得到很多个极点。从上图可以看出，只有一个极点是最优解，其他的是局部最优解，那么真实问题时候你选择哪个？所以，拉格朗日乘子法是

3、一定适合于凸问题的，不一定适合其他的问题。有约束的问题，既然有了约束不能直接求导，那么把约束去掉不就可以了吗。那么怎么去掉呢？拉格朗日来实现。既然是等式约束，那么就把这个约束乘一个系数加到目标函数里面去，比如上面的函数就变为：现在这个优化目标函数没有约束条件，既然这样，我们对于x求偏导等于0，如下所示：把它再带到约束条件中去，可以解出α1和α2两个变量，这样再带回去求x就可以了。那么一个带等式约束的优化问题就通过拉格朗日乘子法解决了。那么带有不等式的约束问题怎么办呢？因此，我们需要更一般化的的拉格朗日乘子法和KKT条件来解决这些问题。