正则化代价函数

《正则化代价函数》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、在这段视频中传达给你一个直观的感受告诉你正规化是如何进行的而且我们还要写出我们使用正规化时需要使用的代价函数根据我们幻灯片上的这些例子我想我可以给你一个直观的感受但是一个更好的让你自己去理解正规化如何工作的方法是你自己亲自去实现它并且看看它是如何工作的如果在这节课后你进行一些适当的练习你就有机会亲自体验一下正规化到底是怎么工作的那么这里就是一些直观解释8在前面的视频中我们看到了如果说我们要用一个二次函数来拟合这些数据它给了我们一个对数据很好的拟合然而如果我们用一个更高次的多项式去拟合我们最终可能得到一个曲线能

2、非常好地拟合训练集但是这真的不是一个好的结果它过度拟合了数据因此一般性并不是很好让我们考虑下面的假设我们想要加上惩罚项从而使参数θ3和θ4足够的小这里我的意思就是这是我们的优化目标或者客观的说使参数θ3和θ4足够的小这就是我们需要优化的问题我们需要尽量减少代价函数的均方误差对于这个函数我们对它进行添加一些项加上1000乘以θ3的平方再加上1000乘以θ4的平方1000只是我随便写的某个较大的数字而已现在如果我们要最小化这个函数为了使这个新的代价函数最小化我们要让θ3和θ4尽可能小对吧？因为如果你有1000乘以

3、θ3这个新的代价函数将会是很大的所以当我们最小化这个新的函数时我们将使θ3的值接近于0θ4的值也接近于0就像我们忽略了这两个值一样如果我们做到这一点如果θ3和θ4接近0那么我们将得到一个近似的二次函数所以我们最终恰当地拟合了数据你知道二次函数加上一些项这些很小的项贡献很小因为θ3θ4它们是非常接近于0的所以我们最终得到了实际上很好的一个二次函数因为这是一个更好的假设在这个具体的例子中我们看到了惩罚这两个大的参数值的效果9更一般地这里给出了正规化背后的思路这种思路就是如果我们的参数值对应一个较小值的话就是说参数

4、值比较小那么往往我们会得到一个形式更简单的假设所以我们最后一个例子中我们惩罚的只是θ3和θ4使这两个值均接近于零我们得到了一个更简单的假设也即这个假设大抵上是一个二次函数但更一般地说如果我们就像这样惩罚的其它参数通常我们可以把它们都想成是得到一个更简单的假设因为你知道当这些参数越接近这个例子时假设的结果越接近一个二次函数但更一般地可以表明这些参数的值越小通常对应于越光滑的函数也就是更加简单的函数因此就不易发生过拟合的问题我知道为什么要所有的部分参数变小的这些原因为什么越小的参数对应于一个简单的假设我知道这些原

5、因对你来说现在不一定完全理解但现在解释起来确实比较困难除非你自己实现一下自己亲自运行了这部分但是我希望这个例子中使θ3和θ4很小并且这样做能给我们一个更加简单的假设我希望这个例子有助于解释原因至少给了我们一些直观感受为什么这应该是这样的来让我们看看具体的例子对于房屋价格预测我们可能有上百种特征我们谈到了一些可能的特征比如说x1是房屋的尺寸x2是卧室的数目x3是房屋的层数等等那么我们可能就有一百个特征跟前面的多项式例子不同我们是不知道的我们不知道θ3θ4是高阶多项式的项所以如果我们有一个袋子如果我们有一百个特征

6、在这个袋子里我们是很难提前选出那些关联度更小的特征的也就是说如果我们有一百或一百零一个参数我们不知道挑选哪一个我们并不知道如何选择参数如何缩小参数的数目因此在正规化里我们要做的事情就是把我们的代价函数这里就是线性回归的代价函数接下来我度量来修改这个代价函数从而缩小我所有的参数值因为你知道我不知道是哪个哪一个或两个要去缩小所以我就修改我的代价函数在这后面添加一项就像我们在方括号里的这项当我添加一个额外的正则化项的时候我们收缩了每个参数并且因此我们会使我们所有的参数θ1θ2θ3直到θ100的值变小顺便说一下按照惯

7、例来讲我们从第一个这里开始所以我实际上没有去惩罚θ0因此θ0的值是大的这就是一个约定从1到n的求和而不是从0到n的求和但其实在实践中这只会有非常小的差异无论你是否包括这项就是θ0这项实际上结果只有非常小的差异但是按照惯例通常情况下我们还是只从θ1到θ100进行正规化10这里我们写下来我们的正规化优化目标我们的正规化后的代价函数就是这样的J(θ)这个项右边的这项就是一个正则化项并且λ在这里我们称做正规化参数λ要做的就是控制在两个不同的目标中的一个平衡关系第一个目标第一个需要抓住的目标就是我们想要训练使假设更好地

8、拟合训练数据我们希望假设能够很好的适应训练集而第二个目标是我们想要保持参数值较小这就是第二项的目标通过正则化目标函数这就是λ这个正则化参数需要控制的它会这两者之间的平衡目标就是平衡拟合训练的目的和保持参数值较小的目的从而来保持假设的形式相对简单来避免过度的拟合对于我们的房屋价格预测来说这个例子尽管我们之前有我们已经用非常高的高阶多项式来拟合我们将会得到一个非常弯曲和复杂的曲线函数就像这个如果你还是用