部分翻译《模式识别和机器学习by bishop》 一

《部分翻译《模式识别和机器学习by bishop》 一》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、部分翻译《模式识别和机器学习byBishop》一原文地址：部分翻译《模式识别和机器学习byBishop》(一)作者：ilpisces部分翻译《模式识别和机器学习byBishop》(一)1.1多项式曲线拟合首先我们介绍一个简单的回归问题,我们会用它来介绍一系列关键概念.假设我们观察一组实数输入x(输入x，输出t，t为目标变量),我们希望用这个观察值来预测实数目标变量t的值.为了这个目标,我们用综合生成数据来考量一个人工的例子.因为,我们已经知道生a成对比的精确过程不同于任何已学过的模型.用于这个例子的数据从sin2πx生成,加上一个随机噪声,包括目标值,在附录a有详细的说明.现在假设我们有

2、一个训练组有n个观察值组成,x记为x=(x1….xn)T,相应的t的观察值记为t=(t1….tn),图1.2表示一个由10个数据n=10组成的训练组的点图.(观察值是对输入为xn是输出t的观察值)图1.2中的输入数据组x由均匀分布在【0,1】的n个点的选择值xn来生成，目标数据组t呢，首先计算相应的函数sin2πx的值，在加上一个小的高斯分布的随机噪声，来获得相应的tn值。通过这种方法生成t值，我们得到很多实数据组的一个性质，即，数据组一般有一个显著的规律(我们正是希望去找到这个规律)，但是随机噪声破坏了各自的观察值。这个噪声可能是固有内在的随机过程，比方说放射衰变，但是更典型的是因为存

3、在未被观察到的差异。(什么意思。Xn均匀分布在【0,1】中，。)图1.2的表示：10个蓝色的点表示输入变量x的观察值tn，绿色的曲线呢表示用于生成目标变量t的函数sin2πx。我们的目标是不知道绿色曲线，及生成函数的情况下，对于新的x，预测t的值。(总结以上，即，输入是x，目标值t，有x和t观察值组)我们的目标是开发这个训练组，以对目标值t做出预测。正如我们接下来要看到的，这个目标隐含了试图找到基本函数sin2πx。从本质上来说，这是一个困难的问题，因为我们必须要从有限的数据中得到这个t的规律函数。并且呢，这个观察组被噪声影响，所以，对于给定的x，t的合适的值有其不确定性。概率理论，提供

4、了一个在一个精确和定量的模式里，表示这种不确定性的框架。而，决定论，让我们开发这个概率性的代表，来做一个对合适的评论的最佳拟合。(即，因为有噪声，所以从x得到t有不确定性，及概率论和决定论的作用。)我们考虑一个基于曲线拟合的简单方法。特别是，我们用一个多项式函数来拟合观察数据。(为什么会想到用这个多项式来拟合?)Y=w0+w1x+w2x的平方+….系数向量wcoefficientsvector.尽管多项式函数y是x的非线性函数，但是它是系数w的线性函数。对于未知参数是线性的函数拥有一些重要的性质，并被称为线性模型。系数w的值通过从训练数据拟合这个多项式的方法来获得。通过最小化误差函数，误

5、差函数是来衡量对于任意给定w的函数y和训练数据见的不拟合度。一个广泛应用的误差函数是，预测y和相应目标值t间差的平方和。如式子1.2，我们会在后面讨论选择这个误差函数的动机。我们很容易看出这个误差函数是非负的，并且当且仅当y精确拟合了所有训练值时，函数才为0.如图1.3所示。Y和t的差记为y(xn，w)-tn图1.3表示了：红色曲线是关于y(x，w)的理想曲线，蓝色圈圈表示实际的观察值，绿色的线段表示两者的误差。(这一段写说，多项式y是x的非线性函数，但是是w的线性函数。然后给定一个误差函数，求其最小值。W和误差函数的关系是?Y是多项式值，tn是观察值么?还没有明白xn与tn的关系。虽说

6、xn是观察值，tn是目标值，但是x与t的关系?好吧，我明白了，训练组，是对于每一个x，对t的观察值，x就是横轴，t就是数轴。)我们可以通过选择让误差函数E(w)尽量小的w值，来解决这个曲线拟合问题。因为E(w)是关于系数w的二次函数，所以它的导数将对于w是线性的。所以误差函数的最小化将有唯一一个解，记为w。结果多项式由y(x，w)表示。(意思是，误差函数的导数对w是线性的，所以使E(w)得到最小值的w只有一个。这样我们就确定了系数w)接下来的问题就是对于多项式次数m的选择。这个问题属于一个典型的概念，叫做模型分类或者模型选择。图1.4表示了不同的次数m对应的曲线。M=0时，是个常数，m=

7、1时，与原函数sin2πx比是非常差的拟合；m=3时，看起来给了一个很好的拟合；m=9时，我们得到一个关于训练组的精确拟合，此时，多项式曲线通过了每一个训练数据，并且误差函数为0，但是，这个这个曲线振荡的厉害，并且对于sin2πx是一个很差的拟合。我们称这种情况为过拟合Over-fitting。我们的目标是对于新的x，获得正确的预测。我们可以获得对于一个基于m的生成表现的依据的定量分析，通过1个按照用于生成训练组的同样步骤获得的含1