学习问题和正则化.pdf

《学习问题和正则化.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、学习问题和正则化9.520第三课，2003年2月12日TomasoPoggio和SayanMukherjee关于本次课目标介绍一类特别有用的假设空间，即所谓的再生核Hilbert空间，并推导再生核Hilbert空间中Tikhonov回归的一般解。函数空间一个函数空间是一个由函数构成的空间。每个函数可被视为该空间中的一个点。例如：1.Cab[,]，在区间[,]ab上所有实值连续函数组成的集合；2.Lab[,]，在区间[,]ab上所有绝对值可积的实值函数组成的集合；13.Lab[,]，在区间[,]ab上所有

2、平方可积的实值函数组成的集合2注意到2和3中的函数不必是连续的。赋范空间一个标准化空间是一个定义了范数的线性（向量）空间。一个非负函数

3、

4、

5、

6、⋅是一个范数当且仅当∀∈f,gN并且α∈¡1.

7、

8、f

9、

10、0>并且

11、

12、f

13、

14、0=当且仅当f=0；2.

15、

16、f+≤+gfg

17、

18、

19、

20、

21、

22、

23、

24、

25、

26、；3.

27、

28、αf

29、

30、

31、

32、

33、

34、=⋅af

35、

36、。注意，如果满足除去

37、

38、f

39、

40、0=当且仅当f=0以外的所有条件，则这个空间是半范的。欧几里得空间欧几里得空间是一个定义了点积运算的线性（向量）空间E。一个实值函数,是一个点积当且仅当∀∈f

41、,,ghE并且α∈¡1.f,,gg=f；2.f+=+gh,,,fhgh并且ααf,,gf=g；3.ff,0≥并且ff,0=当且仅当f=0。在一个欧几里得空间中，我们可以定义向量之间的夹角以及一个向量的范数为f,f。稠密性设A和B为某个赋范（度量）空间R的子空间。A被称为在B中是稠密的当且仅当AB⊂并且B⊂A。例如：在实数轴上，有理数集是稠密的。注意：对于很多逼近策略而言，一个假设空间在L空间中具备稠密性是一个理想的性质。2Hilbert空间一个Hilbert空间是一个完备的、可分的以及通常是无穷维的欧几

42、里得空间。ò一个Hilbert空间拥有一组可数的基。nL和¡为Hilbert空间的两个例子。2紧空间一个赋范空间是紧的当且仅当它是有界的和完备的。ò一个紧空间，由于其是完全有界的，因而其拥有一个有限的ε-网对于任何ε>0。如上图所示，大球中包含了空间中所有的函数，对于每个函数，f，f在一个小球中，且ij

43、

44、ff−<

45、

46、ε。ij∞评估函数一个线性评估泛函是一个在空间中某点t评估其他所有函数的线性泛函Ft，即这个泛函是有界的，如果存在一个M使得对于所有的f有式中

47、

48、

49、

50、⋅为Hilbert空间中的范数。Hil

51、Hilbert空间中的评估泛函在熟悉的Hilbert空间L([0,1])中，评估泛函不是有界的，即并不存在一个上述的M。事实上，2L([0,1])中的元素甚至并非是逐点定义。2Hilbert空间中的评估函数下图中的两个函数具有相同的范数，但它们在零测度集合上则大不相同。再生核Hilbert空间定义一个（实）再生核Hilbert空间是一个在紧域X上的实值函数的Hilbert空间，其对于每个t，评估泛函Ft是一个有界线性泛函。正定核d设X为某个集合，例如¡本身或者其一个子集。一个核是一个对称函数K：XX×→

52、¡。定义一个核Kts(,)是正定(pd)的如果对于任意n∈¥和任意的ttX,...,∈以及cc,...∈¡有：1n1n正定核（续）一个等价的定义可以通过矩阵的半正定形式给出一个正定核是严格正定的，如果对于任何不同的向量ttX,...,∈，当c不全为0时上面的不等1ni式严格成立（在这种情况下矩阵K是正定的，而非只是半正定的）。在有些文献中这些定义往ij往不一致和令人费解（特别是函数和矩阵的不同用法）。再生核Hilbert空间和核下面的定理是关于核和再生核Hilbert空间。定理a)对于所有的再生核Hil

53、bert空间存在一个称为再生核(rk)的唯一的和正定的函数b)相反的，对于X×X上的任何一个正定函数K，在X上存在一个以K为再生核的唯一的再生核Hilbert空间证明思路和一些重要的概念若H是一个再生核Hilbert空间，那么对于每一个x∈X，由Riesz表示定理，在H中存在一个具备再生性质（由Aronszajn命名）的元素K（称为评估代表），即x这里的再生核是Kt()。x证明思路（续）再生核Kt()可被视为其空间上的一个delta函数，而再生核本身属于Hilbert空间。x证明思路（续）其被称为再生核

54、也是因为它是正定的，因为：证明思路（续）相反的，给定K，我们可以通过K（x∈X）及在其上以如下定义的内积函数构造出一个再生x核Hilbert空间H。对于H中的两个函数f和g：式中s∈¥，（根据核，s可以是有限的也可以是无限的），它们的内积可以写成再生核Hilbert空间中的范数，复杂性和光滑性我们将使用再生核Hilbert空间范数

55、

56、f

57、

58、来度量假设空间的复杂度。K下面的例子将说明限定再生核Hilbert空间范数如何与控制相应函数某种意义上