核方法（2）-核的性质

《核方法（2）-核的性质》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、核方法（2）-核的性质Y.Q.Wang2016年1月25日1摘要上一回且说到核方法到底是什么，为了具体说明，以线性回归为例，通过找原问题的对偶形式，做特征映射，改写原问题中的Gram矩阵，从而达到了核方法的目的：将特征空间做非线性映射，用线性方法在映射后的空间中找到数据的模式。通过示例可以发现，核方法的物理意义其实是将数据点映射到一个特定的空间，在特定的空间里，构建数据点对间的关系矩阵，依赖关系矩阵，发现数据的模式。由于映射关系可以是非线性的，甚至可以映射到一个无穷维的空间中去，所以核方法在理论上可以解决任何问题。在核方法中，原始信息不再被使用，G

2、ram矩阵会包含所有的有效信息，因此核方法的关键是选取一个合适的kernel，构建Gram矩阵。一般化的，Gram矩阵的构建过程中也可以不对特征空间做显式的特征映射，这样将极大的增加kernel的可选择性，进而优化对问题的求解。那么，在基本了解核方法的目的、过程和物理意义后，接下来需要进一步的开始明确核方法中的关键概念kernel。到底什么是kernel？又该怎样构造一个kernel呢？2名词辨析：kernel在机器学习中，kernel一词常会在不同的场景下出现，因而在正式介绍核方法中的kernel概念前，简要明确kernel一词在各个场景下的不同

3、涵义。•Kerneldensityestimation/Kernelsmoother：这两个场景下的“kernel”的概念基本相似，指的是数据点对通过核函数（kernelfunction）产生映射的这种映射形式。目标是非参化的估计概率密度函数（kerneldensityestimation）或实值函数f(x)。方法是将数据点做n段切分，在每段切分的区间中，计算所有的数据点和分段中心点在核函数作用下做变换。例如，最常见的方法是采用GaussianKernel，K(x;x)=exp((xx)2/22)。这类估计方法可以有效00的将不规则的数据点用

4、一条（分段）平滑的曲线进行拟合。（见图1）•Kernel在CNN中：在卷积神经网络中，“kernel”指RdRd!R的映射方式。目标是利用kernel构建图像某一区域的像素矩阵的抽象。这种映射的计算方式和将要阐述的kernel形似但不具有相关性质，为了避免产生不必要的误会，不再做展开。（见图2）1•Kernel在核方法中：这里的“kernel”指的是核函数K(x;z)的映射形式（核函数是具体的函数形式，kernel指的是一类方式）。目标将原特征空间映射到高维空间中去，使得在高维空间中可以用线性函数发现数据的模式。其性质将在本章内容中详细阐述。•R

5、eproductingkernel在ReproducingKernelHilbertSpace(RKHS)：（话外音：好吧，这个名词洒家已经木有办法翻译成中文了……）这里的“reproducingkernel”有些特殊，在于这种kernel满足reproducingproperty，即8f2H;f(x)=⟨f;Kx⟩H，其中Kx2H。（这里用到了泛函的知识，具体可以先不做了解。）若令ϕ(x)=Kx，则reproducingkernel可以用于核方法。Figure1:Kerneldensityestimation/KernelFigure2:Kern

6、el在CNN中的作用方式smoother示例3希尔伯特空间（Hilbertspaces）希尔伯特空间H定义了（向量）内积空间（innerproductspace），它是构造kernel的关键基础。从数学定义上着手理解希尔伯特空间的确会有些困扰，用一些简单的例子逐步引出希尔伯特空间的定义。例1：欧式空间R2。令a=(a;a)T;b=(b;b)T是欧式空间R2的两个向量，这两个向量的内1212积为⟨a;b⟩=a1b1+a2b2。例2：收敛的积分。积分可以看作将函数的定义域分为等间隔的区间（∆x），计算各区间的面积，∑1累加结果。收敛的积分的极限方式定义

7、为：limn!1i=1f(xi1)∆x=c。这里所举例的欧式空间和收敛的积分都是典型的希尔伯特空间。希尔伯特空间必须是可分的（separable）和完备的（complete）。“可分”指的是内积（⟨x;y⟩）的元素x;y必须是由一组正交基2定义的线性空间的向量。“完备”指的是内积的结果必须小于1。所有符合性质的内积空间就称为希尔伯特空间。以上是非常山寨的个人理解。接下来放出原版解释以供大家参考。这是直接从希尔伯特空间出发的定义：AHilbertSpaceHisastrictinnerproductspacewiththeadditionalpro

8、pertiesthatisseparableandcomplete.Completenessreferstotheprop