资源描述：
《高斯回归SVM回归》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、高斯过程凹归1•回归的方法冃标在做回归时，为确定映射函数，有一类方法是贝叶斯回归。该方法定义了一个函数分布，赋了每一种可能的函数一个先验概率，可能性越大的畅数先验概率越高。但是可能的函数集数量很多，如何选择函数就是高斯过程回归解决的问题。2.高斯过程高斯过程是任意冇限个随机变量均具冇联合高斯分布的集合，若一个随机过程的变量的随机分布满足高斯分布，则这个随机过程就是高斯过程，其性质完全由均值函数和协方芜函数确定。均值函数利协方差函数为：U(兀,*)=E[(/(兀)-加(兀))(/(*)-加(兀'))]Rd
2、为任意随机变量。因此高斯过程可以定义为/(x)〜GP(m(x),k(x,x'))通常会做预处理，使得其均值函数为0。3.高斯过程冋归回归模型如下：y=/(%)+£具屮兀为输入向量，/为函数值，y为受加性噪声污染的观测值。假设噪声服从£〜N(0q；).可以得到观测值y的先验分布为：y~N(0,K(X,X)+q%)+此人K(X®)X)观测值y与预测值N的联合先验分布为："~n(o,[k(x，x)A]
3、_K仏-其中K(X,X)=Kn=("为n*n阶对称正定的协方差矩阵，矩阵元索ky=kgXj)表示兀，◎之间
4、的和关性。K(X,jQ=K(儿,X)厂为测试向量俎与训练高斯过程凹归1•回归的方法冃标在做回归时，为确定映射函数，有一类方法是贝叶斯回归。该方法定义了一个函数分布，赋了每一种可能的函数一个先验概率，可能性越大的畅数先验概率越高。但是可能的函数集数量很多，如何选择函数就是高斯过程回归解决的问题。2.高斯过程高斯过程是任意冇限个随机变量均具冇联合高斯分布的集合，若一个随机过程的变量的随机分布满足高斯分布，则这个随机过程就是高斯过程，其性质完全由均值函数和协方芜函数确定。均值函数利协方差函数为：U(兀,*)=
5、E[(/(兀)-加(兀))(/(*)-加(兀'))]Rd为任意随机变量。因此高斯过程可以定义为/(x)〜GP(m(x),k(x,x'))通常会做预处理，使得其均值函数为0。3.高斯过程冋归回归模型如下：y=/(%)+£具屮兀为输入向量，/为函数值，y为受加性噪声污染的观测值。假设噪声服从£〜N(0q；).可以得到观测值y的先验分布为：y~N(0,K(X,X)+q%)+此人K(X®)X)观测值y与预测值N的联合先验分布为："~n(o,[k(x，x)A]
6、_K仏-其中K(X,X)=Kn=("为n*n阶对称
7、正定的协方差矩阵，矩阵元索ky=kgXj)表示兀，◎之间的和关性。K(X,jQ=K(儿,X)厂为测试向量俎与训练集输入XZ间的阶协方差矩阵。心凡，耳)为测试点自身的协方差。为n维单位矩阵。山此可以计算预测值Z的后验分布:人IX,y,凡~N(/,cov(./；))其中£=Kg,X)[K(X,X)+b；/」—〉cov(Q=R(凡,Q—K(gX)L[K(X,X)+oZ]TK(X,凡)云，cov(Z)即为测试点心的预测值的均值和方差。2.高斯过程
8、叫归的训练高斯回归过程可以选择不同的协方差函数，常用的协方差函数
9、是平方指数协方差:k(d=ajexp(—*(兀一兀')/M~x-x'y)其屮M=diag(l2),/为方差尺度，(T；为信号方差。参数集合9二为超参数，一般通过极大似然法求得。首先建立训练样木条件概率的负对数似然函数：厶⑹=—logp(〉，
10、X,&)对厶(0)求偏导数，然后采样共轨梯度法、牛顿法等优化方法对偏导数进行最小化得到超参数的最优解。这里负对数似然函数厶(&)的形式为:I.1；7L(^)=-yC-,^+-log
11、C
12、+-log2^其偏导数为:二扣((加'_L)acd0j其中c=K〃+加人,°=
13、(K+%尸y=C-1y.由上式求得最优超参数后，便可由第3小节得到忑的刁，COV(./；)3.高斯凹归的优缺点优点：处理高维、小样木、非线性等复杂问题有很好的适应性，泛化能力强与ANN,SVM相比容易实现，超参数自适应获取、非参数推断灵活摒弃了线性模型参数的思想，直接通过核函数建立y之间的关系，从一个有参模型过度到无参模型缺点：计算量大、局限于高斯噪声分布假设（观测数据满足多变量联合高斯分布）2.高斯回归的应用用于时间序列预测分析用于动态系统模型辨识用于系统控制或控制系统设计与贝叶斯滤波方法想结婚SVM
14、回归1.VC维Vapnik-Chervonenkis维度:•个数据集有N个点，这N个点可以用2"种标记方法分成正负例。因此N个数据点就有2"种学习方法。对于N个点的分类，我们都能找到一个假设heH将正负例分开，那么我们就说H散列N个点。可以被散列的点的最大数量称为H的VC维。例如二维线性分类器的VC维是3,因为当有如下的4个点时，无法分类了。VC维越大，学习能力越强，学习越复杂。2.SVM回归假定训练样本集｛（兀］,必）,（兀2，〉‘2）・
