资源描述：
《高斯过程回归方法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第xx卷第x期控制与决策xxxx年x月Vol.xxNo.xControlandDecisionXxx.xxxx文章编号:1001-0920(0000)00-0000-00高斯过程回归方法综述何志昆,刘光斌,赵曦晶,王明昊(第二炮兵工程大学控制工程系，西安710025)摘要:高斯过程回归是基于贝叶斯理论和统计学习理论发展起来的一种全新机器学习方法,适于处理高维数、小样本和非线性等复杂回归问题.在阐述该方法原理的基础上,分析了其存在的计算量大、噪声必须服从高斯分布等问题,并给出了改进方法.与神经网络、支持向量机相比,该方法具有容易实现、超参数自适应获取、输出具有概率意义等优
2、点,方便与预测控制、自适应控制、贝叶斯滤波等相结合.最后总结了其应用并展望了其未来发展方向.关键词:高斯过程回归；机器学习；函数空间；协方差矩阵；近似法；不确定度中图分类号:TP181文献标识码:AOverviewofGaussianProcessRegressionHEZhi-kun,LIUGuang-bin,ZHAOXi-jing,WANGMing-hao(DepartmentofControlEngineering,TheSecondArtilleryEngineeringUniversity,Xi’an710025，China.Correspondent：HEZ
3、hi-kun，E-mail：hezhikun0@sina.com)Abstract:Gaussianprocessregression(GPR)isanewmachinelearningmethodbythecontextofBayesiantheoryandstatisticallearningtheory.Itprovidesaflexibleframeworkforprobabilisticregressionandiswidelyusedtosolvethehigh-dimensional,small-sampleornonlinearregressionprob
4、lems.Itsprincipleisintroducedinthefunction-spaceviewandseverallimitationssuchascomputationaldifficultiesforlargedatasetsandrestrictivemodellingassumptionsforcomplexdatasetsarediscussed.Severalimprovedapproachesfortheselimitationsaresummarized.GPRissimpletoimplement,flexibletononparameterin
5、ferandself-adaptivetodeterminatehyperparametersincomparisonwithneuralnetworkandsupportvectormachine.TheattractivefeaturethatGPRmodelsprovideGaussianuncertaintyestimatesfortheirpredictionsallowsthemtobeseamlesslyincorporatedintopredictivecontrol,adaptivecontrolandBayesianfilteringtechnique
6、s.Finally,itsapplicationsaregivenandfutureresearchtrendsareprospected.Keywords:Gaussianprocessregression；machinelearning；functionspace；covariancematrix；approximations；uncertainty1引引引言言言出为连续的)和分类问题(输出为离散的).其中,回归机器学习是当前计算机科学和信息科学中一个问题可以数学描述如下:重要的前沿领域,与模式识别和统计推断密切相关,假设有训练集D=f(xi;yi)ji=1;
7、;ng=(X;y),其中x2Rd为d维输入矢量,X=日益得到各领域学者的重视.它是一门多学科交叉研[i]究,研究内容和应用领域极其广泛,几乎囊括了所有x1x2xn为dn维输入矩阵,yi2R为相应人类认知领域.机器学习问题大体可以分为三大类:的输出标量,y为输出矢量.回归的任务是根据训练集学习输入X与输出y之间的映射关系(f():Rd7!R),监督学习、无监督学习和强迫学习.根据经验数据(训练集)来学习输入输出之间的映射关系,使得给定从而预测出与新测试点x∗对应的最可能输出值f(x∗).新的输入,可以得到相应的输出值(即预测值),
