资源描述：
《稀疏贝叶斯模型与相关向量机学习研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第37卷第7期计算机科学Vol.37No.72010年7月ComputerScienceJuly2010稀疏贝叶斯模型与相关向量机学习研究121杨国鹏周欣余旭初12(信息工程大学测绘学院郑州450052)(信息工程大学信息工程学院郑州450002)摘要虽然支持向量机在模式识别的相关领域得到了广泛应用,但它自身固有许多不足之处。相关向量机是在稀疏贝叶斯框架下提出的稀疏模型,模型没有规则化系数,核函数不要求满足Mercer条件。相关向量机不仅具备良好的泛化能力,而且还能够得到具有统计意义的预测结果。首先介绍了稀疏贝叶斯回归和
2、分类模型,通过参数推断过程,将相关向量机学习转化为最大化边缘似然函数估计,并分析了3种估计方法,给出了快速序列稀疏贝叶斯学习算法流程。关键词稀疏贝叶斯模型,相关向量机,支持向量机中图法分类号TP751文献标识码AResearchonSparseBayesianModelandtheRelevanceVectorMachineYANGGuo2peng1ZHOUXin2YUXu2chu1(InstituteofSurveyingandMapping,InformationEngineeringUniversity,Zheng
3、zhou450052,China)1(InstituteofInformationEngineering,InformationEngineeringUniversity,Zhengzhou450002,China)2AbstractThesupportvectormachineissuccessfullyappliedinmanyfieldsofpatternrecognition,butthereereseverallimitationsthereof.TherelevancevectormachineisaBaye
4、siantreatment,itsmathematicsmodeldoesn.thaveregulari2zationcoefficient,anditskernelfunctionsdon.tneedtosatisfyMercer.scondition.Therelevancevectormachinecanpresentthegoodgeneralizationperformance,anditspredictionsareprobabilistic.WeintroducedthesparseBayesianmode
5、sforregressionandclassification,regardedtherelevancevectormachinelearningasthemaximizationofmarginallikelihoodthroughthemodelparametersinference,thenwedescribedthreekindsoftrainingmethodsandpresentedtheflowofthefastsequentialsparseBayesianlearningalgorithm.Keywor
6、dsSparsebayesianmodel,Relevancevectormachine,Supportvectormachine[4]线性可分的两类样本之间的间隔最大,其数学模型为1引言Ny(x;w)=EwiK(x,xi)+w0(2)自20世纪90年代中期开始,核方法在支持向量机(Sup2i=1式中,K(x,xi)为核函数,是定义在训练样本点的基函数。式portVectorMachine,SVM)中得到成功应用,人们开始了利(1)中w包含偏移量w0,因此M=N+1。用核函数将经典的线性特征提取与分类方法推广到更一般情S
7、VM自身存在着许多不足之处,主要表现在:¹基函数况的研究,取得了许多重要的研究成果,因此核方法被成为继个数基本上随训练样本集的规模成线性增长,模型稀疏性有经典统计线性分析、神经网络与决策树非线性分析之后的第[1,2]限;º预测结果不具有统计意义,无法直接获取预测结果的三次模式分析方法的变革。同时,SVM、稀疏核主成份分[3]不确定性;»核函数参数和规则化系数通常需要通过交叉验析等的广泛应用,引起了人们研究/稀疏0学习模型的兴趣。证等方法来获得,增加了模型训练的计算量;¼核函数K(x,稀疏学习模型具有的一般形式为xi)必须
8、满足Mercer条件。My(x)=mE=1wm
