资源描述：
《基于核函数的svm机与三层前向神经网络的关系》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、------------------------------------------------------------------------------------------------基于核函数的SVM机与三层前向神经网络的关系第25卷 第7期2002年7月计 算 机 学 报CHINESEJ.COMPUTERSVol.25No.7July2002张 铃(安徽大学人工智能研究所计算智能和信号处理实验室 合肥230039)(清华大学智能技术与系统国家重点实验室 北京100084)摘 要 针对尚未完全解决的SVM理论中求核
2、函数的问题,首先证明了Vapnik的基于核函数的SVM机与三层前向神经网络的等价性;其次以作者提出的神经网络的覆盖算法为工具,证明了如下的定理(核函数存在性定理):对任给的样本集(规模有限),必存在一函数(或相应的核函数),样本集在此函数映射下,映成某高维空间中的一子集(样本集的像集),在此高维空间中,像集是线性可分的;最后给出求解此函数的算法,算法的计算复杂性是多项式的,且算法求到的解在高维空间上是最大间隔解.关键词 核函数,支持向量机,三层前向神经网络中图法分类号:TP18TheRelationshipBetweenKernel
3、FunctionsBasedSVMandThree-LayerFeedforwardNeuralNetworksZHANGLing——————————————————————————————————————------------------------------------------------------------------------------------------------(LaboratoryofIntelligentComputing&SignalProcessing,InstituteofArti
4、ficialIntelligence,AnhuiUniversity,Hefei230039)(StateKeyLaboratoryofIntelligentTechnology&Systems,TsinghuaUniversity,Beijing100084)Abstract Inthispaper,theequivalentbetweenkernelfunctionsbasedSVM(Vapnik)andthethree-layerfeedforwardneuralnetworkisdemonstrated.Fromth
5、ecoveringalgorithmsofneuralnetworksthatauthorproposed,akernelfunctionexistencetheoremisproved.Thetheoryshowsthatgivenasetoftrainingsamples,theremustexistacorrespondingfunctionsuchthattheim-ageofthetrainingsamplesislinearseparatedinahighdimensionalspaceunderthemappingof
6、thefunction.Analgorithmofseekingthekernelfunctionsisgiven.Thecomputationalcomplexi-tyofthealgorithmispolynomialgrowingwiththesamplesizeandthesolutionisthemaximalmarginoneinthehighdimensionalspace.Keywords kernalfunctions,SVM,three-layerfeedforwardneuralnetworks这种收敛是按负指
7、数进行的充分条件;(3)这种收敛与具体数据的分布无关的充分必要条件.1995年他又将其统计学习理论具体应用于求解神经网络的Vapnik以最小风险为原则,高屋建瓴,对机器——————————————————————————————————————------------------------------------------------------------------------------------------------学习(从给定的数据中学习规律)问题,给出一整套称之为统计学习的理论[1],得出3个里程牌的结果:(1)
8、经验风险值收敛于风险值的充分必要条件;(2)学习问题[2,3],给出称之为支持向量机的理论(SVM理论).其主要的内容是:当问题是线性可分时,给出一个求解最大间隔解的方法以及当问题不是线性可分时,提出利用一核函数将样本集映射到某一高维
