adaboost算法的推广_一组集成学习算法

《adaboost算法的推广_一组集成学习算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第42卷第6期四川大学学报(工程科学版)Vol．42No．62010年11月JOURNALOFSICHUANUNIVERSITY(ENGINEERINGSCIENCEEDITION)Nov．2010文章编号:1009-3087(2010)06-0091-08AdaBoost算法的推广———一组集成学习算法1，21，21，21，2付忠良，赵向辉，苗青，姚宇(1．中国科学院成都计算机应用研究所，四川成都610041;2．中国科学院研究生院，北京100049)摘要:针对AdaBoost算法只适合于不稳

2、定学习算法这一不足，基于增加新分类器总是希望降低集成分类器训练错误率这一思想，提出了利用样本权值来调整样本类中心的方法，使AdaBoost算法可以与一些稳定的学习算法结合成新的集成学习算法，如动态调整样本属性中心的集成学习算法、基于加权距离度量分类的集成学习算法和动态组合样本属性的集成学习算法，大大拓展了AdaBoost算法适用范围。针对AdaBoost算法的组合系数和样本权值调整策略是间接实现降低训练错误率目标，提出了直接面向目标的集成学习算法。在UCI数据上的实验与分析表明，提出的AdaBoost推广算法不仅有效，而且部分算法比AdaBoost算法效果更好。关键词:集成学习;AdaBoos

3、t;分类器组合;弱学习定理中图分类号:TP391文献标识码:AEnsembleLearningAlgorithms:GeneralizationofAdaBoost1，21，21，21，2FUZhong-liang，ZHAOXiang-hui，MIAOQing，YAOYu(1．ChengduComputerApplicationsInst．，ChineseAcademyofSciences，Chengdu610041，China;2．GraduateUniv．ofChineseAcademyofSciences，Beijing100049，China)Abstract:Aimingatover

4、comingtheinsufficiencythatAdaBoostalgorithmisonlysuitabletotheunstablelearningalgorithm，themethodofadjustingsamplecenterwithitsweightwasgivenbasedontheideathataddingnewclassi-fiersisalwaystoreducethetrainingerroroftheensembleclassifier．Bythismethod，AdaBoostalgorithmcouldbegeneralizedtobeseveralnewen

5、semblelearningmethodsbycombiningsomestablelearningalgorithms，suchastheoneofdynamicallyadjustingthecentersofsampleattributes，theoneofclassifyingbyweighteddistancemeasure-ment，andtheoneofdynamicallycombiningsampleattributes．Therefore，theapplicationscopeofAdaBoostalgo-rithmwasgreatlyexpanded．Differentf

6、romthatthecombinationcoefficientsandtheadjustmentstrategyofsampleweightsinAdaBoostalgorithmareindirectlysettoreducethetrainingerror，thedirectgoal-orientedensemblelearningalgorithmwasgiven．TheexperimentalanalysisonUCIdatasetprovedthatthegeneralizedAdaBoostalgo-rithmsareeffectiveandsomeofthemperformbe

7、tterthantheordinaryAdaBoostalgorithm．Keywords:ensemblelearning;AdaBoost;classificationcombination;weaklearningtheoremAdaBoost(adaptiveboosting)算法是一种提高给定学习算法精度的方法，由Freund和Schapire提［1］［2］出，是基于弱学习定理的一种可操