Adaboost人工神经网络集成.docx

《Adaboost人工神经网络集成.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Adaboost人工神经网络集成（同济大学电子与信息工程学院，上海）摘要：Adaboost算法可以将分类效果一般的弱分类器提升为分类效果理想的强分类器，而且不需要预先知道弱分类器的错误率上限，这样就可以应用很多分类效果不稳定的算法来作为Adaboost算法的弱分类器。由于BP神经网络算法自身存在的局限性和对训练样本进行选择的主观性，其分类精度以及扩展性有待提高。将Adaboost算法与BP神经网络相结合，使用神经网络分类模型作为Adaboost算法的弱分类器。算法在Java中实现，对UCI中的鸢尾花数据集进行实验，结果表明Adaboost能有效改善BP神经网络的不足，提高分类正确率和

2、泛化率。关键词：弱分类器；强分类器；BP神经网络；Adaboost算法TheEnsembleClassificationofAdaboostandBPHUZuoLiang(TongjiUniversityofCollegeofElectronics&InformationEngineering,Shanghai,China)Abstract:Adaboostalgorithmcanpromoteaweakclassifiertoastrongclassifierwithoutknowingtheerrorrateupperlimitoftheweakclassifierinadvan

3、ce.SoalotofclassifierswhicharenotsostablecanbeusedasweakclassifiersinAdaboostalgorithm.BecauseofthelimitationandsubjectivityintrainingsamplesselectionoftheBPneuralnetworkalgorithm,itsclassificationaccuracyandscalabilityneedtobeimproved.SotheAdaboostalgorithmiscombinedwithBPneuralnetwork.inwhich

4、theneuralnetworkclassificationmodelisusedasaweakclassifier.AlgorithmisrealizedinJava,andtheIrisDatasetofUCIdatasetsisusedtodotheexperiment.TheresultsshowthatAdaboostcaneffectivelyovercometheshortcomingsofBPneuralnetwork,improvetheclassificationaccuracyandtherateofgeneralization.Keywords：weakcla

5、ssifier；strongclassifier；BPNeuralNetwork；Adaboostalgorithm1引言BP神经网络在分类算法中有广泛的应用，但是由于BP神经网络本质上是梯度下降法，当遇到比较复杂的目标函数时，其学习速度和收敛速度会变得很慢，导致训练失败的可能性较大。而Adaboost能够提升任意精度的弱分类器为强分类器，它的核心思想是通过对一个训练集训练得到多个分类结果，最后将它们集成起来。在BP神经网络中引入Adaboost算法作为分类器，可以弥补BP神经网络的缺点，能提高分类准确率和泛化率。2Adaboost-NN算法介绍2.1Boosting算法Boosti

6、ng算法由Schapire和Freund在1990年提出，是最早提出的集成学习算法，是一种有效提高分类学习系统分类能力的算法。Boosting算法操纵训练样本来产生多个分类假设，从而建立通过加权投票结合的分类器集合，其过程如下：(1)首先对含有N条数据的训练样本进行学习，得到第一个弱分类器；(2)将在前面学习过程中分错的样本加上其他新数据，构成一个新的含N个数据的训练样本集，对这个训练样本集进行训练学习，得到新的分类器；(3)把在步骤(1)和(2)中都分错了的样本加上其他新数据，构成另一个新的包N个数据的训练样本集，对这个样本集进行训练学习得到新的分类器；(4)最后通过对全部得到的弱

7、分类器进行加权投票表决得到强分类器，即某样本被分为哪一类要通过全部弱分类器的加权投票表决。Boosting算法需要解决两个主要问题：(1)怎样调整训练集里的样本分布，从而使训练集产生适合的弱分类器；(2)怎么把训练所得弱分类器集成得到效果更好的强分类器。2.2Adaboost算法Adaboost算法是Schapire和Freund在1995年提出的，其关键思想是根据每次训练过程中，样本集内每个样本的分类结果是否正确来改变数据样本分布，即修改样本的权值。修改