基于Bagging采样下的集成学习模型

《基于Bagging采样下的集成学习模型》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Bagging采样下的集成学习模型信息与计算科学14-1班摘要本文采用Bagging-并行化的个体学习器，即有放回地抽取训练样本集，每个基学习器只使用了初始训练集中约63.2%的样本，剩下的约36.8%的样本可用作验证集来对泛化性能进行包外估计(out-of-bagestimate)。采用libsvm方法得到个体学习器的泛化误差及强学习器的包外泛化误差及运行时间。得到个体学习器的准确率及强学习器的包外误差，结论个体学习器良好，强学习器较差。关键词集成学习、Bagging、泛化误差、svm支持向量机集成学习理论

2、1.1集成学习集成学习(ensemblelearning)是通过构建并结合多个学习器来完成学习任务的，因此有写文章中也称其为多分类器系统(multi-classifiersystem)或者是委员会学习(committee-basedlearning)。下图是集成学习的一般结构，将一组“个体学习器”(individuallearner)用一些何理的策略结合起来，这些个体学习器可以是各种弱分类器，例如决策树算法，BP神经网络等。若所有的个体学习器是同种类型的，则称这样的集成是“同质”的(homogeneous),此时

3、的学习器也可以称作是“基学习器”(baselearner)，相应的学习算法则为“基学习算法”(baselearningalgorithm).若集成中的个体学习器包含不同的学习器，则称这样的集成为“异质”的(heterogenous)，此时的个体学习器则被称为是"组件学习器”(componentlearner)也可以被直接称为个体学习器。弱学习器：指泛化性能略优于随机猜测的学习器；例如在二分类问题中精确度略高于50%的分类器。个体学习器1个体学习器21.2Bagging与随机森林学习方法本文说明采用并行化的个体学习

4、器生成方式，和上文的Boosting串行化要求个体学习器存在强依赖关系不同的是，该生成方式是基于个体学习器应尽可能相互独立。独立的个体学习器可以得到泛化性能强的集成；当然现实中不存在绝对的独立，不过可以设法使基学习器尽可能具有较大差异。一种方法就是对训练样本进行采样，产生岀若干个不同的子集,/0(s)TBaggingAdaBoostBagging63.2%36.8%estimateHoob(x)XBaggingT00b_yIIH~argm@x厶II-1;84oobDBaggingBaggingout-of-ba

5、gDthtxx(h(x)=y)J(xeD)ttEHUoob(H(x)y)(x,y)D2.1libsvmLIBSVMBagging(LinChih-Jen)2001SVMWindowsSVM■，2.22.2.1svmtrainSVMsvmtrain:svmtrain[options]training_set_file[model_file]training_set_file是要进行训练的数据集；model_file是训练结束后产生的模型文件，文件中包括支持向量样本数，支持向量样本以及lagrange系数等必须的参数

6、；该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名•默认情况下只需要给函数提供一个样本文件名就可以了，但为了能保存结果，还是要提供一个结果文件名，比如：test.model,则命为：svmtraintest.txttest.model2.2.2svmpredict的用法svmpredict是根据训练获得的模型，对数据集合进行预测用法：svmpredict[options]test_filemodel_fileoutput_file其中，options为操作参数,可用的选项即表示的涵义如所-bpro

7、bability_estimates:是否需要进行概率尚测0或者1,默认爲0.model_file:是由svmtrain产生的模型文件testfile:是要进行预测的数据文件，格式也要符合libsvm格式，即使不知道label的德也要任意填一个，svmpredict会在output_file中给出正确的label结果，如果知道label的值就会输出正确率；output_file:是svmpredict的输出文件，表示预测的结果值2.2获取训练集输出的bagging训练集及其他函数谢關A三测试3.1个体学习器错豪表

8、3.1个体学习器错解学习器12345678910错摸0.340.3550.3130.3190.3430.330.288C.365C.27(.299时的I930.16170.15560.11890.17230.22810.15850.15790.28120.22453.2强学习器泛摊表3.2强学习器泛渥学习器1正确率0.44140.33450.36210.32760.344