拟自适应分类随机森林算法

《拟自适应分类随机森林算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、拟自适应分类随机森林算法马景义吴喜之谢邦昌2011-12-1315:00:25　　来源：《数理统计与管理》(京)2010年5期第805～811页　　内容提要：本文给出了集成学习模型可以收敛的集成学习算法，拟自适应分类随机森林算法。拟自适应分类随机森林算法综合了Adaboost算法和随机森林算法的优势，实验数据分析表明，训练集较大时，拟自适应随机森林算法的效果会好于随机森林算法。另外，拟自适应分类随机森林算法的收敛性确保它的推广误差可以通过训练集估计，所以，对于实际数据，拟自适应分类随机森林算法不需要把数据划分为训练集和测试集，从而，可以有效地利用数据信息。　　关键词：集成学习拟自适

2、应随机森林　　作者简介：马景义，中央财经大学统计学院（北京100081）；吴喜之，中国人民大学统计学院（北京100872）；谢邦昌，中央财经大学统计学院（北京100081），台湾辅仁大学统计资讯学系（台北24205）。　　拟自适应分类随机森林算法马景义吴喜之谢邦昌2011-12-1315:00:25　　来源：《数理统计与管理》(京)2010年5期第805～811页　　内容提要：本文给出了集成学习模型可以收敛的集成学习算法，拟自适应分类随机森林算法。拟自适应分类随机森林算法综合了Adaboost算法和随机森林算法的优势，实验数据分析表明，训练集较大时，拟自适应随机森林算法的效果会好于

3、随机森林算法。另外，拟自适应分类随机森林算法的收敛性确保它的推广误差可以通过训练集估计，所以，对于实际数据，拟自适应分类随机森林算法不需要把数据划分为训练集和测试集，从而，可以有效地利用数据信息。　　关键词：集成学习拟自适应随机森林　　作者简介：马景义，中央财经大学统计学院（北京100081）；吴喜之，中国人民大学统计学院（北京100872）；谢邦昌，中央财经大学统计学院（北京100081），台湾辅仁大学统计资讯学系（台北24205）。　　拟自适应分类随机森林算法马景义吴喜之谢邦昌2011-12-1315:00:25　　来源：《数理统计与管理》(京)2010年5期第805～811页

4、　　内容提要：本文给出了集成学习模型可以收敛的集成学习算法，拟自适应分类随机森林算法。拟自适应分类随机森林算法综合了Adaboost算法和随机森林算法的优势，实验数据分析表明，训练集较大时，拟自适应随机森林算法的效果会好于随机森林算法。另外，拟自适应分类随机森林算法的收敛性确保它的推广误差可以通过训练集估计，所以，对于实际数据，拟自适应分类随机森林算法不需要把数据划分为训练集和测试集，从而，可以有效地利用数据信息。　　关键词：集成学习拟自适应随机森林　　作者简介：马景义，中央财经大学统计学院（北京100081）；吴喜之，中国人民大学统计学院（北京100872）；谢邦昌，中央财经大学

5、统计学院（北京100081），台湾辅仁大学统计资讯学系（台北24205）。　　0引言　　　　通过对的训练，分类树[1]、C4.5[2]和神经网络[3]等算法都可以得到预测y的函数，或者模型；分类问题的集成学习方法(ensemblelearningmethods)则把多个不同个体分类模型的预测结果集合到一起，通过投票，得到一个分类更精确的预测结果。这里个体分类模型的投票模型就是集成学习模型；而个体分类模型被称作基学习模型(baselearningmodel)，通过基学习算法获得。在一类集成学习算法中，基学习模型可以被视为某个随机模型的实现。例如Bagging分类树算法中，通过基学习算

6、法（分类树算法）训练，从中等权重抽取的随机自助训练集(bootstraptrainingdata)L，得到的随机模型可以被表示为f(x；L)，f指代采用分类树算法得到的模型，L为随机参数。只要获得L的随机实现，就可以通过分类树算法得到基学习模型f(x；)，i=l，…，m。每个基学习器模型以权重1/m（等权重）投票，就可以得到集成学习模型，或者Bagging分类树模型　　　　其中，I（·）是示性函数。出于简便，本文后面部分将类似Bagging分类树模型，简称特定集成学习算法的集成学习模型。　　另外，需要说明的是，等权重自助抽样权重为N维向量。本文后面的部分中，自助抽样权重也是N维向量

7、，自助训练集的大小为N。以自助权重从中抽取自助训练集指，独立地，从中的元素中随机选出（中第n个样本被选中的概率为自助抽样权重的第n个元素，n=1，…，N）N个样本组成自助训练样本。　　Breiman的分类随机森林算法[4]业已证明为集成学习算法中最为优秀的算法之一，实践表明，分类随机森林模型的预测性能要优于Bagging分类树模型。和Bagging分类树算法类似，分类随机森林算法的基学习模型也可以表示为随机模型h（x；θ）的实现，只是h（x；θ）通过随机变量划分分类树