随机森林算法的优化改进研究

《随机森林算法的优化改进研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、暨南大学硕士学位论文题名(中英对照)：随机森林算法的优化改进研究ResearchOnOptimizationAndImprovementOfRandomForestsAlgorithm作者姓名：马骊指导教师姓名及学位、职称：樊锁海、博士、教授学科、专业名称：理学、应用数学学位类型：学术学位论文提交日期：2016年6月论文答辩日期：2016年6月1日答辩委员会主席：周波论文评阅人：周波、谭满春学位授予单位和日期：暨南大学、2016年6月26日独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文

2、中不包含其他人已经发表或撰写过的研究成果，也不包含为获得暨南大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日中文摘要随机森林算法是一种普适性良好的分类算法，适用范围广且不易过拟合。但是随机森林算法仍有一些不足，还有改进的空间。本文介绍了分类算法和随机森林算法的思想原理，在相关研究现状等基础上，提出了一些改进算法，具体工作有：(1)研究了不同分类算法，选择UCI数据进行仿真，总结了全面的评价指标后，对比了逻辑回归、朴素贝叶斯、神经网络、支持向量机和随机森林

3、算法的效果，实验表明随着数据不平衡程度加大，随机森林算法效果普遍优于其他算法，具有优越性；(2)针对不平衡数据处理和SMOTE采样算法的缺点，提出CURE-SMOTE算法。实验选择人工数据和UCI不平衡数据，对比了原始数据、随机采样、SMOTE采样、Borederline-SMOTE1、safe-level-SMOTE、C-SMOTE、Kmeans-SMOTE采样分类结果，发现本文提出的算法更接近原始数据分布，且引入噪声最少，分类效果较佳，验证了算法有效性和可行性；(3)特征选择和参数也是影响算法性能的关键因素。本文提出基于随机森林的智能算法特征选择和参数优化混

4、合算法，通过二进制编码，对树的规模、子属性个数和特征选择同时搜索，以最小化袋外数据误差为目标函数。实验选择高维二分类和多分类数据，对比了无特征选择下，参数传统取值和混合遗传随机森林、混合粒子群随机森林和混合鱼群随机森林算法的结果，从F值、G-mean、AUC和OOBerror等多个指标表明该算法可以提高随机森林的性能，为特征选择和参数优化提供了新思路。关键词：随机森林；不平衡数据；智能算法；特征选择；参数优化IAbstractRandomforestsalgorithmisakindofclassificationalgorithmwhichhasgooduni

5、versality,widerangeapplicationandisnoteasytoover-fit.Buttherearestillsomeshortagesinrandomforestsalgorithmwhatneedstobeimproved.Thispaperintroducesthetheoryandresearchstatusofclassificationalgorithmandrandomforestsalgorithm.Onthebasisofabove,weputforwardsomeimprovedalgorithm,theSpeci

6、ficityworkasfollows:(1)Avarietyofclassificationalgorithmisstudied,andwechoosetheUCIdatatosimulate.Aftersummarizingthecomprehensiveevaluationindexes,wecomparetheresultoflogisticregression,NaiveBayesian,neuralnetwork,supportvectormachineandrandomforestsalgorithm,thesuperiorityofrandomf

7、orestsalgorithmisverified.(2)AimatunbalanceddataprocessingandthedisadvantagesofSMOTE,weproposeCURE-SMOTEalgorithm.WeexperimentonunbalancedUCIdata,compareclassificationresultsoftheoriginaldata,randomsampling,Borederline-SMOTE1,safelevel-SMOTE,C-SMOTE,Kmeans-SMOTEsample.Wefoundthatthep

8、roposedalgor