随机森林自适应特征选择和参数优化算法研究

《随机森林自适应特征选择和参数优化算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP391单位代码：10190研究生学号：201505012密级：公开硕士学位论文2018年6月随机森林自适应特征选择和参数优化算法研究ResearchonAdaptiveFeatureSelectionandParameterOptimizationAlgorithmforRandomForest硕士研究生：刘凯导师：郑山红申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与工程学院答辩日期：2018年6月10日授予学位单位：长春工业大学摘要摘要随机森林算法（RandomForest）是机器学习领域中一种普

2、适性良好的数据挖掘方法。它在决策树算法的理论之上结合bootstrap重采样方法，集合多个单树型分类器，最后结果通过投票的策略进行分类和预测。随机森林算法具有理论易理解、调整的参数较少、抗噪声能力强，最重要的是在实际的应用中分类性能非常高和不容易过拟合等特性。随机性能良好以及不需要样本背景知识的性能让其在很多领域得到了广泛的实际应用，为此许多研究学者对随机森林进行了广泛的研究和改进。本文在分析国内外相关研究发现，随机森林算法的特征选择具有随意性，会导致忽略特征对类别的重要性以及特征与特征之间的相关性，同时随机森林的参数选择很难

3、学习出最优参数组合并且参数选择过程效率很低。本文针对以上问题，从不同的视角在随机森林的特征选择和参数选择上做了一系列的探索和研究工作。本文首先对随机森林算法的综述进行阐述，分析了随机森林算法的随机性机制、性能指标以及存在的问题。然后针对随机森林算法特征选择的随机性，提出了自适应特征选择分类算法SARFFS，该算法首先利用卡方检验样本间关联程度后自助采样，并设计出一种特征对类代表强弱程度的计算方法；然后引入自适应稀疏约束机制GroupLASSO优化特征的选择，进而解决了随机森林选择特征时的局限性；，该方法首先从粒子群的学习因子和

4、粒子的位置对粒子群进行改进。针对粒子运动轨迹不同阶段的不同需求，基于学习因子提出了一种基于反正弦调整因子的策略。针对传统的PSO算法在更新粒子位置时，没有考虑到每次迭代过程中上下文对粒子的影响，本文对PSO算法的递推方程进行迭代更新，提出了新的递推公式，从而提高了算法的寻优能力。关键词：随机森林；参数选择；特征选择；GroupLASSO；粒子群IAbstractAbstractTherandomforestalgorithm(RandomForest)isapopularmethodofdatamininginthefield

5、ofmachinelearning.Itcombinesthetheoryofdecisiontreealgorithmwithbootstrapresamplingmethod,andsetsupmultiplesingletreeclassifiers.Thefinalresultisclassifiedandpredictedbyvotingstrategy.Randomforestalgorithmhasmanyadvantages,suchaseasytounderstandandadjustparameters,s

6、trongnoiseimmunity,andmostimportantly,inpracticalapplications,ithasveryhighclassificationperformanceandisnoteasytobeoverfitted.Thepropertiesofgoodrandomperformanceandthelackofsamplebackgroundknowledgehavemadeitwidelyusedinmanyfields.Forthisreason,manyresearchershave

7、conductedextensiveresearchandimprovementonrandomforests.Thispaperanalyzesrelevantresearchathomeandabroadandfindsthatrandomforestalgorithm'sfeatureselectionisrandom,whichleadstotheuncertaintyofdecisiontreetrainingaccuracy.Atthesametime,randomforestparametersalsohavel

8、imitationsthataredifficulttoselect.Inviewoftheaboveissues,thisarticlehasdoneaseriesofexplorationandresearchworkontheselectionoffeaturesand