一种基于神经网络集成的决策树构造方法.pdf

《一种基于神经网络集成的决策树构造方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第23卷第11期计算机仿真2006年11月文章编号：1006-9348（2006）11-0095-04一种基于神经网络集成的决策树构造方法112苏晓影，贺跃，郑建军（1.北京理工大学信息学院计算机系，北京100081；2.北京理工大学管理与经济学院，北京100081）摘要：神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络

2、集成来预处理训练样本，使用C4.5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4.5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4.5算法；该算法的最终结果显示为决策树，显然具有良好的可理解性。关键词：神经网络集成；神经网络分类器；决策树中图分类号：TP311.13文献标识码：AADecisionTreeAlgorithmBasedonNeuralNetworkEnsemble112SUXiao-ying，

3、HEYue，ZHENGJian-jun（1.SchooIofInformationScienceandTechnoIogy，BeijingInstituteofTechnoIogy，Beijing100081，China；2.SchooIofManagementandEconomics，BeijingInstituteofTechnoIogy，Beijing100081，China）ABSTRACT：NeuraInetworkensembIeiswithstrongergeneraIizatio

4、nabiIitycomparedwithasingIeneuraInetwork.ButtheensembIeisIackofcomprehensibiIitybecauseitisregardedasa‘bIackbox’.AnddecisiontreeiswithgoodcomprehensibiIity.ButitsgeneraIizationabiIitycannotbecomparedwithneuraInetworkensembIe.Inthispaper，anaIgorithmfo

5、rbuiIdingadecisiontreeisproposedwhichcombinesthemeritsofboththeneuraInetworkensembIeandthedecisiontree.TheaIgorithmusesneuraInetworkensembIetoreprocessthetrainingsetthenformsaC4.5decisiontree.ExperimentaIresuItsarecomparedamongneuraInetworkensembIe，d

6、ecisiontreeandtheaIgorithmintroducedinthispaper.ExperimentsshowthattheaIgorithminthispaperiswithstronggeneraIizationabiIityinheritedfromneuraInetworkensembIeandithasstrongergeneraIizationthanC4.5decisiontree.BecausetheresuItoftheaIgo-rithmisshownasat

7、ree，theaIgorithmhasgoodcomprehensibiIity.KEYWORDS：NeuraInetworkensembIe；NeuraInetworkcIassifiers；Decisiontree1引言好的可理解性。决策树方法已经被成功地应用到从医疗诊［2］神经网络集成是针对同一个问题用有限个神经网络来断到评估贷款申请的信用风险的广阔领域。OuinIan提出进行学习，集成在某个输入样本下的输出由构成集成的各个的C4.5算法是一种归纳学习算法，它不仅能处理样本中的神经网络在该

8、样本下的输出共同决定。有研究表明，神经网离散型属性，还能够处理连续型属性，是决策树方法中使用络集成不仅容易使用，而且能够用很小的运算代价显著地提相对广泛的一种算法。高学习系统的泛化能力［1］。当前，神经网络集成已经成为人神经网络的一大缺陷是其“黑箱性”，即不易理解性。决工智能领域的一个研究热点，在语音识别、文本过滤、科学图策树方法可以很好地弥补这种不足。因此，如果可以结合这像分析、地震信号分级、疾病诊断等多个领域成功地得到了两种算法，可望得到一种效果更好的分类算法。一些研究者应用。提出用符号学习