构造性神经网络的集成分类模型及应用

《构造性神经网络的集成分类模型及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、安徽大学硕士学位论文摘要摘要神经网络集成是目前机器学习的热门研究方向之一，在许多领域有着广泛的应用，如数据挖掘、模式识别、文本分类、预测等方面。神经网络集成通过训练多个神经网络并将其结果进行合成，可以显著地提高学习系统的泛化能力。它加深了学者们对于机器学习和神经网络的研究，并且利于工程技术人员利用神经网络技术解决实际问题。神经网络集成实现的方法主要集中在两个方面，即怎样将多个神经网络的输出结果进行结合和如何产生集成中的个体网络。因此要增强神经网络集成的泛化能力，一方面应尽可能提高个体网络的泛化能力，另一方面应尽可能增大集成

2、中各网络之间的差异。现在常用的神经网络集成学习方法都是通过扰动训练数据来获得差异较大的个体网络，使个体学习器的误差分布于不同的输入空间而取得较好效果，其中Bagging和Boosting是目前比较流行的两种集成学习方法。而本文主要讨论如何将扰动数据集和扰动输入属性结合起来，来生成精度更高且差异度更大的个体学习器，再将这多个学习器构建成集成分类模型来解决分类问题。具体的做法是在Bagging方法的基础上，将特征选择技术Relief算法引入集成学习模型的构建中；采用一种构造性的神经网络即覆盖算法作为基础分类器。并且在论文中对传

3、统的Relief算法进行了改进，引入了抽样选择的思想。为了验证所提出的集成分类模型的分类能力，论文中选择了UCI上的一些公共数据集进行了实验。结果表明，本文提出的方法能有效提高普通覆盖集成的泛化能力和分类精度。最后本文将所提出的方法应用到手写体的0到9的数字识别中，实验取得了较好的效果。关键词：神经网络；神经网络集成；覆盖算法；特征选择；差异性；模式识别I安徽大学硕士学位论文构造型神经网络的集成分类模型及应用AbstractTheresearchaboutneuralnetworkensemblesisbeingahotp

4、ointinmachinelearning,anditwasappliedinmanyfieldssuchasdatamining,patternrecognition,textclassification,forecastingandsoon.Neuralnetworkensemblescansignificantlyimprovethegeneralizationabilityoflearningsystemsthroughtrainingafinitenumberofneuralnetworksandthencomb

5、ingtheirresults.Itcanhelpexpertstoinvestigatemachinelearningandneuralnetworks;italsocanhelptheengineerstosolverealproblemsbyusingneuralnetworkstechniques.Theresearchmethodofneuralnetworkensemblesmostlyfocusesontwoaspects，whicharehowtocombinetheoutputresultsofsever

6、alneuralnetworksandhowtoproducetheindividualneutralnetworkoftheneuralnetworkensembles.Thereforetoimprovetheeffectofensembles,ontheonehandshouldimprovetheeffectofeachneuralnetwork,ontheotherhandshouldenlargethediversityamongtheneuralnetworks.Atpresenttheusualresear

7、chmethodsofneuralnetworkensemblesaredisorderingtheinputdatatoachieveseveraldiversenetworksamongwhichthemostpopulartechniquesareBaggingandBoosting.Inthesemethodstheerrorsdistributeindifferentinputareasandtheensemblescangethighprecisions.Inthisdissertation，inorderto

8、generateclassifierswithhigherprecisionandapparentdifference，howtocombinethemethodofdisorderingtheinputdataandthemethodofdisorderingtheattributesofinputd