基于协同进化的RBFNN学习研究

《基于协同进化的RBFNN学习研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、掣⋯型㈣必⑧天睾大薯中目近代第一所女p-博士学位论文i■_吐●●■■：●爿鲁：●—●IIIEelom一级学科：管理科学与工程学科专业：管理科学与工程作者姓名：田津指导教师：李敏强教授天津大学研究生院2008年5月摘要从20世纪80年代神经网络的研究再次复苏并形成热点以来，发展非常迅速。理论研究包括计算能力、对任意连续映射的逼近能力、学习理论等取得了丰硕的成果，其应用已迅速扩展到经济与企业管理、金融工程、模式识别、医疗诊断及众多数据挖掘领域。其中较为常用的是径向基函数神经网络(RadialBasisFunctionNeuralNetwork，Imnm)，具有结构简单、泛

2、化能力强和收敛速度快等特点。本文结合数据挖掘和机器学习中的分类任务，针对RBFNN学习亟需解决的关键问题，应用协同进化算法进行了深入系统地研究。主要研究内容包括：(1)介绍了神经网络学习的统计性能和RBFNN基本原理，评述了相关研究进展和典型RBFNN中心确定算法。概括了协同进化算法理论基础、整体框架以及发展现状。(2)提出了基于合作型协同进化的RBFNN算法。在标准网络结构中加入一个聚类层，对初始隐节点聚类，把性质相似的隐节点聚集成隐节点群，以聚类后的隐节点群作为子种群进行协同进化操作。各子种群间相互作用、相互影响。实验结果表明，该算法能够在一定程度上克服用传统优化

3、算法进行网络训练耗时长的不足，且构建的RBFNN具有较小的网络规模，较强的泛化能力。(3)提出了基于协同覆盖的EBFNN算法。该算法把隐层剥离出来，直接由覆盖的情况确定分类结果，从而较好地增强EBFNN可理解性，同时省去标准网络中隐层到输出层权值的求取，简化了网络结构；通过协同进化算法与启发式算法的局部搜索的有效结合，采用启发式搜索自动增减隐节点个数，进一步改进网络结构。实验结果表明，该算法在初始隐节点在样本中随机选择的前提下，能够充分利用EBFNN覆盖域特点，达到较好的样本覆盖效果以及分类结果。(4)提出了带有特征选择的双种群RBFNN分类算法。将输入向量的特征选择

4、和RBFNN优化过程协同进行，一并获得较优的网络结构和约减的输入向量维数，有效降低特征空间的维数，利用较小的网络结构获得较高的分类精度。实验结果表明，该算法对于大规模高维数据可以选择出切实有效的特征属性，避免复杂网络结构的生成，且算法快速有效，具有较强的复杂样本分类能力。(5)提出了多种群协同进化神经网络集成算法。将神经网络集成和协同进化算法相结合，每个个体神经网络对应于协同进化中的一个子种群，可保证每个个体网络自身进化和个体网络之间相互影响相结合；然后根据RBFNN特点，借鉴多数投票方法和最大值决定方法，对结论生成方式进行改进。实验结果表明，该算法优于目前常用的一些

5、神经网络集成算法。关键词：径向基函数协同进化领域覆盖特征选择神经网络集成分类ABSTRACTTheresearchonneuralnetwork仆m1becameresuscitatedintheearly1980sandsincethenhasbeenahotfield．Therehavebeenalotofresearchesonthecomputingcapability,theapproximationcapability,andthelearningtheoryofNN．Especially,theapplicationsoftheNNachievedple

6、ntyoffruitsindiversifieddomains．includingeconomicandenterprisemanagement，financialengineering，paaernrecognition,medicaldiagnosis．etc．ThemostlyadoptedneuralnetworkiSradialbasisfunctionneuralnetwork(RBFNN)duetoanumberofadvantagesoverothertypesofNN，suchassimplernetworkstructures，beaerpredi

7、ctioncapabilities，andfasterlearningprocess．andthusithasbecomeoneofthemajormethodsinmachinelearninganddatamining．Inthisdissertation．themainissuesinvolvingtheRB删learningareinvestigated．andtheI强删learningalgorithmshavebeenproposedbasedonthecoevolutionaryalgorithmforcomplexclassific