并行学习神经网络集成方法.pdf

《并行学习神经网络集成方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第Z8卷第3期计算机学报Vol.Z8No.3Z005年3月C~INESEJOURNALOCOMPUTERSMar.Z005并行学习神经网络集成方法王正群1)Z)1)1)陈世福陈兆乾1)C南京大学计算机软件新技术国家重点实验室南京Z10093)Z)C扬州大学信息工程学院扬州ZZ5009)摘要该文分析了神经网络集成中成员神经网络的泛化误差~成员神经网络之间的差异度对神经网络集成泛化误差的影响提出了一种并行学习神经网络集成方法;对参与集成的成员神经网络给出了一种并行训练方法不仅满足了成员网络本身的精度要求还满足了它与其余成员网络的差

2、异性要求;另外给出了一种并行确定集成成员神经网络权重方法.实验结果表明使用该文的成员神经网络训练方法~成员神经网络集成方法能够构建有效的神经网络集成系统.关键词并行学习;神经网络;神经网络集成;机器学习;泛化误差中图法分类号TP18AParallellearningApproachforNeuralNetworkensemble1)Z)1)1)WANGZheng-@unC~ENShi-uC~ENZhao-@ian1CStateKe$Laborator$forNouelSoftwareTechnolog$NanjingUniue

3、rsit$NanjingZ10093)ZCSchoolofInformationEngineeringYangzhouUniuersit$YangzhouZZ5009)AbstractAftertherelationshipamongthegeneraliZationerrorsoftheneuralnetworksensem-blethegeneraliZationerrorandthediversityofthecomponentneuralnetworkisanalyZed.Acomponentneuralnetwork

4、sparalleltrainedalgorithmPLAisproposedwhichencouragescom-ponentneuralnetworktolearnfromexpectedgoalandtheotherssoallcomponentneuralnet-worksaretrainedsimultaneouslyandinteractively.InthestageofcombiningcomponentneuralnetworksaparallelweightoptimalapproachGASEN-eispr

5、ovidedbyexpandingGASENpro-posedbyZhouetal.whichassignsweightforeverycomponentneuralnetworkandbiasfortheirensemble.Experimentresultsshowthataneuralnetworksensemblesystemisefficientlycon-structedbyPLAandGASEN-e.Keywordsparallellearning;neuralnetworks;neuralnetworkense

6、mble;machinelearning;generaliZationerror[1]在此示例下的输出共同决定.对神经网络集成实l引言现方法的研究主要集中在两个方面即如何生成集成中的成员网络以及怎样将多个神经网络的结论进神经网络集成Cneuralnetworkensemble)是用行结合.有限个神经网络对同一个问题进行学习集成在输在生成集成个体网络C成员网络)方面最重要[Z][3]入示例下的输出由构成神经网络集成的各神经网络的技术是Boosting和Bagging.应用Boosting收稿日期:Z003-10-08;修改稿收到

7、日期:Z004-1Z-Z3.本课题得到国家自然科学基金C60Z73033)和江苏省自然科学基金重点项目CBKZ003067)资助.王正群男1965年生博士后副教授研究方向为机器学习~神经网络~模式识别等.E-mail:yZwZC＠yZcn.net.陈世福男1938年生教授博士生导师主要研究方向为机器学习~知识工程~分布式人工智能以及图像处理.陈兆乾女1940年生教授博士生导师主要研究领域为机器学习~知识工程~神经网络.3期王正群等:并行学习神经网络集成方法403技术可以产生一系列个体神经网络各网络的训练异度越大>越有利于神经网

8、络集成泛化误差的集决定于在其之前产生的网络的表现被已有网络降低.错误判定的示例以较大的概论出现在新网络的训本文进一步分析了网络集成中成员网络的泛化练集中.这样新网络将能够处理对已有网络来说很误差~网络的差异度对神经网络集成泛化误差的影困难的示例.虽然应用Boosting技术能