基于数据并行的bp神经网络训练算法

《基于数据并行的bp神经网络训练算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文基于数据并行的BP神经网络训练算法姓名：张弦申请学位级别：硕士专业：计算机应用技术指导教师：马光志20080607华中科技大学硕士学位论文摘要BP(BackPropagation)算法，即误差反传训练算法，具有良好的非线形逼近能力，是人工神经网络应用最广泛的训练算法。但是BP算法存在训练速度慢、易陷入局部极小值等缺陷。以弹性BP算法为代表的BP改进算法虽然在一定程度上加快了神经网络的训练，但是对于训练规模巨大的神经网络，这些改进算法仍然不能满足实际应用的要求。考虑到神经网络本身所具有的并行处理能力，可以利用并行计算来解决大规模神经网络训练问题。BP网络并行化有结构并行

2、和数据并行两种方法。在基于数据并行的BP算法中，训练样本被划分给不同的处理机，各处理机对同样的神经网络进行训练，然后统计所有的训练结果更新神经网络。这种方法的优点是处理机之间的通信量少、并行粒度大。在基于MPI(消息传递接口)的并行环境下，通过局域网内互联的PC机，组建了一个机群训练平台。采用主/从结构的并行模型，将训练样本数据平均分配到各从节点，由主节点收集并统计训练结果，实现了BP神经网络训练的并行化。同时根据神经网络初始权值随机性的特点，在并行BP算法的基础上作出了改进。在训练初期，各个节点分别对各自的神经网络进行随机初始化，然后同时对其进行训练，在一定的迭代次数之后筛选出误差最小的神

3、经网络，最后利用筛选出的神经网络进行并行训练。采用华中科技大学同济医学院提供的高血压调查数据作为训练样本，分别使用串行BP算法、并行BP算法和改进的并行BP算法，建立神经网络并对其进行训练。实验结果显示，并行算法相对于串行算法极大地加快了训练速度。同时改进的并行算法也有效地提高了并行训练的加速比和并行效率。关键词：人工神经网络，BP算法，数据挖掘，数据并行I华中科技大学硕士学位论文AbstractBP(BackPropagation)algorithm,alsoknownastheerror-propagationalgorithm,isawidelyusedtrainingmethodin

4、theapplicationofneuralnetworksforitsfinecapabilityofnon-linearapproximation.However,itisknowntohavesomedefects,suchasconvergingslowlyandfallinginafalselocalminimum.AlthoughsomeoptimizationalgorithmsuchasRPROPhelptospeedupthelearningprocess,fortheneuralnetworkswithtremendoussizeandextremelylargetrai

5、ningsetthesealgorithmscouldnotsatisfythedemandofimplementation.Theabilityofparallelprocessingisinherentinneuralnetwork,soitisfeasibletoreducethelongtrainingtimewiththeparalleltechniques.TherearetwodifferentparallelimplementationschemesforBPnetworks,thestructureparallelismandthedataparallelism.Inthe

6、dataparallelism,thetrainingdataisdistributedtodifferentcomputingnodes;eachnodehasalocalcopyofthecompleteweighmatricesandaccumulatesweightchangevaluesforthegiventrainingpatterns,andthentheweightchangevaluesofeachnodearesummedandusedtoupdatetheglobalweightmatrices.Thedataparallelismwithalarge-grainsi

7、zereducesthecommunicationtime.Therefore,itismostlyimplementedinthecluster.ByconnectingthePCswithaTCP/IPEthernetlocalareanetwork,webuiltupaclustersystemwithMPI(MessagePassingInterface).TheparallelBPnetworkis