基于分布式并行计算的神经网络算法

《基于分布式并行计算的神经网络算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据第32卷第2期系统工程与电子技术V01．32No．22010年2月SystemsEngineeringandElectronicsFebruary2010文章编号：1001-506X(2010)02—0386—06基于分布式并行计算的神经网络算法张代远1’2(1．南京邮电大学计算机学院，江苏南京210003；(2．南京邮电大学计算机技术研究所，江苏南京210003)摘要：为了提高计算性能(速度与可扩展性)，提出了一种新颖的神经网络的并行计算体系结构和计算网络权函数的训练算法。权函数是广义Chebyshev多项

2、式和线性函数的复合函数，只需要通过代数计算就可以求得，不需要梯度下降计算或者矩阵计算。各个权函数能够独立求解，可以通过并行系统采用并行算法计算。算法可以求得全局最优点，得到反映网络误差的一个有用的表达式。此外，算法在不超过权函数总数的范围内，还具有维持加速比与并行系统中提供的处理器的数量成线性增长的能力。仿真实验结果表明，本文算法的计算性能远远优于传统算法。关键词：神经网络；并行计算；权函数；Chebyshev多项式；可扩展性中图分类号：TP183；TP301文献标志码：ATrainingalgorithmforne

3、uralnetworksbasedondistributedparallelcalculationZHANGDai—yuanl·2(I．Coll．ofComputer，NanjingUniv．ofPostsandTelecommunications，Nanjing210003，China；(2．Inst．ofComputerTechnology，NanjingUniv．ofPostsandTelecommunications，Nanjing210003，China)Abstract：Toimprovecomputin

4、gperformance(speedandscalability)，aninnovativeparallelcomputationarchitectureandatrainingalgorithmforneuralnetworksareproposed．EachweightfunctionisacompositefunctionofageneralizedChebyshevpolynomialandalinearfunction。onlyalgebraiccalculationisneeded，andnorequir

5、ementisinvolvedforthecalculationsuchasthesteepestdescent—likealgorithmsormatrixcalculation．Theweightfunctionsarefoundindependently，thereforetheyarecalculatedbyusingaparallelalgorithminaparallelsystem．ThealgorithmisusedtOfindtheglobalminimum．Ausefulexpressioniso

6、btainedfortheapproximateerrorofthenetworks．Thescalabilityofthealgorithmisdescribedastheabilitytomaintainlinearproportionofspeeduptothenumberofprocessorsavailableintheparallelsystemwithinthetotalnumberofweightfunctions．Theresultsshowthatthecomputingperformancepr

7、oposedismuchbetterthanthatobtainedwithtraditionalmethods．Keywords：neuralnetworks；parallelcomputationweightfunctions；Chebyshevpolynomials；scalability0引言传统算法如误差反向传播(errorbackpropagation，BP)算法、径向基函数(radicalbasisfunction，RBF)算法、支持向量机(supportvectormachine，SVM)算法都存在以

8、下共同的缺点：各个权值不能独立求解(至少不能彼此完全独立地求解)，因此难以应用并行计算技术；计算复杂，采用最优化方法(如BP算法常采用梯度下降类算法)，或者要进行矩阵计算(如RBF算法和SVM算法的计算过程)，因此其计算工作量大，速度慢。不仅如此，传统算法在寻求全局最优解以及泛化能力的分析方面也都遇到了很多困难。一些学者从不同的角度进行了研究。