人工神经网络在多处理器系统上并行实现通信开销

《人工神经网络在多处理器系统上并行实现通信开销》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、维普资讯http://www.cqvip.com第2l卷第1期小型微型计算机系统Vo1．21NO．1ZOO0年1月MINI—MICR0SYsTEMJanZOO0文章编号：1000一IZZO(ZO00)OI一0016—03人工神经网络在多处理器系统上并行实现的通信开销避(暨南大学电子i-程系广州51063Z)摘要：丰支将讨论在多处理器系统上，用太规模并行处理技术实现人工神经网络时，处理嚣之坷的通信开斜问意．通过理论推导和实验证明，奎连接和随机连接神经网络在多处理器系统上并行实现时，处理嚣同蝽的拓扑结构对神经舟蝽实现的通

2、信开销影响很小，改变处理嚣网络的拓扑蛄构也元助于神经网磐实现性能的提高．关键词^工神经网络墨些堡堂墨，茬篮銎!逗堡璺分类号TP3II．11文献标识码：A馘l前言假设所有处理器上的神经网络分区都包古相同量的数据，在两个处理器之间通过一个链路传进和接收一个神经同在本文的分析中．假设√把一个人工神经同络的m个节点络节点分区的数据占用一个单元时间步(见图1)．首先研究(即神经元)分配到一个多处理器系统的n个处理器上(这里最坏情况的拓扑结构：171大于n)．每一个处理器处理^工m神经网络的一个分区(包古多个神经元节点)，一个节

3、点的所有输^权值都只存放在那㈨个节点．如果没有任何通信开销和假设有效的负载平衡，加建口_I＼】P个连接口口比将等于处理器的数目n．把整个神经同络在一个单处理器＼＼r—]■■_一厂](即多处理器系统的处理器个数11．=1)上运行时完成一次学、L-J-，—■■L习的时间叫做c，如果没有通信开锖，把处理器个数增加到n，将使学习时间减少到e／n．／口口然而，一次学习的完成，需要在神经网络的神经元节点之间进行数据交换，从而将涉及厥虞到每；岈一轰个处理器上的几个通信进程的执行．在每一个学习周期，神经元节点的澈活函数口值必须进到所

4、有与a．有连接的神经元节点．从而弓『发的通信开销成为影响在多处理器系统上实拂现^工神经网络效率的主盐理器A处理器要因索和限制条件．而对于垒连接和随机连接神经同络，很少．甚至没有什么办法可以解决这个问题．图1处理器上的每个结果都接收在本文中提刊两种网络，其一是^工神经同络，另一个是来自处理器A上的fp个结点的澈活值处理器网络．请注意区别．在处理器网络中传送神经同络分区数据的最少时间被最长传进路径限制．显然．线型拓扑有最长路径(也叫做多处理2多处理器系统拓扑结构对神经网络并行实现的器网络的直径)，因而把它考虑为最坏拓扑．

5、把最外面的两个影响处理器分别叫做A和z．假设在每一个时间步．所有的相邻处理器之间通过相互之问的通信链路互换一个神经网络节点分尽管通常多处理器系统的拓扑结构(例如．线型．环型，同区的数据，舅j最快在n一1单元步以后．处理器A的分区到达状型，超立方体等)可能强烈影响并行程序的通信开销．但对垒连接神经同络(如Hopfield网络)的并行实现，这个假设不处理器z，反之亦然．在鄢一时刻，其它的分区的数据也被分配到所有的处理器．因而，对最坏的多处理机系统拓扑结构．成立．最好的情况是：通信开销将会有少量的减少．主要原因完成神经网络

6、各分区传输交换需占用n-1单元步时间．是，对这些类型的神经网络，所有神经元节点的数据(例如该现在．假定有一些更有效的多处理器系统拓扑结构存在．神经元的澈活值)，都必须传递给其它所有的神经元节点．从而要求在神经网络学习的每一步+多处理器系统的所有处理无论这个多处理器系统的拓扑结构如何，对这个处理器同络中的任意一个处理器来说．在每一个时间步只能接收和发送器之问都要进行数据交换．收稿日期-1998—12—09作者筒舟，孙亚军，男，博士．主要研究领域：计算机同络安全性，人工神经网络的软件并行宴现，宴时操作系境设计技术-■磊，

7、男，博士虞苏邦，男．教授，博士生导师．长期从事非线性电路和人工神经网络研究．维普资讯http://www.cqvip.com1期孙亚军等：人工神经网络在多处理器系统上并行实现的通信开销l7g个分区(假定每个处理器有g个双向通信链路)．从而，对有l-I。／2(1)n个处理器的多处理器系统．在处理器阿络中传送所有数据因为到P的扇^连接是独立分布的．从而P中一指定将需要(1)／g单元时间步．结论是：对全连接神经网络，优节点与中任意节点都投有连接的概率是：化处理器网络的拓扑结构最多能以恒定系数g减少数据传送(1-f。／z(2

8、)时间．这个结果适用于任何多处理器系统，只要在系统中，处理器通过固定数目的并行链路连接通信，并且在每一时间步，现在，如果让分区变得非常大我们得到：通过每一个链路可以交换固定量的数据(相反的情况是一个Jim(1一f。／z)=e(3)面向总线的多处理器系统)．从而．对有最优化拓扑结构的多处理器系统．数据传送时间将比线型拓扑快g倍．结论是：如果分区和