基于FPGA的神经网络硬件可重构的实现和研究

《基于FPGA的神经网络硬件可重构的实现和研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、0.1课题背景智能计算技术的进步总是离不开人工智能,特别是人工神经网络以下简称神经网络技术的发展。神经网络系统研究的重要意义已为许多科学家所承认,由于其信息处理机制的成功应用,实际上已成为智能信息处理的主要技术之一,是智能计算发展的一个主流方向。神经网络经历了近为多年的迅速发展,它所具备的独特知识表示结构和信息处理的原则,使其在许多应用领域取得了显著的进展,能够为解决一些传统计算机极难求解的问题提供满意的解,或者为寻求满意解提供全新的思路。神经网络是由简单的非线性处理单元分层排列所组成的大规模并行分布式网络,在知识获取与知识储存方面与人脑有着惊人的相似

2、性。并行性、模块性和自适应性是神经网络所具备的三个典型计算特性。由于可以利用的并行性和快速重构技术来适应神经网络的权值和拓扑结构,基于FPGA的可重构计算体系结构很适于实现人工神经网络。神经网络的FPGA实现自1992年的一篇关于神经网络FPGA实现的文章[1]以来取得了进步,但由于神经网络的算法比较复杂,细粒度器件的价格相对来讲比较昂贵,使得采用毛来实现大规模神经网络仍存在难题。正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织

3、大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百花气放、百家争鸣的局面已经形成。在进行神经网络的理论研究时，人们可以将自己的神经网络模型或算法在通用的串行或并行计算机上编程实现，但这只是研究的手段而绝非目的，在构造实际的神经网络应用系统时，必然要考虑到硬件实现问题，特定应用下的高性能专用神经网络硬件是神经网络研究的最终目标。为此我们基于FPGA器件进行了这方面的探索工作。0.2国内外研究状况及趋势神经网络来自人类对自己的研究，起始于19世纪末

4、20世纪初，在经历60多年的发展历史过程中，有发展到高潮阶段也经历过低潮阶段：60年代，当时有几家公司和研究机构试图用硬件来实现神经元，最为著名的便是感知机和ADALINE神经网络模型的实现。当时CornellAeronautical实验室(现在名为CALSPANCorporation)的Rosenblatt从理论上和实现上描述了感知机。ADALINE神经网络模型则是由斯坦福人学的Widrow提出的。感知机和ADALINE均为单个神经元模型，它们均能接受多路输入，并能自适应地修改与这些输入相对应的突触强度(互连权值)，然而它们在实现上有所不同。在感知机

5、中，其突触强度通过一种电子机械的方法来改变(通过一个电动马达的转动来改变突触强度)，这种实现有许多缺点，如体积大，价格高，运行不可靠等。Widrow的ADALINE实现中则用电阻的方法来表示突触强度。1965年至1980年，除AdaptronicsCorp(现为DivisionofFlowGeneralCrop)之外，其中一些研究实体在神经网络实现上没有做更多的工作。Adaptronics的LouisGilstrap和RogerBarron在1974年开发了第一块神经元芯片。这种很一般的芯片上只包含一个神经元，具有多个输入端且其互连强度可以自适应的改变

6、。要构造具有多个神经元的网络，只需将许多这种芯片在插件板上排列并互连起来就可以了。将许多这种插件板构建在一起便可满足神经网络在商业和军事上的许多应用目的。1982年美国的物理学家Hopfield发表论文，提出神经网络的一种数学模型，即Hopfield神经网络模型，并研究了它的动力学性质。两年以后，他设计出了电子线路模拟这种网络的性质，认为这种网络可以解决数学上著名的TSP问题(TravelingSalesmanProblem)。次年，美国加州理工学院和贝尔实验室合作研制成256个神经元(在四分之一平方英寸芯片上，由2.5*10^4个晶体管和1.0*10

7、^5个电阻集成)和64个可编程神经元。神经网络实现的另一种方法是在传统计算机上通过编写支持软件来模拟神经网络计算。这种软件模拟神经计算机很有代表性的是:1983年RobertHechtNielsen和ToddGutschow在TRW的AI中心所推出的MarkI及改进MarkII;1986年Zipser和Rabin所推出的P3系统:1987年Rochester大学推出的RCS;1988年Maryland大学的MIRRORS系统;国防科技大学于1990年推出的性能可与上述系统媲美的GKD-NNSS软件模拟神经计算机。为了解决软件模拟神经计算机处理速度慢的问

8、题，可以在通用机上插入神经网络加速板，形成神经计算机工作站。1985年TRW公司推出了Mark