资源描述：
《m-p神经元模型的几何意义及其应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第9卷第5期软件学报Vol.9,No.51998年5月JOURNALOFSOFTWAREMay1998XM-P神经元模型的几何意义及其应用1,32,3张铃张钹1(安徽大学人工智能研究所合肥230039)2(清华大学计算机科学与技术系北京100084)3(清华大学智能技术与系统国家重点实验室北京100084)摘要给出M2P神经元模型的几何意义,这个几何的铨释,给神经元一个非常直观的理解,利用这个直观的理解,给出两个颇为有趣的应用:(1)用此法给出三层前向神经网络的学习能力的基本定理的新的证明;(2)给出前向网络的拓扑结构设计的新方法.关键词前向神经网络,领域覆盖,可测函数.中图法分类号TP181
2、人工神经元的几何意义1943年,McCulloch和Pitts根据神经元传递中的“0,1律”和神经传递中信号不但有不同的强度,而且有兴奋和[1]抑制两种情况,第1次提出了神经元的数学模型,此模型一直沿用至今,其M2P神经元的模型如下:将神经元看成是1个有n个输入和1个输出的元件,此元件的功能函数可表示为y=R(W3x-H),其中R是符号1,x>0函数,即R(x)=.现在让我们来分析一下这个模型的几何意义.-1,x≤01.1超平面表示由神经元的功能函数的定义可知,它是由两个函数复合而成的,其第1个函数为W3x-H,若令其等于零,得:W3x-H=0,这方程在n维空间中表示一个超平面P,当(W3x-
3、H)>0时,表点x落在超平面的正半空间内,此时,R(W3x-H)=1;当(W3x-H)<0时,表示点x落在P的负半空间内,此时,R(W3x-H)=-1.于是,一个M2P神经元的功能,可看成是一个由超平面划分的空间的位置的识别器.这给神经元一个相当直观的理解,人们也曾利用这个[2,3]直观的理解,来进行神经网络的学习的研究.当两三个平面时,尚可直观理解,而当n,m较大时,n维空间中m个超平面的相交情况非常复杂,很不直观.总之,我们很难用超平面的模型,帮助我们直观地理解神经网络的内在性质.故此后,很少有人再用神经元的几何意义(指用超平面的表示)来帮助进行神经网络的学习研究了.1.2球面上“领域”表
4、示几何的直观往往是研究的很好的向导,上面用超平面的方法,虽遭到失败,但是只要我们对此稍加改变,将会给我们提供新的直观帮助.W若我们限定输入向量的长度相等,即输入向量是限定在n维空间的某个球面DP上,那么这时,(W3x-H)>0,就表示球面上落在P的正半空间的部分,这个部分恰好是球面上的某个“球形领域”,若取W与x等长,则这个“球形领域”的中心恰好是·OW,其半径为:r(H)是H的单调下降的函数(如图1所示).若我们取R′(x)=1,当x>0,且取神经元的激励函数为:R′(W3x-H),则一个神经元的功能函数,0,其他正好是它所代表的球面上“球形领域”的特征函数.这样,我们就能非常直观地进行图1
5、神经网络的各种研究.X本文研究得到国家自然科学基金、国家863高科技项目基金和国家“攀登”计划基金资助.作者张铃,1937年生,教授,主要研究领域为人工智能理论,人工神经网络理论.张钹,1935年生,教授,博士导师,中国科学院院士,主要研究领域为人工智能理论,计算机应用.本文通讯联系人:张铃,合肥230039,安徽大学人工智能研究所本文1997211206收到原稿,1998202225收到修改稿©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net5期张铃等:M2
6、P神经元模型的几何意义及其应用—335—2神经网络的几何意义的应用2.1多层前馈网络(作为联想记忆器或分类器)的综合和学习[4]多层神经网络的综合学习问题是人工神经网络理论中的研究热点之一,目前用得最多的算法要算是BP算法,此算法理论基础坚实、推导严密、形式优美、物理概念清晰、应用范围广,但是BP算法也存在着学习速度慢、所得到的网络性能差、算法不完备等缺点.下面,我们从另一角度给出多层前向网络(作为联想记忆器或分类器)的综合和学习算法.ttt),ii设样本集K为:K={r=(x,yt=0,1,2,...,s},那么,所谓“记忆”,就是当输入为x时网络的输出为y,记住iiiii(其中$ix与y之
7、间的对应关系;至于“联想”,就是当输入为x+$时,其输出仍为y是噪声或微扰).有上面两种功能的网络,就可以认为是一个“联想记忆器”.iiiii另一方面,若将“当输入为x+$时,其输出仍为y”理解为:输入落在x的附近时,其输出应为y,否则其输出就iiiii不为y,若将在“x附近”看作是x的一个球形领域,那么,由神经元的几何意义,知:若取以x为中心,以$为半径的“球形领域”,则其对应的神经元,就能完成
