资源描述：
《广义同余神经网络及BP神经网络的比较研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第25卷第2期计算机应用研究Vol.25No.22008年2月ApplicationResearchofComputersFeb.2008*广义同余神经网络及BP神经网络的比较研究1112鄢田云,邹书蓉,余贞侠,刘培培(1.成都信息工程学院计算机系,成都610225;2.西南交通大学信息科学与技术学院,成都610031)摘要:从神经网络的结构、激励函数、权值调整算法等方面对三种广义同余神经网络(generalizedcongruenceneuralnetwork,GCNN)及传统BP神经网络(backpropagati
2、onneuralnetwork,BPNN)的异同点进行了比较和研究。通过对正弦函数的逼近性能比较,表明最新改进的第三种GCNN既继承了前两种GCNN收敛速度快的优点,又具有传统BPNN稳定性好的优点;既克服了前两种GCNN不稳定性的缺点,又克服了传统BPNN收敛速度慢的缺点。采用分段线性激励函数有利于GCNN的推广应用。关键词:神经网络;广义同余;反向传播中图分类号:TP11文献标志码:A文章编号:1001-3695(2008)02-0408-03StudyoncomparisonforGCNNsandBPNN1112
3、YANTian-yun,ZOUShu-rong,YUZhen-xia,LIUPei-pei(1.Dept.ofComputer,ChengduUniversityofInformationTechnology,Chengdu610225,China;2.SchoolofInformationScience&Technolo-gy,SouthwestJiaotongUniversity,Chengdu610031,China)Abstract:Thispapercomparedthedifferenceandsimila
4、rityforthreetypesofGCNNandBPNNinneuralnetworks’struc-ture,activationfunction,weightadjustmentalgorithm,etc.Thecomparisonsforapproximationperformancetosinefunctionshowthatthe3rdimprovedGCNN(GCNN3)inheritsfastconvergentspeedintheprevioustwoGCNNs,andisasgoodasBPNNi
5、nstability.GCNN3overcomestheinstabilityshortageoftheprevioustwoGCNNs,andovercomestheslowconvergenceshortageofBPNN.PiecewiselinearactivationfunctioninGCNNwillinfavorofitsexpandingapplications.Keywords:neuralnetwork;generalizedcongruence;BP[7]NN)。0引言通过正弦函数的逼近仿真,本文
6、分析比较了三种广义同余神经网络和BP神经网络的性能:GCNN1和GCNN2表现出明传统的BP神经网络采用指数型Sigmoid激励函数,因此收敛速度慢、学习时间长[1]。文献[1～3]于1998年提出了一显的不稳定性;GCNN3的稳定性能和逼近效果等可与BPNN种广义同余神经网络,其主要特点就是用广义同余函数代替传媲美,而且前者的收敛速度要比后者快得多。统神经网络的激励函数,加快神经网络的收敛速度。本文称之1三种广义同余神经网络及BPNN的异同点为第一种广义同余神经网络(GCNN1)。但是GCNN1的同余函数为锯齿形,具
7、有明显的跃变,一旦神经网络的节点输入落1.1神经网络结构的比较入跃变点,就会有明显的振荡,这种振荡会周期性地发生,最终由文献[1～4]可知,三层GCNN1和GCNN2的隐含层节可能导致网络不收敛;而且GCNN1反向分配误差调整权值的点和输出层节点都有模数,确定输出层节点模数时要使其大于算法,使权值的变动范围无法控制,也可能导致网络不收敛。神经网络的所有期望输出。其网络结构如图1(a)所示。三层文献[4]于2001年提出一种改进的广义同余神经网络,本文GCNN3只有隐含层节点有模数,输出层节点为线性求和器。称之为第二种广
8、义同余神经网络(GCNN2)。GCNN2采用等腰在神经网络所有期望输出无法预知的情况下,线性求和器避免三角函数替代锯齿形函数,消除了跃变点,保证了同余变化过了考虑输出节点模数取值问题。其网络结构如图1(b)所示。程的连续性;其反向分配误差调整权值的过程采取了求模运仅从网络结构来看,GCNN1和GCNN2是相同的;GCNN3的输算,
