资源描述：
《关于改进神经网络泛化性能的若干算法分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、关于改进神经网络泛化性能的若干算法研究摘要：作为模式识别的有力工具,神经网络虽然具有强大的非线性逼近能力,但这并不能保证其同时具备理想的泛化性能.本文从模型和算法两方面出发,对神经网络进行了研究,旨在提高其泛化性能.具体内容如下.1.基于二维前馈神经网络(2D-FNNs)的梯度下降学习算法.由于传统前馈神经网络(FNNs)是基于向量输入的,而许多数据是以矩阵的形式呈现的,因此在运用FNN之间这些矩阵数据必须被分解成向量的形式.这样转化的缺点是导致原始矩阵数据中元素之间相关性信息的丢失.不同于传统基于向量
2、输入的FNNs,我们提出了一个新的算法来训练2D-FNNs用于图像识别,名为二维反向传播算法(2D-BP),即采用梯度下降学习该网络中所有权值.这样的网络模型保留了原始二维输入特征的结构,有利于图像识别.在手写体字符和人脸数据库上的实验结果验证了该算法的有效性.2.基于二维随机权网络(2D-NNRW)的负相关集成学习算法.2D-NNRW基于单隐层2D-FNN,随机选定隐层左右投影权值和偏置值,只学习线性权值.该算法作为NNRW的扩展,虽然也简化减少了2D-FNN的训练,但它同样需要足够多的隐层节点数作为
3、保障,这也容易导致过拟合现象.而当网络比较紧致时,它只是弱分类器,而集成学习可以弥补2D-NNRW的这一缺陷.作为最有效的集成算法之一,负相关学习(NCL)通过控制基模型之间的差异性,来产生具有更好泛化性能的集成模型.因此,我们结合NCL和2D-NNRW,提出了去相关二维随机权网络集成算法(DNNE2D-NNRW).实验结果表明,该方法在人脸识别上,相比于其他相关算法,更有效地提高了模型的泛化性能.3.基于随机局部线性模型(RLLMs)的负相关集成学习(NCL)算法.作为一种高效的集成学习框架,NCL不
4、仅仅适用于传统前馈神经网络.这里我们还可以采用一类特殊的FNNs名叫RLLMS作为基模型,并结合NCL来生成新的集成神经网络,进而提出了DNNERLLM集成算法.其中的RLLMs同样结合了随机的思想,即随机选定网络中的非线性权值,采用负相关学习策略来调整线性自由参数,最后的优化可以转化为求解一个线性方程组的形式.该方法主要用于动力系统时间序列的预测.实验结果表明,该算法优于其他相关算法.关键词:前馈神经网络;随机权网络;集成学习;图像识别;泛化性能分类号:TP391IAstudyonsomealgori
5、thmsforimprovingthegeneralizationcapabilityofneuralnetworksAbstract：Asapowerfultoolforpatternrecognition,artificialneuralnetworkshavestrongnonlinearapproximationcapability,butitcannotguaranteewellgeneralizedperformances.Inthisdissertation,westudytheneura
6、lnetworksfromboththenetworkmodelsandthelearningalgorithms,aimingatimprovingtheirgeneralizationcapabilities.Themaincontentsareasfollows.1.Learningtwo-dimensionalfeedforwardneuralnetworks(2D-FNNs)usinggradientdescent.SincetheinputtoTraditionalFNNsareusuall
7、yvectors,andmanydataareusuallypresentedintheformofmatrices,thematriceshavetobedecomposedintovectorsbeforeFNNsareemployed.Adrawbacktothisapproachisthatimportantinformationregardingcorre-lationsofelementswithintheoriginalmatricesarelost.Unliketraditionalve
8、ctorinputbasedFNNs,anewalgorithmofextendedFNNwithmatrixinputs,calledtwo-dimensionalback-propagation(2D-BP),isproposedinthispapertoclassifymatrixdatadirectly,whichutilizesthetechniqueofincrementalgradientdescenttofullytrain
