基于elm跨越前馈神经网络和其应用探究

《基于elm跨越前馈神经网络和其应用探究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于ELM跨越前馈神经网络和其应用探究　　摘要：针对基于ELM学习算法的单隐含层前馈神经网络需要较大的网络规模、影响网络泛化能力的问题，基于新皮层内神经元的连接特点，在前馈神经网络中引入不同层神经元之间的跨越连接，构造跨越前馈神经网络。同时，基于ELM学习算法设计适用于跨越前馈神经网络的学习算法，提高网络的学习能力。ImageSegmentation多分类问题及直线一级倒立摆系统控制的实验研究表明，该方法能够提高网络的学习能力，具有明显的优势。关键词：神经网络；跨越连接；极速学习机；倒立摆系统中图分类号：TN711?34；TP183文献标识码：A文

2、章编号：1004?373X（2013）15?0108?04SpanfeedforwardneuralnetworkbasedonELManditsapplicationSHIHong?wei，YANGMing?hong（BeijingChinaCoalMineEngineeringCo.，Ltd.，Beijing100013，China）Abstract：Thesingle?hiddenlayerfeedforwardneuralnetwork（SLFN）basedonELMneedslarger?scalenetworkstructuretoso

3、lvepracticalapplications，12whichwillinfluencethegeneralizationcapability.Inordertosolvetheproblem，aspanfeedforwardneuralnetwork（SFN）isproposedbasedonthecharacteristicofneocortexneurons.Thespanconnectionsbetweenanytwonon?adjacentlayerswereintroducedintothisnetwork.Atthesametime

4、，animprovedlearningalgorithmbasedonELMispresented，theproposedapproachofspanfeedforwardneuralnetworkandimprovedELMlearningalgorithmisusedforsomebenchmarkproblems.ThestudyonImageSegmentationmulti?classificationproblemandlinear1?stageinvertedpendulumsystemcontrolshowthatthepropos

5、edapproachperformsbetterthanSLFNandELM，anditcouldimprovethelearningabilityofthenerwork.Keywords：neuralnetwork；spanconnection；extremelearningmachine；invertedpendulumsystem0引言人工神经网络是对生物神经网络结构和功能的一种模拟，主要包含网络结构和学习算法两个部分。单隐含层前馈网络（Single?hiddenLayerFeedforwardNeural12Network，SLFN）由于

6、其通用逼近能力及其简单的结构，在理论研究和实际应用领域均得到了广泛的关注[1?3]。为了提高网络的学习速度及性能，涌现出了大量的学习方法。其中，Huang等人提出的ELM（ExtremeLearningMachine）[4?5]学习算法采用一次学习的思想实现SLFN参数的学习，并在其他类型的网络中得到了应用和推广。该方法无需梯度下降的迭代调整，而是在输入层到隐含层权值随机赋值的基础上通过一步计算解析出网络的输出权值，提高了网络的学习速度。然而，此方法要求网络结构达到一定规模时才能充分发挥优势，而过大的网络规模则影响网络泛化能力的提高。1SLFN及E

7、LM基础知识具有多入多出的单隐含层前馈神经网络SLFN的结构如图1所示，由输入层、隐含层和输出层组成，其中不同层内的神经元通过权值进行前馈连接，同层内的神经元无连接。定义隐含层神经元的激活函数为[f（·），]而输入神经元和输出神经元为线性的，因此，SLFN的系统输出为：[y=k=1mωkj?oj-θ1=k=1mωkj?fi=1nωji?xi-θ1]（1）12式中：[θ1]表示隐含层的偏差神经元；[i][∈][[1，n]]表示输入神经元，[j][∈][[1，h]]表示隐含层神经元，[k][∈][[1，m]]表示输出神经元；[ωij]和[ωkj]分别表

8、示输入神经元[i]到隐含层神经元[j]以及隐含层神经元[j]到输出神经元[k]之间的连接权值；[oj]表示隐含层神经元[j