资源描述：
《神经网络极速学习方法研究(》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、邓万宇等:神经网络极速学习方法研究9神经网络极速学习方法研究*SupportedbytheNationalScienceFoundationofChinaunderGrantNo.60825202,60803079,60633020(国家自然科学基金);theNationalHigh-TechR&DProgramofChinaunderGrantNo.2008AA01Z131(国家高技术研究发展项目);theNationalKeyTechnologiesR&DProgramofChinaunderGrantNos.2006BAK11B02,2006BAJ07B06(国家科
2、技支撑计划项目);theScienceResearchPlanofShaanxiProvincialDepartmentofEducationunderGrantNos.09JK717(陕西省教育厅科学研究计划项目)作者简介:邓万宇(1979－),男,河南滑县人,在读博士,讲师,主要研究领域为机器学习,协作过滤,个性化服务;郑庆华(1969－),男,博士,教授,主要研究领域智能化学习理论;陈琳(1977－),女,硕士,讲师,主要研究领域为机器学习,协作过滤,个性化服务.邓万宇1),郑庆华2)+,陈琳3)1)，2)(西安交通大学电信学院计算机系智能网络与网络安全教育部重点实
3、验室,陕西西安710049)1)，3)(西安邮电学院计算机系,陕西西安710061)摘要:单隐藏层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用，但传统学习方法的速度远远不能满足实际的需要，成为制约其发展的主要瓶颈。产生这种情况的两个主要原因是：（1）传统的误差反向传播方法(backpropagation，BP)主要基于梯度下降的思想，需要多次迭代；（2）网络的所有参数都需要在训练过程中迭代确定。因此算法的计算量和搜索空间很大。针对以上问题，借鉴ELM的
4、一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM)，避免了多次迭代和局部最小值，具有良好的泛化性、鲁棒性与可控性。实验表明RELM综合性能优于ELM、BP和SVM。关键词:极速学习机；正则极速学习机；支持向量机；结构风险；神经网络；最小二乘中图法分类号:TP18 文献标识码:A1引言单隐藏层前馈神经网络(SLFN：Single-hiddenLayerFeedforwardNeuralNetwork)之所以能够在很多领域得到广泛应用，是因为它有很多优点：（1）具有很强的学习能力，能够逼近复杂非线性函数；（2）能够解决传统参数方法无法解决的问题。但另一方面
5、缺乏快速学习方法，也使其很多时候无法满足实际需要。对于SLFN的学习能力，很多文献分别从紧集(compactinputsets)和有限集(infiniteinputsets)两种输入情况进行了深入研究。Hornik研究表明：如果激励函数连续、有界且不是常量函数，那么SLFN能够在紧集情况下逼近任何连续函数[1]；Leshno在Hornik基础的进一步研究表明：使用非多项式激励函数的SLFN能够逼近任何连续函数[2]。在实际应用中，神经网络的输入往往是有限集，对于有限集情况下SLFN的学习能力，Huang和Babri等进行了研究，结果表明：对于含有N个不同实例的有限集，一个
6、具有非线性激励函数的SLFN最多只需N个隐藏层结点，就可以无误差的逼近这N个实例[3][4]。这就是说，一个具有N个隐藏层结点的SLFN，即使输入权值随机取值，它也能够准确拟合N个不同的实例，更明确的讲就是：SLFN的学习能力只和隐藏层结点的数目有关，而和输入层的权值无关。虽然这一点对于提出一种新的学习算法很有启发，但并未引起研究者的注意，迭代调整的思想一直坚持到现在，很多算法都只是围绕这一思想进行技巧性的改进。不同于传统的学习方法，Huang基于以上研究结论为SLFN提出了一种称为极速学习机(ExtremeLearningMachine，ELM)的学习方法[5]：设置合
7、适的隐藏层结点数，为输入权和隐藏层偏差进行随机赋值，然后输出层权值然通过最小二乘法得到。整个过程一次完成，无需迭代，与BP相比速度显著提高(通常10倍以上)。9邓万宇等:神经网络极速学习方法研究9但是ELM基于经验风险最小化原理，这可能会导致过度拟合问题[6]。此外因为ELM不考虑误差的权重，当数据集中存在离群点时，它的性能将会受到严重影响[7]。为了克服这些缺点，我们结合结构风险最小化理论以及加权最小二乘方法对ELM算法进行改进，使得ELM在保持“快速”这一优势的前提下，泛化性能得到进一步的提高。1SLFN的统一模型对于个不
