增量机器学习算法研究——基于模糊神经网络的增量学习

《增量机器学习算法研究——基于模糊神经网络的增量学习》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、博士学位论文增量机器学习算法研究——基于模糊神经网络的增量学习作者：胡蓉指导教师：徐蔚鸿教授南京理工大学2013年1月Ph．D．DissertationSTUDYONTHEINCREMENTALMACHINELEARNINGALGoRITHMS——{NCREMENTALLEARNINGBASEDONTHEFUZZYNEURALNETWORKByRongHuSupervisedbyP1^oj．WeihongXuNanjingUniversityofScience&TechnologyJanuary,2013声明本学位论文是我在导师的指导下取得的研究成果，尽我

2、所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。研究生签名：翊差纱1乡年f月，6日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对：于保密论文，按保密的有关规定和程序处理。研究生签名：镌伽哆年f月，毛曰博士论文增量机器学习算法研究——基于模糊神经网

3、络的增量学习摘要随着网络的发展，许多应用领域获取新的数据变得很容易。但是对于传统的批量学习技术来说，如何从日益增加的新数据中得到有用信息是一个难题。随着数据规模的不断增加，对时间和空间的需求也会迅速增加，最终会导致学习的速度赶不上数据更新的速度。机器学习是一个解决此问题的有效方法。然而传统的机器学习是批量学习方式，需要在进行学习之前，准备好所有的数据。为了能满足在线学习的需求，需要抛弃以前的学习结果，重新训练和学习，这对时间和空间的需求都很高，因此，迫切需要研究增量学习方法，可以渐进的进行知识更新，且能修正和加强以前的知识，使得更新后的知识能适应新增加的数

4、据。本文分别对奇异值分解和模糊神经网络的增量学习进行了深入地研究和探讨，主要工作及贡献如下：1．提出无协方差的增量奇异值分解传统的奇异值分解(SingularValueDecomposition：SVD)采用批量计算方法，需要在计算之前将所有数据准备好，因此无法满足在线处理需求。本文提出了一种无协方差奇异值分解(CandidCovarianceIncrementalSingularValueDecomposition．CCISVD)方法。该方法通过当前样本估计样本协方差阵，提出了从顺序到达的样本中增量求取协方差阵的第一个特征向量的方法，从而避免了样本协方差

5、阵的求解，从理论和直观上分析了该方法的可行性。在求解其他特征值的过程中，从当前估计的特征向量的补空间中寻找样本，从而始终保证了求取的特征向量的正交性，节约了时间和空间成本。2．提出免修剪连续增量学习模糊神经网络模型模糊神经网络的结构识别很耗时。为了避免产生冗余规则，通过把修剪策略引入模糊规则的增加过程来提高学习效率，本文提出一种免修剪增量连续学习算法，利用误差下降率，来定义规则对系统的输出贡献，作为规则的增长标准，从而在规则的增长过程中避免产生冗余规则。同时，由于计算规则对系统的输出贡献是根据当前输入数据，从而实现了增量学习。3．提出优化修剪的增量极速学习

6、模糊神经网络算法ELM(ExtremeLearningMachine)是为训练单层前馈人工神经网络(SingularLayerFuzzyNeural，SLFNs)的一个简单而有效的学习算法，该网络的神经元随机产生。理论和实验都表明ELM准确而快速。为了能实现在线增量学习，本文对ELM进行了扩展。该算法中，模糊规则的前件参数和初始规则数量随机产生，然后使用SVD对规则按照重要性排序，通过留一法(Leave．One．Out：LOO)选择出最佳的模糊规则数，最后模糊规则的后件参数通过基于风险最小化分析计算得出。仿真实验结果表明，与其他算法相摘要博士论文比有较好的

7、鲁棒性，在准确率和计算速度上都具有优势。4．提出基于规则影响的自适应增量模糊神经网络模型在模糊神经网络中，一个模糊规则可能初始时比较活跃，之后慢慢变得对系统的贡献很小。本文提出一种基于规则影响的增量学>-3模糊神经网络(SelfAdaptiveIncrementalLearning-FuzzyNeuralNetwork)，引入模糊规则影响的概念，基于当前数据计算模糊规则对系统输出的影响，作为模糊规则增长或删除的标准。并且将规则的增长标准同系统的准确性联系起来，只有该模糊规则对系统的贡献值大于某个阈值，才考虑增加一条新规则，同时还检测已有规则库中规则对系统的

8、影响值，如果低于某个阈值，说明该规则已经变得不再活跃，则删除该规则