混沌时间序列预测与储备池机器学习方法研究

《混沌时间序列预测与储备池机器学习方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大连理工大学博士学位论文摘要混沌理论是现代科学技术中的一朵奇葩，它揭示了复杂系统的内在运行规律。复杂系统常呈现出高度的非线性和初始状态敏感性，初始条件的细微差异也会导致截然不同的系统运行状态。然而这些纷纭杂沓的自然现象都遵循着某种潜在的运行规律，它就是混沌理论所揭示的有序性和确定性。二十余年间，国内外学者着力于混沌时间序列的预测问题研究，其成果颇丰。然而，现存方法大多停留于理论，而忽略实际观测过程中的不确定性，与此同时，预测模型的提取缺乏有效的非线性处理机制，泛化性能及鲁棒性能也存在诸多问题。作为一种针对动态系统的机器学习方法，储备池在混沌时间序列的预测问题中性能卓越；近年来，国内外学者对储备

2、池的预测机制展开研究，但某些性质仍无法较好地解释。基于此，本文以混沌时间序列的储备池预测方法为题进行研究，以期探索储备池的非线性处理机制，另觅新的机器学习方法，主要研究内容包括：1、分析和建立混沌时间序列的储备池预测模型。对于一些确定性混沌序列，基于储备池的迭代预测方法性能卓越，但其结构设置缺乏合理解释，而且到目前为止，这种方法较好地应用于含噪声的混沌时间序列。针对这些问题，本文首先证明此类模型对非线性系统状态轨迹的逼近特性，并探讨初始状态设置的任意性。其次，本文将储备池模型分为三类：常规状态反馈结构、输出反馈结构和前馈(静态)结构，而著名的迭代预测方法则可由输出反馈结构加以分析。通过进一步对

3、比这三类结构，本文提出了基于储备池的混沌序列直接预测方法，该方法利用预测原点和预测时域之间的关系直接构建预测器。相对于已有的迭代方法，本文所建直接预测器的稳定性可预先加以保障，遂避免由于网络附加回路闭合而产生的稳定性和误差积累问题。2、提出储备池正则化学习方法。在现有的储备池学习方法中，存在较为严重的不适定性，表现为奇异值分布较连续、条件数较大，得到的输出权值幅值较大，从而为储备池的应用埋下了隐患。针对这个问题，本文提出储备池的正则化学习方法。该方法可通过奇异值截断或惩罚方法实现，其中，截断方法直接处理病态的系数矩阵，通过矩阵的奇异值截断，舍弃较小的奇异值以解决不适定问题；惩罚方法则采用岭回归

4、形式，改善待因子化矩阵的性质，使其对称正定，因而可通过高效的Cholesky或高斯消元法进行求解。此外，本文还探讨了正则化方法应用于含噪声混沌序列预测的理论问题。假设时间序列所含的噪声有界，从变量含误差(Errors．in-variables)模型的角度，可得到由噪声所引起的最坏预测误差。通过最小化该误差，便得到含噪混沌序列的鲁棒最优预测模型，该模型具有惩罚正则化的形式。3、基于储备池方法，提出无核非线性支持向量机模型。传统的核方法实现了一种静态映射，但较难实现递归结构，因此无法直接处理动态模式。储备池具有“递归混沌时间序列预测与储备池机器学习方法研究核”的功能，并可较好地应用于动态系统辨识。

5、基于此，本文结合储备池的特点和传统支持向量机的处理方法，提出一种不依赖核的非线性支持向量机一支持向量回声状态机(SupportVectorEcho-StateMachines，SVESMs)。SVESMs的主要特点是不依赖核方法构建隐式的特征空间，它采用随机生成的储备池来处理非线性系统建模问题，在高维的储备池状态空间中进行计算。这种方法便于实现结构风险最小化(StructuralRiskMinimization)，并可根据问题的不同引入不同的代价函数，当采用鲁棒损失函数时，SVESMs可处理包含异常点的预测问题。SvESMs可工作在递归模式和前馈模式。相对于传统递归神经网络，工作在递归模式的S

6、ⅦSMs易于训练，不存在局部最小点问题，且预测器精度高、泛化能力强；此外，工作在前馈模式的SⅦSMs可应用于静态模式识别问题，它具有与传统支持向量机类似的超参数和容量控制方法，但形式上与传统的前馈网络相同，从而建立起神经网络和支持向量机之间的内在联系。关键词：储备池方法；非线·性系统；混沌系统；支持向量机；核方法大连理工大学博士学位论文ResearchonChaoticTimeSeriesPredictionandReservoirMachineLearningMethodAbstractChaostheoryservesanimportantpartinmodernscienceandtec

7、hnology，whichrevealstheinherentlawsgoverningcomplexsystem．Acomplexsystemisanonlinearchaoticsystem，whichexhibitsthesensitivedependenceontheinitialconditions．Twosuchsystemswithhoweversmalladifferenceint