回响状态网络及概念机网络的储备池模型优化研究

《回响状态网络及概念机网络的储备池模型优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、回响状态网络及概念机网络的储备池模型优化研究重庆大学硕士学位论文(学术学位)学生姓名：钟玲指导教师：李秀敏副教授专业：控制科学与工程学科门类：工学重庆大学自动化学院二O一六年四月TheReservoirComputingResearchforEchoStateNetworkandConceptorNetworkAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheMaster‘sDegreeofE

2、ngineeringByZhongLingSupervisedbyassociateProf.LiXiuminSpecialty:ControlScienceandEngineeringCollegeofAutomationofChongqingUniversity,Chongqing,ChinaApril2016中文摘要摘要回响状态网络（echostatenetwork,ESN）是一种典型的储备池计算（reservoircomputing,RC）模型，它将低维的输入信号映射到一个高维的状态空间，再

3、通过简单的线性回归学习算法将高维的信息转换为低维信号输出。这个高维状态空间就是储备池，它大大减小了传统人工神经网络的计算复杂度并克服其记忆消减问题。储备池作为关键的处理单元，其输入编码方式直接影响了输出层的读出精度。因此，储备池模型优化一直是该领域的一个严重热点，也出现了许多复杂网络模型。其中，皮质层多簇结构以其丰富的动态特性及其仿生性而备受关注。但网络算法中存在的随机性可能导致网络计算能力存在较大波动，且算法参数难以调节。因而需要对储备池进行进一步优化。另一方面，最新提出的概念机递归神经网络（Co

4、nceptor），它仍然采用储备池计算，且其动力学模块具有很好的可扩展性。但目前，其网络结构设计单一，仅采用传统的随机网络，且其节点耦合性较强，计算能力有限。因此，对于Conceptor网络的储备池优化设计也尤为重要。对于ESN，我们提出了两种储备池优化模型：一方面是在皮质层多簇结构的基础上，结合动态学习算法对网络进行结构调整，提出一种基于先验数据导向的多簇储备池，利用先验数据样本离线调整储备池拓扑结构，使其更为适应该类计算任务。通过Mackey-Glass预测实验发现，相较于传统随机网络和皮质层多

5、簇网络，基于先验数据导向的多簇储备池在精度上有明显提高，并且具有更高的结构复杂度和小世界特性。另一方面，在多簇结构的基础上，结合神经元的内部可塑性（intrinsicplasticity,IP）学习机制，提出基于内部可塑性的多簇储备池。分析了两种IP规则对神经元输入响应的影响，并通过NARMA序列预测实验验证其有效性。通过IP学习的多簇储备池突破了建网过程中的随机性所造成的精度瓶颈，大大提高了随机储备池和皮质层多簇储备池的预测精度，且基于李氏IP规则的多簇储备池具有更为突出的精度优势。对于Conce

6、ptor网络，通过研究复杂网络结构，提出基于洛伦兹时间序列相空间重构的复杂网络储备池，分析网络结构特性，对比该网络与随机网络、皮质层多簇网络对输入模型的重构能力，实验表明，相空间重构网络对该信号的重构计算具有更小的误差，且在改变载入模型数量的情况下，依然保持其优势。关键词：储备池计算、复杂网络、多簇、储备池I英文摘要ABSTRACTEchostatenetwork(ESN)isatypicalreservoircomputing(RC)model,mappinglowdimensionalinfor

7、mationtothehighdimensionalstatespace,andconvertinghighdimensionalinformationtolowdimensionaloutputviaasimplelinearregressionlearningalgorithm.Thestatespacewithhighdimensioniscalledreservoir,whichgreatlyreducesthecomputationalcomplexityofthetraditionala

8、rtificialneuralnetworkandovercomememorydecayproblems.Asakeyprocessingunits,theinputcodingmodeofreservoirdirectlyaffectthereadingprecisionoftheoutputlayer.Hence,reservoirmodeloptimizationisalwaysaresearchfocusinthefield.Therehavebeenmany