ens 回声状态网络

《ens 回声状态网络》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、回声状态网络EchoStateNetwork第八组第一章：绪论人工神经网络（ArtificialNeuralNetwork）是由大量处理单元互联组成的非线性、自适应信息处理系统。人工神经网络按照性能分为两类：（1）静态神经网络StaticNeuralNetwork（2）动态神经网络RecurrentNeuralNetwork其中，动态神经网络又称为递归神经网络（1）静态神经网络静态神经网络由静态神经元组成，如下图：其中，x1，x2，……，xn为神经元输入，ω1，ω2，……ωn为相应的权值，θi表示神经元的闽值，σ(…)是神经元的响应函数

2、。（1）静态神经网络上述静态神经网络的数学关系式满足：常规的前向神经网络、RBF神经网络、Chbeyshve神经网络等都属于静态神经网络。（2）动态神经网络动态神经网络，又称递归神经网络，由动态神经元组成，是针对动态系统辨识研究中发展出来的一种神经网络。结构如图所示：（2）动态神经网络输入输出关系满足：Hopfied网络、Elman网络、状态空间网络是应用较为广泛的动态神经网络。网络内部存在带延迟因子的反馈连接，可以更好的反映动态系统的特性和演化行为。其中，回声状态网络（EchostatenetworkESN）是一种新型的递归神经网络，

3、回声状态网络在非线性系统辨识方面较传统的递归神经网络由较大的改进。（3）小结：两种网络对比静态网络数学表达式：动态网络数学表达式：对比表达式，我们可以看出：动态网络内部存在带延迟因子的反馈连接，可以更好的反映动态系统的特性和演化行为。而静态网络没有这种能力。第二章：回声状态网络回声状态状态网络作为一种新型的递归神经网络，无论是建模还是学习算法，都已经与传统的递归神经网络差别很大。ESN网络特点：（1）它的核心结构是一个随机生成、且保持不变的储备池（Reservoir）（2）其输出权值是唯一需要调整的部分（3）简单的线性回归就可完成网络的

4、训练（1）ESN直观印象（2）ESN的结构和运行机理ESN网络的核心结构是一个“储备池”。所谓的储备池就是随机生成的、大规模的、稀疏连接（SD通常保持1%~5%连接）的递归结构。注：SD是储备池中相互连接的神经元占总的神经元N的百分比（2）ESN的结构和运行机理从结构上讲，ESN是一种特殊类型的递归神经网络，其基本思想:使用大规模随机连接的递归网络，取代经典神经网络中的中间层，从而简化网络的训练过程。基于图2.1的结构，我们假设系统具有M个输入单元，N个内部处理单元（ProcessingElements，PE），即N个内部神经元，同时具

5、有L个输出单元。（2）ESN的结构和运行机理那么输入单元u（n）内部状态x（n）以及输出单元y（n）在n时刻值分别为：（2）ESN的结构和运行机理则回声状态网络状态方程为：（2）ESN的结构和运行机理（3）ESN的储备池虽然有大量的研究是关于如何获得与具体问题相关的“好”的储备池，但是并没有形成一个系统的方法，多数研究是从实验的角度进行的。这也是目前ESN方法遇到的最大的挑战。ESN的最终性能是由储备池的各个参数决定的，下面首先简要介绍储备池的四个关键参数。（3）ESN的储备池重要参数简介（3.1）储备池内部连接权谱半径SR（3.2）储

6、备池规模N（3.3）储备池输入单元尺度IS（3.4）储备池稀疏程度SD（3.1）储备池重要参数——SD和N（3.2）储备池重要参数—SR（3.2）储备池重要参数——SR我们确保上式子成立的目的：确保网络稳定。因为只有上式子成立，才能确保网络状态和输入对网络的影响在经过足够长的时间后会消失。（3.3）储备池重要参数—IS（3.3）储备池重要参数—IS关于IS的规则：如果需要处理的任务的非线性越强，那么输人单元尺度越大。该原则的本质是通过输入单元尺度IS，将输入变换到神经元激活函数funtion相应的范围。注：神经元激活函数的不同输入范围，

7、其非线性程度不同。（4）ESN的储备池的建立（4）ESN的储备池的建立（5）ESN网络的训练ESN的训练过程就是根据给定的训练样本确定系数输出连接权矩阵Wout的过程。为了简单起见，这里假定Wback为0，同时输入到输出以及输出到输出连接权也假定为0，回声状态网络的训练过程可以分为两个阶段：采样阶段和权值计算阶段。（5）ESN网络的训练采样阶段（5）ESN网络的训练权值计算阶段（5）ESN网络的训练权值计算阶段第三章回声状态网络的应用回声状态网络主要应用领域：时序预测（timeseriesprediction）逆模式（inversemo

8、deling）时序分类（ontimeclasification）非线性控制（nonlinercontrol）图像处理（ImageProcessing）本章中我们着重介绍回声状态网络在图像边缘检测中的应用。基