RNN神经元原理

《RNN神经元原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、RNN神经元原理表述：①输入u(t),...,u(t)和y(t),...,y(t)1q1l②网络权值和阈值w,...,w和m,...,mi,1i,qi,1i,l③求和单元xi(t1)milyl(t)wiquq(t)ilq④传递函数f()⑤输出y(t1)f(x(t1))iiRNN原理概述：递归神经网络（RecurrentNeuralNetworks，RNNs）是一种具有反馈结构的神经网络，其输出不但与当前输入和网络的权值有关，而且与之前网络的输入有关，侧重其学习或训练的问题。其结构形式主要分为全局递归神经网络（FullyRecurrentNNs）、局部递归神经网络

2、（LocallyRecurrentNNs）离散全局递归神经网络：Hopfiled网络连续外部时延网络：Jordan网络局部递归神经网络内部时延网络：Elman网络RNN模型组成：在RNN中，多个神经元互连以组成一个互连神经网络，如下图所示。神经元的输出被反馈至同层或前层神经元。Elman网络和Hopfield神经网络是反馈网络中最有代表性的例子。(1)全局递归神经网络（FRRN）Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对于离散型Hopfield神经网络）或微分方程（对于连续型Hopfield神经网络）来描述。系统的稳定性可用所谓的“能量

3、函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断地减小，最后趋于稳定的平衡状态。①离散的Hopfiled网络其网络结构与工作方式x1x2…xi…xnT1T2…Ti…Tn(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。所有神经元状态的集合就构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为：xf(net)jjj=1,2,…,nDHNN网的

4、转移函数常采用符号函数1net0jxjsgn（netj）j=1,2,…,n1net0j式中净输入为nnetj(wijxiTj)j=1,2,…,ni1对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为：limX(t)t(2)网络的异步工作方式网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即sgn[netj(t)]jixj(t1)x(t)jij（3)网络的同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即x(t1)

5、sgn[net(t)]jjj=1,2,…,n图1.1Hopfiled网络与BP网络的简单比较如下：BP网络Hopfield网络网络连接形式不含反馈连接包含反馈连接输出输入关系简单映射关系，不考虑滞后效要考虑输出输入间的延迟，要用差应分或微分方程描述学习算法BP算法，收敛慢Hebb规则，收敛快应用（功能）分类、联想分类、联想、优化计算稳定性理论分析简单分析复杂缺点只适用于有监督的学习难于分析和训练图1.2（2）局部递归神经网络（LRNN）对多层感知器引入反馈连接。结构特点以前传为主，同时又包含一组反馈连接。反馈连接由一组联系单元构成，它记忆网络过去的状态，并在下一时刻连同网络输入一起作

6、为隐含层的输入，规定了网络内部状态和记忆形式，使其输出不仅依赖于当前的输入，也与过去的输出有关，使其具有动态的记忆功能。RNN分布式训练框架描述（）所面临的问题：①如何提高训练精度和速度？②如何处理时滞？定常时滞、时变时滞、分布式的时滞现有的解决方法：引入惩罚项、动量项到递归神经网络