基于人工神经网络的赤潮预测方法研究【文献综述】

《基于人工神经网络的赤潮预测方法研究【文献综述】》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

毕业论文文献综述计算机科学与技术基于人工神经网络的赤潮预测方法研究引言：近年来，赤潮发生的频率越来越高，对海洋渔业、海水养殖业和滨海旅游业等均造成了一定的危害，经济损失严重。因此，弄清楚赤潮发生的机理并对其进行准确地预报，对预防赤潮的发生以及减少赤潮灾害带来的损失至关重要。鉴于赤潮突发性和复杂性和对其机理的认识，目前常用的预测方法主要依据赤潮影响因子的变化判断其是否发生，它是一个模式识别过程。由于生态系统各因子之间表现出高度的非线性和不确定性，传统的预测方法有效的很少。人工神经网络具有较好的处理非线性模式识别特性，它独特的信息处理和解算能力对机制尚不明确的高维非线性系统具有很好的建模能力。目前神经网络在生态系统模拟、生态数据处理以及要干生态参数的提取方面等方面得到广泛应用[1，2]。本文介绍一种常见的神经网络算法网络，即BP（BackPropagation）网络，以及它在赤潮预测中的应用。1赤潮及赤潮的预测研究1.1赤潮赤潮(redtide)也称红潮，通常是指一些海洋微藻、原生动物或细菌在水体中过度繁殖或聚集而令海水变色的现象，藻华(algalbloom)有时称水华或藻花，是指水体中藻类大量繁殖的一种现象，习惯上将水体中藻类达到一定密度后的藻华称作赤潮[3]。自20世纪70年代有比较齐全的赤潮资料以来，我国赤潮发生主要有以下趋势：赤潮的发生以每10年3倍的速度不断上升；赤潮的规模不断扩大；危害程度增加。 有害赤潮是一种有多种因素综合作用引起的生态异常现象，人们至今还没有对其发生机理有完整、统一的认识，而且赤潮生物的繁殖与其影响因子之间具有高度的复杂性和非线性，从而很难采用传统的偏微分方程对其规律进描述。在这种情况下，以数据挖掘技术为主的数据驱动模型就开始显示出其优势。其中，人工神经网络ANN(ArtificialNeuralNetwork)的应用最为广泛，尤其是在寻求和建立信号输入和输出方面，具有许多其他方法所不具有的优势，并在实际应用中取得了很好的效果[4]。1.2赤潮的预测赤潮是一种由多因素综合作用引发的生态异常现象，具有突发性及非线性等特点，并且赤潮生物种类繁多，不同海域发生赤潮的主要影响因子又不尽相同，因此，对其进行成功预测并进行有效的预防减灾已成为社会迫切需要[5]。国内外学者从不同角度开展了赤潮预测的研究，并提出了众多的赤潮预测方法。近几年随着计算机软件技术、人工智能以及生物技术的迅猛发展，人们开始探索将其应用与赤潮的预测。20世纪90年代，RECKNAGEL[6]将ANN(Artificialneuralnetworks)运用于蓝-绿藻的种类丰度和演替预测研究，结果证明，ANN浮游植物模型具有较好的预测潜力，并促进了ANN在水华、赤潮方面的研究。WILSON和RECKNAGEL[7]与KUDELA和COCHLAN[8]虽然将ANN应用于赤潮预测计算中，但未在网络结构的优化方面做工作，而国内的一些学者则在这一方面作了大量的工作。蔡如钰[9]、董婧等[10]、吴京洪[11]谢中华和晏丽红[12]等在人工神经网络对赤潮进行预测方面做出了巨大贡献。上述研究初步表明，ANN用于赤潮生物生长的研究是一种行之有效的新途径，与传统统计模型相比有一定的优越性，与传统统计模型相比，人工神经网络方法不要求监测数据具有很强的规律性，就可以用训练后的网络模型对其进行预测，具有一定的实用性。2人工神经网络及BP算法网络人工神经网络(ArtificialNeuralNetwork)是指由大量与自然神经系统细胞类似的人工神经元连接而形成的网络，其由应用工程技术、计算机手段模拟生物神经网络的结构和功能，实现只是并行分别处理，是一个人工智能信息处理系统，与较高的建模能力和对数据良好的拟合能力[13]。 人工神经网络模仿人脑神经的活动，力图建立脑神经活动的数学模型。近年来，只能控制作为一门新的交叉学科蓬勃兴起。人们在更高层次上寻求控制、计算机和神经生理学的新结合，以此来解决显示世界中常规控制论难以解决的一些问题。2.1神经网络国内外研究现状20世纪90年代以来，神经网络网络的应用领域迅速扩大。近百种近百种网络结构、学习算法相继出现，硬件实现的研究工作也取得了重要进展。神经网络理论的应用研究已经渗透到大量的工程领域，并取得了令人瞩目的成果。1987年6月IEEE在SanDiego召开了第一节神经网络会议，标志着神经网络研究在世界范围内形成了高潮，此后国际上每年都有以神经网络为主题的国际会议召开。随着神经网络理论研究的进展，其应用产品开发也获得了初步的成功。目前已有的神经网络应用产品有HNC公司的手写体识别，Neuralteach的专家系统设计，HNC的脑电图分析，HNC和AI-WARE的过程与机器人控制等众多产品。在举世瞩目的海湾战争中，美国空军也采用了神经网络进行决策和控制。近年来，我国在神经网络的研究方面发展规模大、速度快而且取得了不少成果。中国科学院半导体研究所神经网络组在王守觉院士的带领下，研究开发了一种适合我国神经网络研究需要的通用神经网络处理机--“预言神”神经计算机；承担的“九五”国家重点攻关“半导体神经网络技术及其应用”、“高精度双权值突出神经计算机”、“高速二值Hopfield网络神经计算机”等项目于2000年12月通过了中科院的鉴定、验收。我国在神经网络的应用研究中的另一项具有较大影响的成果是国防科技大学的胡守仁教授等人研制成功的一个通用神经网络模拟系统NNSS，该系统能按用户意图建立各种复杂的互连模型，实现从学习、分别到识别结果的全过程[14]。2.2BP神经网络（一）、BP神经网络的基本原理BP（BackPropagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（inputlayer）、隐层(hidelayer)和输出层(outputlayer)（图1）。 图1神经网络结构示意图（二）、BP网络及其权值调整规则1、BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。1.1正向传播图2前向运算（正向传播）设BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为，如图5.4所示。隐层的传递函数为f1(·)，输出层的传递函数为f2(·)，则隐层节点的输出为（将阈值写入求和项中）：                    （1.1）输出层节点的输出为：                 （1.2）至此B-P网络就完成了n维空间向量对m维空间的近似映射。1.2反向传播1)    定义误差函数输入个学习样本，用来表示。第个样本输入到网络后得到输出（）。采用平方型误差函数，于是得到第个样本的误差：                    （1.3）式中：为期望输出。对于个样本，全局误差为：               （1.4）2）输出层权值的变化采用累计误差BP算法调整，使全局误差变小，即         （1.5）式中：—学习率定义误差信号为：                 （1.6）其中第一项：         （1.7）   第二项：                        （1.8） 是输出层传递函数的偏微分。于是：                   （1.9）由链定理得：     （1.10）于是输出层各神经元的权值调整公式为：              （1.11）3）隐层权值的变化        （1.12）定义误差信号为：                  （1.13）其中第一项：         （1.14）依链定理有：                 （1.15）   第二项：                        （1.16）是隐层传递函数的偏微分。于是：               （1.17）由链定理得：  （1.18）从而得到隐层各神经元的权值调整公式为：            （1.19）1.3BP算法的改进BP算法用于具有非线性转移函数的三层前馈网后可以以任意精度逼近任何非线性函数，这一非凡优势使BP网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷。（1）、易想成局部最小得不到全局最优。（2）、训练吃素多使得学习效率低，收敛速度慢。（3）、隐节点的选取缺乏理论指导。（4）、训练时学习新样本有遗忘旧样本的趋势。针对上述问题，国内外已提出不少有效的改进算法，线面介绍几种常用的方法。1.3.1增加动量项一些学者于1986年提出，标准BP算法在调整权值时，只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生震荡，收敛缓慢。为了提高网络的训练速度，可以在权值的调整公式中加入一动量项。若用W代表某层权矩阵，X某层输入向量，则含有动量项的牵制调整向量表达式为(1.20)可以看出，增加动量项即从前权值一次调整量中去除一部分叠加到本次权值调整量中，α为动量系数，。动量项反映了以前积累的调整经验，对于t时刻的调整其阻尼作用。当误差曲面出现骤然起伏时，克减小震荡趋势，调高训练速度。目前，bp算法中都增加了动量项，以至于有动量项的BP算法陈峰伟一种标准算法。1.3.2自适应调节学习率学习率η也称为步长，在标准BP算法中定为常量，然而在实际应用中很难确定一个从始至终都和合适额度学习率。从误差曲面可以看出，在平坦区域内η太小回事训练吃素增加，因而希望增大η值；而在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“凹坑”处，是训练出现震荡，反而是迭代次数增加。为了加速收敛过程，一个较好的思路是自适用改变学习率，使其该大时增大，该小时减小。改变学习率的方法很多，其目的都是使其在整个训练过程中得到合理调节。设一初始学习率若经过一次权值调整后时期总误差E总增大，则本次调整无效，且 ；若经过一批次权值调整过后是中误差E总减小，则本次调整有效，且η。1.3.3Levenberg-Marquardt算法BP网络的训练实质上是非线性木匾函数的优化问题，与前面基于一阶梯度的BP算法不同，基于数字优化的LM算法不仅利用了目标函数的一阶导数信息，还利用了目标函数的二姐导数信息。LM算法的迭代公式为：(1.21)式中J(k)是包含网络误差对权值和阈值一阶导数的Jacobin矩阵，I为单位矩阵，μ为阻尼因子。LM算法根据迭代的结果动态地天界阻尼因子，即动态地调整迭代额度收敛方向，可是每次迭代的误差函数值都有所下降。它是梯度下降法和牛顿法的结合，收敛速度较快。但LM算法在计算过程中会产生大量的中间结果矩阵，因此需要较大的内存空间。1.4确定BP网络对结构在使用基于BP算法的人工神经元网络时，必将会遇到选择基于BP算法人工神经元网络对最佳结构问题，具体说就是给定了某个应用任务，如何选择网络的层数和每层应选多少个单元，到目前为止还没有一个通用的理论公式来确定，随着不同的条件会有不同的结论，下面介绍一些方法作为确定网络的参考。1.4.1隐层节点数的选择1989年RobertHecht-Nielson证明了在任何闭区间的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个3层的BP网络可以完成任意的N维到M维的映射，因而在BP网络中采用单隐层网络。然而隐层节点数选择一直是一个令人感兴趣的话题，隐含层节点数目过少，网络降不能建立复杂的判断接，是网络训练不出来，或不能识别以前没有的样本，且容错性差；而节点数目过多，学习时间过长，使网络的泛化能力降低。因此BP网络应有一个最佳隐层节点数。[13]中提出了3个经验函数，有代表性的是:（1.22）其中k为样本数，n为输入样本数，n1为隐层样本数。 [14]中指出了n1=P-1时（P为学习样本数），迭代次数有明显减少。多次实验经验表明，隐层节点数取输入节点数和输出节点数之间的值，在靠近输入节点数时，网络的收敛速度较快，如下是一个故障诊断样本算例；输入样本4个，输出样本6个表1为节点数与迭代次数的关系（其中：误差取0.001，学习率为0.9）。表1隐层节点数与迭代次数之间的关系节点数345678910111213迭代次数41601270900550580630590590570560530从表中可以看出，隐层节点数取6个时最好。当节点数变大时，虽然迭代次数变少，但网路明显变大，计算量也变大了，计算时间反而变长，因此我们提出了一个单隐层隐层节点数的公式（其中，n为输入节点数，m为输出节点数，n1为隐层节点数）（1.23）经实验证明，在2-1（输入节点-输出节点），4-10，36-26，8-14网络中，式（1.25）得到的隐节点数2，6，32，10都是最佳值。1.4.2初始权值在反向传播网络中，初始权值与网络的收敛有很大关系，就此故障诊断样本算例，不同的初始权值迭代数见表2（其中，*表示迭代次数超过20000次仍不收敛）。表2初始权值对学习速度的影响误差固定值随即值（最大值）00.51.00.51.01.50.001***110801500.0001***11792210从表2中可以看出，初始权值不能取固定值，只能取一定范围内的随机值。且输入的取值范围不同 ，初始权值的取值范围也不同。我们在设计中采用限制输入值的方法，降各输入节点的输入值限制在0-1范围内，发现初始权值取0.5-1.0之间的随机值比较好。而对任意范围的输入，初始权值的优化尚待研究。1.4.3学习率在反向传播网络的训练中，学习率的选取一直是一个重要的研究方向。表3为不同的学习率对算例的学习速度的影响（其中，*代表迭代次数超过10000次仍不收敛）。表3学习率对迭代次数的影响学习率0.050.10.30.50.70.91.01.52.0迭代次数*40001300760530420380570*从表3可以看出，随着学习率的增大，迭代次数明显减少。但鱼鱼算例是一个小规模的网络，学习率可以取得较大。而在稍大规模的网络中，当学习率较大时，网络就会发散。[14]中提出的学习率为（其中n1为隐层节点数）（1.24）我们在实验中发现，学习率的取值与网络的输入输出节点数有关。规模越大，学习率要越小。我们的经验公式为（n1为（1.25）算出的隐层节点数）：（1.25）经实验，该公式基本满足需求，对于动态学习率，该值也是一个较好的初值。采用动态学习率的方法，在一定程度上可以环节学习率玄虚的问题，但仍有两个参数需要设定，设置不当时，学习率剧烈摆动，导致网络不收敛。我们对算法进行改进：当学习率放慢时缓慢增长学习率，同时限制最大学习率；一旦网络发散，大幅度减少学习率。通过对BP网络设计中的隐层节点数、初始权值及学习率进行研究，提出了隐层节点数及学习率的经验公式，并将其应用于神经网络并行推理机的研究中，加快了网络的构造时间，缩短了网络的学习时间，并在一定程度上改善了网络的泛化能力。3.总结通过本文献综述，对赤潮及赤潮预防的研究方法都做了简要的介绍，并介绍了方法BP神经网络原理。从而为毕业设计过程及论文中的相关技术和术语做了阐释，对进行毕业设计和论文的叙写都是有效的帮助。 参考文献：[1]LekSandGueganJF.Artificialneuralnetworkasatoolinecologicalmodeling,anintroduction[J].EcologicalModeling,199,120:65-73.[2]KeinerLLandYanXH.Aneuralnetworkmodelforestimatingseasurfacechlorophllandsedimentsfromthematicmapperimagery[J].RemoteSens.Environ.1998,66:153-165.[3]彭明，李春强.三亚湾沙港赤潮及生物防控研究.北京：中国农业出版社.2009.[4]国峰.基于广义回归神经网络的赤潮预警[D].青岛：青岛酒店管理学院，2009.[5]吴凤霞，李纯厚，戴明.人工神经网络在海洋科学中的应用.南方水产.2009.5(1):75-79.[6]RECKNAGELF.ANNA-Artificialneuralnetworkmodelforpredictingspeciesabundanceandsuccessionofblue-greenalgae[J].Hydrobiologia,1997,349(1/3):47-57.[7]WILSONH,RECKNAGELF.Towardsagenericartificialneuralnetworkmodelfordynamicpredictionofalgalabundanceinfreshwaterlakes[J].EcolModel,2001,146(1/3):69-84.[8]KUDELARM,COCHLANWP.NitrogenandcarbonuptakekineticsandtheinfluenceofirradianceforaredtidebloomoffsouthernCalifornia[J].AquticMicrobialEcol,2000,21(1):31-47.[9]蔡如钰.赤潮生物密度与环境因子的ANN网络映射预测模型[J].福建环境，2001，18(3):30-32.[10]董，刘海峡，李培军.海洋岛与王家岛周围海域赤潮生物夜光藻生态初探[J].海洋环境科学，1999，12（2）：28-31.[11]吴京洪，杨秀环，唐宝英，等.人工神经网络预报浮游植物生长趋势的研究[J].中山大学学报：自然科学版，2000，39（6）：54-58. [12]谢中华，晏丽红.赤潮预报的人工神经网络方法[J].海洋技术，2007，26（2）：31-33.[13]杨建强，罗先香，丁德文，秦洁.赤潮预测的人工神经网络方法初步研究，海洋科学进展，2003.21(3)：318-323.[14]罗晓曙.人工神经网络理论模型算法与应用.桂林：广西师范大学出版社.2005.