madaline敏感性研究

《madaline敏感性研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、河海大学硕士学位论文Madaline敏感性研究姓名：汪莹峰申请学位级别：硕士专业：计算机软件与理论指导教师：曾晓勤20050601摘要神经网络的输出对参数扰动的敏感性是神经网络设计和实现中的一个重要问题。参数的扰动对网络的输出会有怎样的影响?如何度量神经网络对参数扰动的敏感程度?本文着重计算和分析了一种前馈神经网络——Madaline对丁输入和权扰动的敏感性。基于Madaline的结构特点．本文采}=}j自底向上的方法计算Madaline的敏感性。首先，我们研究神经元——Adaline的敏感性。在此基础上，逐层计算Adaline的

2、敏感性，最后输出层的Adaline的敏感性就是整个Madaline的敏感性。敏感性在本文中定义为网络输出由于其参数的扰动而发生改变的数学期望。对于一个训练后的网络而言．它的网络结构和权都已给定，论文从两个不同的角度来计算它对了=输入和权扰动的敏感性。第一个角度是要求敏感性计算的结果比较精确。为此，本文提出了能准确表示Madaline输入空间的超立方模型，然后给出了基于超立方模型的计算敏感性的算法。尽管算法有一定的复杂度，但是实验表明该算法得到结果比较精确。第二个角度要求给出复杂度较低的敏感性计算方法，然后尽可能地提高计算的精度。为

3、此，本文提出了概率模型，并在概率模型基础上给出了敏感性计算方法。基于概率模型的敏感性计算方法不仅复杂度非常低，而且实验表明，当输入维数较大时，计算的精度也可以满足要求。接着，又用概率模型来研究训练前的Madaline对于输入和权扰动的敏感性，此时Madaline的权尚未确定，研究目标是分析整个一类Madaline的共性。利用对训练前MadaIine的敏感性研究的结果，文中还就Madaline网络结构参数对敏感性的影响进行了分析。这些分析的结果可以被崩米指导Madaline网络的设计。最后，本文指出了敏感性在神经网络领域的应用前景。

4、关键词：Madaline网络，神经网络，敏感性，超立方，概率AbstractThesensitivityofneuralnetworks’0utouttoparameterperturbationisallimportantissueinthedesignandimplementationofneuralnetworks．Whatwillbetheeffectsofparameterperturbationontheoutputofneuralnetworks?Howcanthedegreeoftheresponseofneura

5、lnetworksduetoparameterperturbationbemeasured?Inthisdissertation，thesensitivityofMadalinestoinputandweightperturbationsissystematicallyandtheoreticallystudied．BasedonthestructuralcharacteristicsofMadalines，abottom·upapproachisadopted’ihesensitivityofasingleneuron，i．e．

6、anAdaline，isconsideredfirst，ThenfollowedisthesensitivityoftheentireMadalinenetworksSensitivityisdefinedasthemathematicalexpectationofoutputdeviationduetoinputandweightperturbations．ForatrainedMadaline，whosearchitectureandweightareallgiven，thedissertationproposesahyper

7、cubemodelandaprobabilitymodeltoeompmeitssensitivity．Thehypercubemodelissuccessfullyusedtocompmethesensitivitywithhighaccuracy,whiletheprobabilitymodelissuccessfullyusedtocomputethesensitivitywithlowcomplexity．Theprobabilitymodelisalsousedtoconsiderthesensitivityofuntr

8、ainedMadalines．ThesensitivityanaIysisofMadalineswithoutfixedweightisalsoconducted，whichishopefultoprovideusefulguidelinestoa