对神经网络学习算法的研究

《对神经网络学习算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、河北工业大学硕士学位论文对神经网络学习算法的研究姓名：于秀丽申请学位级别：硕士专业：计算机及应用指导教师：沈雪勤2003.1.1塑j!三些查兰堡三兰竺兰兰———————————————————一对神经网络学习算法的研究摘要神经网络的学习算法一直是人工神经网络研究和应用领域中的一个重要问题，尤其是对前向神经网络学习算法(设计)的研究。对此，至今没有一个十分理想的解决办法。本论文在参考了大量国内外有关科技文献的基础上，对神经网络学习算法作了深入的研究，给出了切实可行的算法，主要解决了非线性样本的分类问题。本文由两部分组成：第一部分侧重

2、对径向基神经网络的研究，实现了一种基于RSF网络的新的学习算法；第二部分侧重对前向神经网络的规划学习算法的研究，根据支持向量机理论与神经网络的规划算法的关系，给出了一种新的神经网络基于规划学习算法。第一部分从RBF网络出发，通过递归分割将输入空间划分为两部分，从而将输入空间变成一个用超矩形构成的回归树(二叉树)。回归树的结点可以很容易的转换为径向基函数，通过对回归树结点的访问，可以选择出使网络达到最优的基函数集，形成最终的网络，此算法可以很好的应用到函数逼近、图像处理等方面。第二部分从神经网络的几何意义出发，根据支持向量机理论与神

3、经网络规划算法的关系，给出了一种新的构造型学习算法。实验表明该学习算法解决了线性不可分样本的分类问题，而且大大的降低了学习复杂度，并能应用到大样本分类问题中。关键词：I前向神经网络，学习算法，RBF网络，回归树，函数逼近，分类翌塑丝矍竺兰翌茎鲨塑望窒．．．一—————_———__———————M——————-H_——______——__—————————一一一THESTUDYOFALGORITHMOFNEURALNETWORKABSTRAC罩Thelearningalgorithrnofneuralnetworkhasalways

4、beenanimportantprobleminbothresearchandapplicationfieldsofartificialneuralnetworks，especiallytothestudyofthelearning(design)offeedforwardneuralnetworks．Uptonow,there’Snopracticalwaygoodenoughtosolveit．InthispapeLweprofoundlyresearchonthelearningalgorithmofneuralnetwor

5、ksafterreferringtolotsofdomesticandforeignscientificliteratureandgiveapracticalclassificationalgorithmunderthenon—linearseparabilitycondition．TherearetwopartsinthecontentsofthisthesisThefirstpartmainlyintroducesthestudyofRBFneuralnetworks，realizedanewlearningalgorithm

6、basedonR转Fneuralnetworks．Thesecondpartmainlyintroducesthestudyoffeedforwardneuralnetworks，andpresentsanewprogrammingbasedlearningalgorithmsinneuralnetworksundertheequivalentbetweenSVMandprogrammingbasedlearningalgorithms．ThefirstpartofthisthesisdescribesthetheoryofRBF

7、neuralnetworks。Theinputspaceisthusdividedintohyperrectanglesorganizedintoaregressiontree(binarytree)byrecursivelypartitiontheinputspaceintwo．It’seasytotranslatethenodeofregressiontreeintoradialbasisfunction．Afterthenodesofregressiontreearevisited，wecangenerateasetofra

8、dialbasisfunctionsfromwhichthefinalnetworkcanbeselected．Thisalgorithmfitstotheapplicationoffunctionapproximation，imageproces