高阶神经网络的梯度训练算法收敛性分析

《高阶神经网络的梯度训练算法收敛性分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、火连理上火学博士学位论文摘要传统的神经网络是由多层的求和单元构成的，例如多层感知器等．这些网络不但是学者们研究的热点并且已经在各个领域得到了广泛应用．由于求和单元自身的非线性映射能力有限，因此在解决复杂的问题时，单纯由求和单元构成的网络可能无法达到要求的精度．例如，尽管有结论指出，有求和单元构成的单隐层前馈网络可以以任意的精度逼近任意函数．但是在逼近某个复杂的函数时，网络的隐层中需要补充大量的求和单元．这不但增大了网络的成本，而且还降低了网络的泛化能力．为了克服这个缺点，人们引入了某些具有更强的非线性性

2、质的单元，例如：Sigma．Pi单元，积单元和Pi．Sigma单元等．这些单元可以通称为高阶单元．在结构中整合了高阶单元的神经网络被称为高阶神经网络(HONN)，其中包括Sigma．Pi神经网络(SPNN)，Pi．Sigma神经网络(PSNN)以及积单元神经网络(Product．Unitneuralnetwork-PUNN)等．人们已经对各类高阶神经网络的性能以及应用做了相应的研究，但是由于高阶神经网络的结构复杂，因此对其理论上的研究相对较少．梯度算法是目前最流行的前馈神经网络训练算法．梯度法有两种不同

3、的执行方式，它们是在线执行方式和批处理执行方式．本文主要的工作是分析用梯度法训练高阶神经网络的收敛性．我给出了Sigma-Pi神经网络和积单元神经网络的梯度法收敛性结果．此外，我还研究了用高阶神经网络来实现任意的布尔函数，并给出了有效地解决方案．本文的结构及内容如下：第一章回顾有关神经网络的一些背景知识．在第二章中，通过对∑一Ⅱ．∑这类Sigma．Pi神经网络的分析，得到了一些与网络结构·无关的梯度算法收敛性结论．该结论具有很好的扩展性，可以涵盖其他几类Sigma—Pi神经网络的收敛性，其中包括∑．∑．

4、Ⅱ和∑．n．∑．Ⅱ．并且此结论也适用于单隐层的求和神经网络，即∑．∑．在论述的过程了，对于训练过程中的误差函数的单调性也给出了相应的证明．’第三章和第四章分别对用批处理梯度算法和在线梯度算法训练积单元神经网络时误差函数的单调性及收敛性进行了分析．该结论为由全局搜索算法和局部优化算法(梯度法)构成的组合算法的局部优化行为提供了理论支持．随后的数值试验也验证了理论结果的正确性．第五章提出了二进积单元神经网络(BinaryProduct-Unitneuralnetwork-BPUNN)，并证明了这种网络可以模

5、拟逻辑数学中的主析取范式，可以实现任意的布尔函数．网络的权值是通过直接计算得到的，而且都是二值的．随后还给出了该网络的规则读取算法，可高阶神经网络的梯度训练算法收敛性分析以令我们从已得的网络中直接得到真值样本的数学表达式．第六章提出了带有输入转换的二进Pi—Sigma神经网络(BPSNN)，并证明了这种网络可以实现任意的布尔函数．该网络在计算布尔函数时，对应着主合取范式．网络权值都是{-1，1)这样二值的，而且网络的训练不需要多步迭代的过程，权值是直接求解得到的．随后还给出了此网络的规则读取算法．关键词

6、：高阶神经网络；梯度算法；收敛性；二进积单元神经网络；二进Pi．Sigma神经网络．II．ConvergenceAnalysisofGradientAlgorithmsforTrainingHigher-OrderNeuralNetworksAbstractThetraditionalneuralnetworks(e．g．multiple．1ayerperceptrons)arecomposedofmul．tiplelayersofsummationunits．Thesenetworksarewidel

7、yusedinvariousfieldsallda1[臼僦tmanyresearchers’interests．Duetothesummationstructures，thelackofnonlinearitygreatlyrestrictstheirapplicationtocomplicatedcases．Forexample，althoughthesenetworksc姐e仃ec．tivelysolveapproximationproblemsandclassificationproblems，a

8、largenumberofsummationunitsarerequiredforthetraditionalfeed—forwardneuralnetworkstoapproximateacomplicatedfunctionwiththehighcostofnetworksandthepoorgeneralization．Inordertoovercometheshortcomings，Higher-OrderunitssuchasSi