一类径向基函数网络的分工协作混合系统

《一类径向基函数网络的分工协作混合系统》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中山大学博士学位论文一类径向基函数网络的分工协作混合系统姓名：黄榕波申请学位级别：博士专业：应用数学指导教师：朱思铭20040524正独立的因子，也就是说在降维过程中非主因子包含的有用信息丢失了；我们通过实验比较了两种方法的效果，经过PCA技术预处理后径向基函数网络的行为变差了，而ICA在降低了径向基函数网络的输入维数的同时，提高了系统的行为。然而当样本容量过大时，ICA的学习过程过长，影响了整个系统的学习效率，因此ICA的快速实现是一个值得研究的问题，我们提出了基于小波分析的ICA快速实现并行结构及其算法。DCRBFN由多个径向基函数网络组成，通过分工过程

2、，每个径向基函数网络具有较低的输入维数，它们的协作过程形成DCRBFN的输出。我们应用数学的理论及方法对DCRBFN作了如下的研究：1、DCRBFN的算法研究。我们提出了DCRBFN自适应梯度学习算法、条件概率最大化算法和妥协算法，这三种算法都是梯度下降算法，梯度算法的参数迭代过程是一个梯度系统，其收敛性已经有了比较好的结果。2、DCRBFN系统的逼近能力分析，我们得到DCRBFN的函数集在变量可分离函数集中稠密的结果，因此DCRBFN具有良好的逼近能力。3、DCRBF的系统复杂性。根据统计学习理论的结构风险最小化原则，DCRBFN的风险泛函的值由两部分组成

3、：经验风险与随机风险。而随机风险随系统的VC维的增大而增大，因此降低系统VC维可以提高系统的学习推广能力。我们证明了DCRBFN具有比扩展的径向基函数网络更小的VC维的界。从这个意义上，DCRBFN具有更低的系统复杂性。4、学习时间开销最小化的DCRBFN输入分解原则。我们应用Lagrange理论证明了基于学习时间最小化的分解原则。5、DCRBFN的应用。我们给出了DCRBFN的两个应用：DCRBFN在时间序列预测的应用和DCRBFN在反馈径向基函数网络中的应用。关键词：Divide—and—Conquer，径向基函数网络，系统复杂性，ICA并行结构ADiv

4、ide--and--ConquerHybridSystemBasedRadialBasisFunctionNetworksMajor：AppliedMathematicsName：HuangRongboSupervisor：ProfessorZhuSimingABSTRACTTheradialbasisfunctionnetwork(RBFN)iscomposedofinputlayer,hiddenlayerandoutputlayer．Duetoitssimplestructure，highlearningefficiencyandfastconverg

5、entspeed，RBFNhasbeenextensivelyappliedtoalotofapplicationssuchaspatternrecognition，imageprocessing，andtimeseriesforecasting，etc．Ingeneral，thestructuralcomplexityofaRBFNdependsonthenumberofthehiddennodewhichisfurtherinproportionastheinputdimension．Hence，effectivedimensionreductionof

6、thenet’SinputspaceCanconsiderablydecreasethenetworkstructruralcomplexity,wherebyspeedingupthenet’Sconvergingspeed．Dimensionreductionhasbecomeahi曲1i曲tintheresearchofRBFN．Inthispaper,WepresemthemodelofRBFNinputdimensionreductionbyprincipalcomponentanalysis(PCA)andindependentcomponent

7、analysis(ICA)andadivide-and—conquerhybridsystembasedradialbasisfunctionnetworks(DCRBFN)．Divide—and-conquerideaistodecomposethecomplexhighdimensionalproblemintosimplelowdimensionalone．Inthispaper．Intheliterature，PCAisatypicalstatisticaltoolfordimensionreduction，whichjustusessecond-o

8、rderstatisticsinformationt