基于光滑l0正则子的神经网络稀疏化梯度学习算法研究

《基于光滑l0正则子的神经网络稀疏化梯度学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级单位代码大连海事大学硕士学位论文10151基于光滑L0正则子的神经网络稀疏化梯度学习算法研究唐艳丽指导教师张会生职称副教授学位授予单位申请学位类别论文完成日期答辩委员会主席万方数据SparseGradientLearningAlgorithmsforFeedforwardNeuralNetworksBasedonSmoothingLOReguIar．zationAthesisSubmittedtoDalianMaritimeUniversityInpartialfulfillmentoftherequirementsforthedegreeofMasterofScie

2、ncebyTanYanlilanganhIMathematics)ThesisSupervisor：AssociateProfessorZhangHuishengMarch2016万方数据大连海事大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰写成硕士学位论文：：基王光盘!=Q垂迅4壬的袖经圆终箍匾丝搓廑堂习簋洼班盔：：。除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体己经公开发表或未公开发表的成果。本声明的法律责任由本人承担。学位论

3、文作者签名：学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕士学位论文全文数据库》(中国学术期刊(光盘版)电子杂志社)、《中国学位论文全文数据库》(中国科学技术信息研究所)等数据库中，并以电子出版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。本学位论文属于：保密口在

4、——年解密后适用本授权书。不保密口(请在以上方框内打“√”)论文作者签名；翩蛔导师签名：江日期：功够年弓月防日万方数据摘要摘要科学家们在探索人类大脑的过程中形成了一门新的学科一一神经网络，近年来在各个领域得到了广泛应用。前馈神经网络是一种重要的神经网络模型，而基于梯度信息的BP算法是最为流行的神经网络学习算法。人们在梯度算法的基础上提出各种改进方法，其中运用较多的一种方法是基于正则化思想的网络剪枝方法，其通过在误差函数中添加正则项，使多余单元的权值趋于零，并对权值趋于零的单元剪枝，从而达到减小网络的复杂度，提高网络泛化能力的效果。L。正则化方法具有最优的稀疏性，但其求解是NP难问题，难以和神

5、经网络的学习算法进行结合。本文利用光滑函数序列对‰正则子进行逼近，进而提出一种带光滑L。正则项的梯度学>-J算法，并对算法的稀疏性、收敛性进行理论分析。本文第一章介绍神经网络的发展历程，神经网络的学习方式和学习算法，以及梯度学习算法，并在此基础上对Lp正则化方法作详细介绍；第二章研究带光滑Lo正则项的批处理梯度学习算法，同时建立了算法的稀疏性、收敛性结果及其数学证明，并通过数值实验对理论结果进行验证；第三章研究带光滑Lo正则项的在线梯度学习算法，同时建立了算法的收敛性理论，并通过数值实验验证了相应的理论结果；第四章对全文进行了总结。关键词：前馈神经网络；正则化方法；梯度算法；稀疏性；收敛性万

6、方数据ABSTRACTScientistshavebeenexploringtheprocessofthehumanbraintOsetupanewdiscipline—neuralnetworks，whichhavebeenwidelyusedinvariousfieldsinrecentyears．Feedforwardneuralnetworkisanimportantneuralnetworkmodel，andtheBPalgorithm，whichiSderivedbasedongradientmethod，isoneofthemostpopularlearningalgorith

7、msforneuralnetworks．Avarietyofimprovedalgorithmshavebeenproposedbasedonthegradientmethod．Byaddingaregularizationtermtothecommonerrorfunction，gradienttrainingmethodwithregularizationaimstOdrivestheredundantn