基于光滑l_0正则子的神经网络稀疏化梯度学习算法研究

《基于光滑l_0正则子的神经网络稀疏化梯度学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号；密级１０１５１单位代码ＵＤＣ：爆乂是洛事乂學全日制学术型硕±研究生学位论文基于化滑Ｌ正则子的神经网络稀疏化〇梯度学习算法研究唐艳丽指导教师张会生申请学位类别理学硕±学科（专业）名称学位授予单位大连海事大学２０１６年３月分类号密级ＵＤＣ跑化代码１０巧１大连海事大学硕±学位论文基于光潛正则子的神经网络稀疏化梯度学习算法研究唐艳丽指导教师张会生职称副教授学位授予单位大连海事大学申请学位类别理学硕

2、±学科（专业）数学论文完成日期２０巧年１２月答辩日期２０１６年３月答辩委员会主席部说ＳｐａｒｓｅＧｒａｄｉｅｎｔＬｅａｒｎｉｎｇＡｌｏｒｉｔｈｍｓｆｏｒＦｅｅｄｆｏｒｗａｒｄｇＮｅｕｒａｌＮｅｔｗｏｒｋｓＢａｓｅｄｏｎＳｍｏｏｔｈｉｎｇＬＲｅｇｕｌａｒｉｚａｔｉｏｎｑＡ化ｓ化ｍｉｅｄｅｉｓｂｔｔ化ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙＩｎａｒｔｉａｌｆｕｌ机Ｉｍｅｎｔｏｆｔｈｅ巧山ｒｅｍｅｎ权ｆｏｒｔｈｅｄｅｒｅｅｏｆｐｑｇＭａ巧ｅｒｏｆ

3、ＳｃｉｅｎｃｅｂｙＴａｎｇＹａｎｌｉＭａｔｈｅｍａｔｉｃｓ（）ＴｈｅｓｉｓＳｕｐｅｒｖｉｓｏｒ：ＡｓｓｏｃｉａｔｅＰｒｏｆｅｓｓｏｒＺｈａｎｇＨｕｉｓｈｅｎｇＭａｒｃｈ２０１６大连海事大学学位论文原创性声明和使用授权说明原创性声明：工本人郑重声明本论文是在导师的衔导下，独立进行研究作所取得的成果，＂＂撰鸟成硕古学份论义某子化滑Ｌ０Ｅ则子的神经网络稀疏化梯巧学习貸巧研究。除论文中己经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中Ｗ明确方式标明。本论文中不包含任何未加

4、明确注明的其他个人或集体已经公开发表或未公开发表的成果。本声明的法律责任由本人承担。学位论文作者签名；解换兩学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定，目Ｐ；大连海事大学有权保留并向国家有关部口或机构送交学位论文的复印件和电子版，义许论文被查阅和借阅。本人授权大连海事大学可Ｗ将本学位论文的全部或部分内容编入有关数据库进行检索，也可采巧影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕±学位论文全文数据库》（中国学术期刊（

5、光盘版）电子杂志社）、《中国学位论文全文数据库》（中国科学技术信息研究所）等数据库中，并Ｗ电子出版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。。本学位论文属于；保密□在年解密后适用本授权书＂＂不保密□（请在Ｗ上方框内打Ｖ）论文作機名：＾导师签名：皆合４脅雨曰期：年与月像曰摘要一口新的学科一－神经网络科学家们在探索人类大脑的过程中形成了，近年来在各个领域得到了广泛应用一。前馈神经网络是种重要的神经网络模型，而基于梯度信息的ＢＰ算法是最为流行的神经网络学习算法。人们在梯度算法的基

6、础上提出各种改进一方法，其中运用较多的种方法是基于正则化思想的网络剪枝方法，其通过在误差函数中添加正则项，使多余单元的权值趋于零，并对权值趋于零的单元剪枝，从而达到减小网络的复杂度，提髙网络泛化能力的效果。／：〇正则化方法具有最优的稀疏性，但其求解是ＮＰ难问题，难Ｗ和神经网络的学习算法进巧结合。本文利用光滑函数序列一对Ｌｄ正则子进行逼近，，进而提出种带光滑正则项的梯度学习算法并对算法的稀疏性。、收敛性进行理论分析一本文第章介绍神经网络的发展历程，神经网络的学习方式和学习算法，Ｗ及梯度学习算法，并在此基础上对正则化

7、方法作详细介绍；第二章研究带光滑么）正则项的批处理梯度学习算法，同时建立了算法的稀疏性、收敛性结果及其数学证明，并通过数值实验对理论结果进行验证；第Ｈ章研究带光滑么）正则项的在线梯度学习算法，同时建立了算法的收敛性理论，并通过数值实验验证了相应的理论结果；第四章对全文进行了总结。关键巧：前馈神经网络；正则化方法；梯度算法；巧疏性；收敛性－Ｉ－ＡＢＳＴＲＡＣＴＡＢＳＴＲＡＣＴＳｃｉｅｎｔｉｓｔｓｈａｖｅｂｅｅｎｅｘｐｌｏｒｉｎｇ化ｅｒｏｃｅｓｓｏｆ化ｅｈｕｍａｎｂｒａｉｎ化化ｔｕａｎｅｗ

8、ｄｉｓｃｉｌｉｎｅｐｐｐ－ｎｅｕｒａｌｎｅｔｗｏｒｋｓｗｈｉｃｈｈａｖｅｂｅｅｎｗｉｄｅｌｕｄｉｎｖａｒｉｏｕｆｉｅｌｄｉ