递增的稀疏神经网络学习算法研究

《递增的稀疏神经网络学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士学位论文递增的稀疏神经网络学习算法研究摘要人工神经网络是解决许多问题的有利工具，但目前研究的神经网络大多是全连接网络，在实际应用中出现了一些问题，比如连线太多，硬件实现比较困难；网络结构不易选取，容易出现过拟合等。针对这些问题，研究人员提出了许多新的网络结构和学习算法，稀疏神经网络就是其中之一。稀疏神经网络是对人类大脑稀疏连接结构的一种模拟，具有减少计算时间，提高泛化能力，降低硬件实现难度等优点。本文针对稀疏神经网络应用中连接度和中间节点数不易选取的问题，并根据生物神经网络的实际特点，设计出递增结构的稀疏神经网络学习算

2、法，并通过仿真验证了算法的有效性。首先，提出了固定中间节点数，在学习中增加网络连接的学习算法。根据学习得到的网络连接权值的不同，向网络中增加连接，解决了连接度不易选取的问题。在增加连接学习算法的基础之上，研究了同时改变神经网络的连接度和隐含节点数的学习算法。模拟大脑皮层由薄到厚的发育过程，根据当前的学习结果，改变网络的拓扑结构，逐步增加网络中的连接和节点，最终学习得到满意的稀疏神经网络。最后，针对神经网络同构对网络冗余和拟合I上海交通大学硕士学位论文能力的影响，研究减少重复连接向量的连接选择算法，并通过仿真算例分析不同学习参数对网络学

3、习效果的影响。关键词：稀疏神经网络，泛化，递增，学习算法，连接度，同构II上海交通大学硕士学位论文LEARNINGALGORITHMSOFGROWINGSPARSENEURALNETWORKSABSTRACTNeuralnetworkshavebeingsuccessfullyappliedacrossanextraordinaryrangeofproblemdomains.However,mostoftheneuralnetworksnowstudiedarefullyconnectednetworkswhichcomeacross

4、severaldifficultiesinpracticesuchashardtobeimplementedinhardware,hardtochooseaproperscaleandsoon.Manynewnetworkstructuresandlearningmethodsarestudiedtosolvetheseproblems.Sparseneuralnetworksareoneofthem.Ithasadvantagesofreducedhardwarerequirements,improvedgeneralization

5、capabilitiesandreducedtrainingandrecalltime.Butwhenusingsparseneuralnetworksinpractice,itishardtochooseaproperconnectivity.Basedonnewdiscoveriesinbrainscience,twonewlearningalgorithmsaredevelopedwhichchangethenetwork’sconnectionstructureatthetimeoflearning,thusanaccurat

6、econnectivityisnotneeded.III上海交通大学硕士学位论文First,wedevelopedtheconnections-addinglearningalgorithmwhichstartsfromalowconnectivityandaddconnectionsintothenetworkduringlearningbasedonpreviouslearningresults.Then,neurons-addinglearningalgorithmisdesignedbasedonpreviouswork.In

7、thismethod,amaximumconnectivityisusedtolimittheconnectivityofnetwork.Firsttrainthenetworkusingconnections-addinglearningalgorithm.Iftheconnectivityexceedsthemaxconnectivityandthenetworkhasnotachievedthedesiredprecision,newmiddleneuronsareadded.Atlast,westudiedtheeffecto

8、fisomorphicneuralnetworks.Wheninitializethenewlyaddedneurons,takeisomorphismintoconsideration,whichimprovedthe