卷积神经网络权值初始化方法研究

《卷积神经网络权值初始化方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士学位论文MASTERALDISSERTATION论文题目：卷积神经网络权值初始化方法研究论文作者：沈成恺学科：计算机科学与技术指导教师：李玉鑑教授论文提交日期：2017年4月UDC：004学校代码：10005中文图书分类号：TP391学号：S201407008密级：公开北京工业大学工学硕士学位论文题目：卷积神经网络权值初始化方法研究英文题目：RESEARCHONINITIALIZATIONMETHODOFCONVOLUTIONALNEURALNETWORKS论文作者：沈成恺学科专业：计算机科学与技术研究方向：

2、计算机应用技术申请学位：工学硕士学位指导教师：李玉鑑教授所在单位：信息学部答辩日期：2017年5月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：沈成恺日期：2017年5月20日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复

3、印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：沈成恺日期：2017年5月20日李玉鑑导师签名：日期：2017年5月20日摘要摘要卷积神经网络是最常用的深度学习模型之一，它基于生物视觉神经元机制，有效地改善了传统模式识别算法中存在的提取特征困难问题，具有较强的特征学习能力。近几年，基于卷积神经网络的模型在图像识别、目标检测、人脸识别和自然语言处理等领域得到了广泛的应用，并且取得了较好的效果。在对卷积神经网络进行训练时，首先需要对其进行初始化，并且初始化的恰当与否影响到网络训练的收敛速度与

4、最终识别性能，所以研究卷积神经网络的初始化方法具有重要意义。本文首先介绍了卷积神经网络的概念和前向传播算法，针对其初始化问题进行研究，阐述了目前常用的随机初始化与Xavier初始化算法的优点与不足，提出了卷积神经网络的主成分洗牌初始化方法，实现了对网络的有效初始化，该方法主要包含如下4个步骤：（1）首先将训练数据输入网络进行前向传播计算，在前向传播过程中采样第一个卷积层输入特征图的各个感受野。（2）对每个输入特征图对应的采样集合进行主成分分析，使用得到的各个主成分初始化该层的所有卷积核。（3）随机洗牌打乱初始化后的卷积核，该步骤在所有卷积核内与上一层相同的特征图卷积的各矩阵间进行随

5、机打乱。（4）按上述3个步骤逐层对后续卷积层初始化，初始化后续卷积层的过程中，前面的卷积层应已被本方法初始化。最后，为了测试上述初始化方法，本文在MNIST、CIFAR-10和STL-10数据集上进行了若干初始化实验。实验结果说明，该方法能有效地初始化卷积层权值，而且和随机初始化、Xavier初始化算法相比，本文提出的算法有助于提高网络训练速度和识别准确率。关键词卷积神经网络，主成分分析，卷积核，初始化IAbstractAbstractConvolutionalneuralnetworkisoneofthemostcommonlyuseddeeplearningmodels.Iti

6、sinspiredbythemechanismofbiologicalvisualneuron,anditeffectivelyimprovestheperformanceoffeatureextractioncomparingwithtraditionalpatternrecognitionalgorithms.Inrecentyears,modelswhichbaseonconvolutionalneuralnetworkhasbeenwidelyusedinthefieldofimageclassification,objectdetection,facerecognitio

7、nandnaturallanguageprocessing,andhasachievedremarkableresults.Whentrainingtheconvolutionneuralnetwork,thefirststepisinitializingthenetwork.Andwhethertheinitializationisappropriateornotsignificantlyaffectstheconvergencespeedandperformanc