毕业论文--基于受限玻尔兹曼机的手写字符识别算法研究

《毕业论文--基于受限玻尔兹曼机的手写字符识别算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、本科毕业论文毕业论文(设计)论文（设计）题目:基于受限玻尔兹曼机的手写字符识别算法研究姓名学号学院山东大学软件学院专业数字媒体技术年级指导教师2016年月日42本科毕业论文目录目录1摘要2ABSTRACT2第1章绪论31.1研究背景31.2研究现状31.3本文的主要工作31.4论文的组织结构4第2章神经网络基本原理与RBM模型探讨52.1启发式思想与模拟退火算法52.1.1贪心算法的局部最优限制与启发式思想52.1.2模拟退火模型及其概率转移计算52.2玻尔兹曼机与受限玻尔兹曼机62.3受限玻尔兹曼机模型概述72.3.1受限玻尔兹曼机网络结构

2、72.3.2受限玻尔兹曼机能量函数及概率分布计算8第3章受限玻尔兹曼机中的数学理论113.1随机梯度法解对数似然函数113.2马尔可夫链蒙特卡罗策略与Gibbs采样133.2.1马尔科夫链与马氏定理133.2.2三种采样算法153.2.3用采样技术解受限玻尔兹曼机中的计算难题1942本科毕业论文3.3对比散度算法20第4章基于受限玻尔兹曼机的手写字符识别模型234.1手写字符特征提取234.1.1图像特征提取概念及背景234.1.2常见的手写字符图像特征提取方法234.1.3数据降维与受限玻尔兹曼机提取特征254.1.4深度信念网络与贪婪学习

3、264.2手写字符特征分类274.3手写字符识别算法流程27第5章基于受限玻尔兹曼机的手写字符识别模型示例295.1手写数字数据集MNIST解析295.2结果分析30第6章总结与展望33致谢34参考文献35附录1英文原文37附录2译文39摘要受限玻尔兹曼机（RBM）是一种内含两层结构，对称链接，无自反馈的深度学习网络模型。受限玻尔兹曼机的快速学习算法近年来一直是研究热点，随着对比散度算法的出现，受限玻尔兹曼机在机器学习节掀起了应用和研究的热潮。许多实验表明，受限玻尔兹曼机是一种高效的特征提取方法，用于初始化前馈神经网络可显著提高其泛化能力，堆

4、叠多个受限玻尔兹曼机组成深度信念网络更能提取抽象特征。本文首先简要概述了手写字符识别络和深度学习的研究背景，然后阐述了作者对于神经网络的理解，包括模拟退火算法与玻尔兹曼机的理解，从而引出受限玻尔兹曼机模型框架，并着重推导了要理解受限玻尔兹曼机的数学知识理论，包括对数似然估计，马尔科夫链，蒙特卡罗方法等，最后探讨了一种快速RBM学习的算法。基于受限玻尔兹曼机上述特点，本文描述一种高效深度学习模型，利用受限玻尔兹曼机提取手写字符的特征，提高神经网络泛化能力，对手写字符进行识别。最后，本文将会呈现这个模型对于手写字符识别的结果。关键词：手写字符识别

5、；深度学习；神经网络；受限玻尔兹曼机42本科毕业论文ABSTRACTRestrictedBoltzmannMachine(RBM)isaparticulartypeofrandomneuralnetworkmodelwhichhastwo-layerarchitecture,symmetricconectionwithinthesamelayer.RBMattractsmanyattentionofresearchtheseyears.Andwiththedevelopmentoffastlearningalgorithm(Contrasti

6、veDivergence),RBMsetsoffasurgetoapplymodelandresearch.ManyexperimentshowthatRBMisakindofeffectivefeaturedetector,alsoitcanhighlyraisethegeneralizationcapabilitywhenitusedtoinitializedafeed-forwardneuralnetwork.AdeepbeliefnetworkcomposedofseveralRBMisabletodetectmoreabstract

7、features.Thispapergenerallysummarizestheresearchbackgroundofrecognizationofhand-writtennumberanddeeplearning,descripttheauthor’sunderstandingofneuralnetwork,includingsimulatedannealingalgorithmandBoltzmannMachine,andthenhaveadeeplookintoRBM.Afterthat,thispaperproofsthemathe

8、maticaltheoryofRBMsuchasloglikelihoodcomputing,MarkovChain,MCMCetc,andfinallyprese