基于自编码神经网络的手写体数字识别中关于特征表达的研究.pdf

《基于自编码神经网络的手写体数字识别中关于特征表达的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、学术探讨·算法研君基于自编码神经网络的手写体数字识别中关于特征表达的研究史雪莹(四川I大学，四JI『成都610065)[摘要]研究多种改良的自编码神经网络(Autoencoder)，如稀疏(sparse)、噪声(Denoising)、权值对称(TiedWeight)。探究这些自编码神经网络的改良在图像特征表达中的原理。将方法应用到手写体数字的识别中，通过设置各种改良自编码神经网络的参数取值并且对比各种改良自编码神经网络的特征表达效果，证明改良自编神经网络的理论原理。实验证明稀疏和噪声对于自编码神经

2、网络性能具有较大提升。[关键词]自编码神经网络；手写体数字识别；特征表达中图分类号：TP391．41文献标识码：A文章编号：1008．6609(2017)01．0038．021引言手写体数字识别是模式识别中的一个经典问题，研究如何在计算机上判别手写体数字。手写体数字具有不同字符字型相差不大、相同字符有多种不同写法、数字没有上下文关系等特点，因此手写体数字识别就成为模式识别领域最大的难题之一。手写体识别因其独特性质难以具有固定的手工设定模式，因此要求算法具有高度的泛化能力。传统的基于模板匹配的方法识

3、别率较低。近年来随着神经网络的发展，其对数据高维非线性的表达方法非常适合应用在图像数据中，包括手写体数字识别”】。其中，自编码神经网络作为一种无监督学习的神经网络方法，通过将数据映射中间层再还原的方法，使得中间层建立了对数据的本质表达。这里以手写体识别这一模式识别问题为例，探究自编码神经网络的原理和影响其效果的关键因素。通过用这些关键因素调节网络效果，探究了改良的自编码神经网络。2自编码神经网络(Autoencoder)Autoencoder的网络结构图如图2所示，分为输入层、隐藏层和输出层。它是

4、一种特殊的BP算法(BackpropagationAlgorithm，如图1)。普通的BP算法有输入层、输出层和中间层，其中中间层的数目是不定的，输入输出层的神经元的个数也是不定的。在普通Autoencoder中，隐藏层作为唯一一个中间层，需要重构输入，输出层越逼近输入层，则得到的隐藏层就越能够表达输入。因此Autoencoder就是输入层与输出层相同的3层BP网络。其计算方式也与普通的BP相同，z表示本层输入，a表示本层输出，w表示两层之间的权值连接。定义输入为x，输出为贾，则前向的计算方式为z

5、=形。xX，损失函数为J(w，b)。作者简介：史雪莹(1993一)，女，四川成都人，研究生，研究方向为神经网络、大数据。．38．眇江图1BP网络结构图⋯蝻入愿漕敢是输出{图2Autoencoder网络结构图淫酗鳖I氇木棣诮·算法研究3改良的自编码神经网络实现原理3．1稀疏在Autoencoder中，为了使隐藏层得到我们想要的表达，通常会在隐藏层中加一些限制。比如如果网络中使用的激活函数为sigmoid函数时，Ⅱ圆∽作为隐藏层的激活度，那么定义砖=i1厶。m矽0。)为隐藏神经元的平均激活度，令茸=p

6、使得隐藏层神经元的平均激活度下降，进而部分神经元被抑制，达到稀疏的目的。这里一般使P接近很小的值，要实现这一抑制，我们需要对目标函数增加一个惩罚因子∑≥。JDl。g詈+(1一p)log芒署，其中s：是隐藏层的神经元个数。那么目标函数就变为k。@，6)=．，伽，6)+卢∑羔。gt；(pttL)，其中(碰㈨))=plogpP，+(1一p)log篝。3．2抗噪声抗噪的自编码-器(DenoisingAutoencoder)!tll图3所示，对输入的数据做一定的噪声处理，常见的为将输入的某些维度置0。Den

7、oisingAutoencoder的网络希望通过加入噪声的输入重构出原始输入，这样隐藏层具有一定的抗干扰性⋯。将Denoising用于神经网络的有效性的解释是流行学习(mani—foldassumption)‘”。其中露。----X．‘(rand(size(data))>inputZero-MaskedFraction)，inputZeroMaskedFraction表示加入噪声的阈值。大于阈值的就加噪声，不大于阈值的不加噪声。一■L—cprruption,4：■K『叱■∥形3．3权值对称在训练中

8、，编码和解码过程中保持互为转置的矩阵能尽量保持编码和解码层的权值矩阵的尺度一致，这样编码部分始终处于非线性部分，而不是停留在大部分的线性部分，同时可以不增大损失函数⋯。在实际训练中，可以减少模型的复杂度。如果模型需要提高泛化能力，就需要加入权值对称这种办法。4实验结果分析实验采用手写体数字识别数据Minist为例，数字的类别为阿拉伯数字0-9，共10类数据，采集人工手写的这10类数据。实验平台为Matlab2015b。4．1定量分析r2)m1125％noising的Denoisin