一种数值属性的深度置信网络分类方法-论文.pdf

《一种数值属性的深度置信网络分类方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1122014，50(2)ComputerEngineeringandApplications计算机工程与应用一种数值属性的深度置信网络分类方法孙劲光，蒋金叶，孟祥福，李秀娟SUNJinguang，JIANGJinye。，MENGXiangfu，LIXiujuan1．辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛1251052．辽宁工程技术大学研究生学院，辽宁葫芦岛1251051．SchoolofElectronicsandInformationEngineering，LiaoningTechnicalUniversity,Huludao，Liao

2、ning125105，China2．InstituteofGraduate，LiaoningTechnicalUniversity,Huludao，Liaoning125105，ChinaSUNJinguang，JIANGJinye，MENGXiangfu，eta1．DBNclassificationalgorithmfornumericalattribute．ComputerEngineeringandApplications，2014，50(2)：112-115．Abstract：DeepBeliefNetwork(DBN)isadeeparc

3、hitecturethatconsistsofseveralRestrictedBoltzmannMachines(RBM)．GenerallytheinputsofRBMarebinaryvectorwhichleadstotheinformationlossandinturndegradestheper-formanceofclassification．Fortheproblemabove，aDBNclassificationalgorithmfornumericalattributeisproposedthroughscalingtheinp

4、utintotheintervalbetween0and1withaddingnoisetosigmoidunits，andachievingclassificationwithoneGaussianhiddennodeonthetop—levelRBM．DBNcanbeusedasfeatureextractionmethodaswellasneuralnetworkwithinitiallylearnedweights．DBNshouldhaveabetterperformancethanthetraditionalneuralnetworkd

5、uetotheinitializationoftheconnectingweightsratherthanjustusingrandomweightsinneuralnetwork．ExperimentsconductedonthedatasetfromUCIshowthattheproposedalgorithmhasabetteraccuracythanthetraditionalclassificationalgo-rithmlikeSVM．Keywords：numericalattribute；classification；DeepBeli

6、efNetwork(DBN)；associatememory摘要：深度置信网络是个包含多个受限玻尔兹曼机的深层架构。针对深度置信网络分类时由于受限玻尔兹曼机的输入一般是二值向量而造成的信息的丢失从而使分类效果降低的问题，提出了通过在sigmoid单元中增加噪声来将输入缩放到[0，1]区间，使用带有一个高斯隐藏节点的顶层受限玻尔兹曼机实现分类功能的一种数值属性深度置信网络分类方法。深度置信网络和受限玻尔兹曼机可以作为特征提取方法也可以认为是带有训练的初始权值的神经网络。由于连接权值的初始化而不仅仅是神经网络的随机权值，深度置信网络分类应该比原有的传统

7、的神经网络分类拥有更好的性能。在UCI的多个数据集上进行对比验证，实验结果表明深度置信网络分类方法比传统的SVM算法拥有更高的准确性。关键词：数值属性；分类；深度置信网络；联想记忆文献标志码：A中图分类号：TP391doi：10．3778~．issn．1002．8331．1308．03771引言多层网络的典型算法，而实际上对于仅包含几层网络，当前多数分类的学习方法为多浅层结构算法，例如该训练方法就已很不理想。深度学习通过组合低层特支持向量机(Suppo~VectorMachine，SVM)、Boostingt”征形成更加抽象的高层表示(属性类别或特

8、征)，以发现和LogisticRegression，其局限性在于有限样本和计算数据的分布式特征表示。深度置信网络(Deep