新型深度学习算法研究概述

《新型深度学习算法研究概述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、新型深度学习算法研究概述马超，徐瑾辉，侯天诚，蓝斌（广东外语外贸大学金融学院，广东广州510006）摘要：作为一个具有巨大应用前景研究方向，深度学习无论是在算法研究，还是在实际应用（如语音识别，自然语言处理、计算机视觉）中都表现出其强大的潜力和功能.本文主要介绍这种深度学习算法，并介绍其在金融领域的领用..jyqkannMachine,RBM）以及相对应的对比散度方法（ContrastiveDivergence）完成的.与通常的神经元不同，RBM是一种概率生成模型，通常被设计为具有二元输入-输出（称为Bernoulli-BernoulliRBM）.

2、通过对每一层的受限波兹曼机进行自底向上的堆栈（如图1），可以得到深度信念网（DeepBeliefNeti-supervisedLearning）不同，自导师学习利用大量易获得的无标签数据（可以来自不同类别甚至是未知类别），通过稀疏编码算法来构建特征的高级结构，并通过支持向量机（SupportVectorMachine,SVM）作为最终层分类器对少数有标签数据进行分类.这种更接近人类学习方式的模式极大提高了有标签数据的分类准确度.与之类似，H.Lee,R.Grosse等[13]提出了一种具有层次结构的特征学习算法.该算法将卷积神经网络与DBN结合，并

3、通过稀疏正则化（SparsityRegularization）的手段无监督地学习层次化的特征表征.图像识别实验表明，该算法能够自主学习得出“物体（ObjectParts）”的概念，较好体现了人脑视觉感知的层次性和抽象性.3发展趋势由于信号处理、语音识别、金融时间序列分析、视频分析等领域的实时应用需求，研究能够处理连续时变变量、自然体现时间联系结构的深度学习算法（即深度序列学习，DeepSequenceLearning）成为了新的研究热点.G.,TRBM）.该模型使用二值隐含元和实值可视元，并且其隐含元和可视元可以与过去一段历史的可视元之间可以有向地

4、被相连.同时，该模型被用于人类动作识别，并展现出了优秀的性能.针对TRBM的一些不足，一些改进算法也不断涌现，如[15,16].然而，该类深度学习模型虽然考虑了动态的时间变量之间的联系，但依然只能处理离散时间问题，本质上还是属于转化为空间变量的化归法.同时，在自编码网络框架下，依然缺乏较好解决时间过程（序列）问题的方案.4金融时序数据中的应用传统金融理论认为，金融市场中的证券价格满足伊藤过程，投资者无法通过对历史数据的分析获得超额利润.然而，大量实证研究却表明，中国股票价格波动具有长期记忆性，拒绝随机性假设，在各种时间尺度上都存在的可以预测的空间.

5、因此，如何建立预测模型，对于揭示金融市场的内在规律，这无论是对于理论研究，还是对于国家的经济发展和广大投资者，都具有重要的意义.股票市场是一个高度复杂的非线性系统，其变化既有内在的规律性，同时也受到市场，宏观经济环境，以及非经济原因等诸多因素的影响.目前国内外对证券价格进行预测的模型大致分为两类：一是以时间序列为代表的统计预测模型；该类方法具有坚实的统计学基础，但由于金融价格数据存在高噪声、波动大、高度非线性等特征，使得该类传统方法无法提供有效的工具.另一类是以神经网络、支持向量机等模型为代表的数据挖掘模型.该类模型能够处理高度非线性的数据，基本上

6、从拟合的角度建模.虽然拟合精度较高，但拟合精度的微小误差往往和市场波动互相抵消，导致无法捕捉获利空间甚至导致损失，外推预测效果无法令人满意.因此，建立即能够处理非线性价格数据，又有良好泛化能力的预测模型势在必行.——————————.jyqkongdevelopingretinotectalsynapses[J].Nature,1998,395(6697).〔2〕37-44.欧阳楷,邹睿.基于生物的神经网络的理论框架——神经元模型[J].北京生物医学工程,1997,16(2):93-101.〔3〕RossiAF,DesimoneR,Ungerlei

7、derLG.Contextualmodulationinprimaryvisualcortexofmacaques[J].theJournalofNeuroscience,2001,21(5):1698-1709.〔4〕BengioY.LearningdeeparchitecturesforAI[J].Foundationsandtrends?inMachineLearning,2009,2(1):1-127.〔5〕HintonGE,OsinderoS,TehYachinelearning.ACM,2007:759-766.〔13〕LeeH,Gro

8、sseR,RanganathR,etal.Convolutionaldeepbeliefanmotionusingbina