深度学习的基本理论与方法

《深度学习的基本理论与方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习的基本理论与方法成科扬2013年10月30日目录概述动机深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的性能比较深度学习的应用展望参考文献相关程序软件及链接概述深度学习：一种基于无监督特征学习和特征层次结构的学习方法可能的的名称：深度学习特征学习无监督特征学习动机良好的特征表达，对最终算法的准确性起了非常关键的作用；识别系统主要的计算和测试工作耗时主要集中在特征提取部分；特征的样式目前一般都是人工设计的，靠人工提取特征。Low-levelsensingPre-processingFeatureextract.Feat

2、ureselectionInference:prediction,recognition传统的模式识别方法：动机——为什么要自动学习特征实验：LP-βMultipleKernelLearningGehlerandNowozin,OnFeatureCombinationforMulticlassObjectClassification,ICCV’09采用39个不同的特征PHOG,SIFT,V1S+,RegionCov.Etc.在普通特征上MKL表现有限结论：特征更重要动机——为什么要自动学习特征机器学习中，获得好的特征是识别成功的关键目前存

3、在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如：SIFT,HOG,LBP等手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气是否能自动地学习特征？中层特征中层信号：动机——为什么要自动学习特征“Tokens”fromVisionbyD.Marr:连续平行连接拐角物体部件:他们对于人工而言是十分困难的，那么如何学习呢？动机——为什么要自动学习特征一般而言，特征越多，给出信息就越多，识别准确性会得到提升；但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。结论：不一定特征越多越好！需要有

4、多少个特征，需要学习确定。动机——为什么采用层次网络结构人脑视觉机理1981年的诺贝尔医学奖获得者DavidHubel和TorstenWiesel发现了视觉系统的信息处理机制发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃动机——为什么采用层次网络结构人脑视觉机理人的视觉系统的信息处理是分级的高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图抽象层面越高，存在的可能猜测就越少，就越利于分类动机——为什么采用层次网络结构视觉的层次

5、性属性学习，类别作为属性的一种组合映射Lampertetal.CVPR’09类别标签属性图像特征动机——为什么采用层次网络结构特征表示的粒度具有结构性（或者语义）的高层特征对于分类更有意义动机——为什么采用层次网络结构初级（浅层）特征表示高层特征或图像，往往是由一些基本结构（浅层特征）组成的动机——为什么采用层次网络结构结构性特征表示动机——为什么采用层次网络结构浅层学习的局限人工神经网络（BP算法）—虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型SVM、Boosting、最大熵方法（如LR，LogisticRegression

6、）—带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。深度学习2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在《科学》上发表论文提出深度学习主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无

7、监督学习实现的。深度学习本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的。与浅层学习区别：1）强调了模型结构的深度，通常有5-10多层的隐层节点；2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。深度学习好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。深度

8、学习vs.神经网络神经网络：深度学习：深度学习vs.神经网络相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨