深度学习常用模型.ppt

《深度学习常用模型.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习常用模型简介2015.10.24深度学习常用模型1.自动编码器AutoEncoder2.稀疏编码SparseCoding3.限制波尔兹曼机RestrictedBoltzmannMachine(RBM)4.深信度网络DeepBeliefNetworks5.卷积神经网络ConvolutionalNeuralNetworks目录21.AutoEncoder一种尽可能复现输入信号的神经网络。必须捕捉可以代表输入数据的最重要的因素。具体过程如下。31.AutoEncoder1.给定无标签数据，用非监督学习学习特征4现在我们

2、只有无标签数据，那么这个误差怎么得到呢？1.AutoEncoder5通过调整encoder和decoder的参数，使得重构误差最小误差的来源就是直接重构后与原输入相比得到1.AutoEncoder3.有监督微调。将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，（1）只调整分类器（黑色部分）：6AutoEncoder3.有监督微调。将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，（2）通过有标签样本，微调整个系统7一旦监督训练完成，这个

3、网络就可以用来分类了此外，AutoEncoder存在一些变体，如SparseAutoEncoder、DenoisingAutoEncoders（训练数据中加入噪声）2.SparseCoding利用线性代数中基的概念，即O=a1*Φ1+a2*Φ2+….+an*Φn，Φi是基，ai是系数，我们可以得到这样一个优化问题：Min

4、I–O

5、，I表示输入，O表示输出。通过求解这个最优化式子，我们可以求得系数ai和基Φi，这些系数和基就是输入的另外一种近似表达。82.SparseCoding就是将一个信号表示为一组基的线性组合，而且要

6、求只需要较少的几个基就可以将信号表示出来。“稀疏性”定义为：只有很少的几个非零元素或只有很少的几个远大于零的元素。稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据（也就是说，基向量的个数比输入向量的维数要大）。92.SparseCoding10不同方向的Edge就能够描述出整幅图像，2.SparseCoding11Sparsecoding分为两个部分：1）Training阶段：给定一系列的样本图片[x1,x2,…]，我们需要学习得到一组基[Φ1,Φ2,…, Φk]，也就是字典。训练过

7、程就是一个重复迭代的过程，按上面所说，我们交替的更改a和Φ使得下面这个目标函数最小。a）固定字典Φ[k]，然后调整a[k]，使得上式，即目标函数最小b）然后固定住a[k]，调整Φ[k]，使得上式，即目标函数最小不断迭代，直至收敛。这样就可以得到一组可以良好表示这一系列x的基，也就是字典。2.SparseCoding12Sparsecoding分为两个部分：1）Coding阶段：给定一个新的图片x，由上面得到的字典，通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。例如3.Restri

8、ctedBoltzmannMachine(RBM)13RBM的特点二部图每一层的节点之间没有链接一层是可视层，即输入数据层（v)，一层是隐藏层(h)，节点都是随机二值变量节点（0或1）全概率分布p(v,h)满足Boltzmann分布那么这个模型就是限制玻尔兹曼机3.RestrictedBoltzmannMachine(RBM)14隐藏层的层数增加，我们可以得到DeepBoltzmannMachine(DBM)如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型），而在最远离可视层的部分使用RestrictedBol

9、tzmannMachine，我们可以得到DeepBeliefNet（DBN）4.DeepBeliefNetworks深信度网络15概率生成模型建立一个观察数据和标签之间的联合分布5.ConvolutionalNeuralNetworks卷积神经网络161.卷积神经网络的特点：人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。第一个真正成功训练多层网络结构的学习算法权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提

10、取和数据重建过程。2.卷积神经网络的网络结构5.ConvolutionalNeuralNetworks卷积神经网络173.关于参数减少与权值共享图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部