自编码(Autoencoder)-深度学习.ppt

《自编码(Autoencoder)-深度学习.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、自编码（Autoencoder）大纲稀疏自编码（SparseAutoencoder）栈式自编码（StackedAutoencoder）去噪自编码（DenoisingAutoencoder）压缩自编码（ContrativeAutoencoder）自编码简介（Autoencoder）自编码简介（Autoencoder）：输入值：编码函数：编码或内部表示：解码函数：输出，也称“重建值”：损失函数，用于测量重建的好坏，目标是最小化L的期望值。自编码简介（Autoencoder）自动编码器就是一种尽可能复现输入信号的神经网络；自动编码器必须捕捉可以代表输

2、入数据的最重要的因素；类似PCA，找到可以代表原信息的主要成分。Input：数据的输入；Encoder：编码器；Code：输入的一个表示；Decoder：解码器；Reconstruction:input的重建；Error:重建数据和input的误差。自编码简介（Autoencoder）几种自编码的共同点自编码的共同点：是除了预防针对x简单地学习一个恒等函数外，还包含在以下两方面取折中。1、学习到一个针对x的表示h，x也能通过一个解码器从h中还原；需要注意的是：这并不需要对所有x都满足，只满足对那些服从数据分布的x即可。（重建误差）2、减小模型代

3、表性的能力，使在尽可能多的输入方向上不敏感。（模型的表达能力，泛化能力？？）自编码简介（Autoencoder）如何在重建误差和表达能力之间取折中呢？解决方法：区分训练样本的哪些变量需要表示。学到一个数据的表示（映射，mapping），对流形的方向比较敏感，对正交于流形的方向不敏感。将在正交于流形的方向产生一个收缩的表示。图中，黑色的线为流形空间，向右的绿色箭头与流形相切，蓝色的箭头正交于流形。自编码简介（Autoencoder）重建误差的概率解释目标函数：损失函数的选取取决于输入数据的类型：如果输入是实数值，无界值，损失函数使用平方差（squ

4、arederror）；如果输入时位矢量，交叉熵（cross-entropy）更适合做损失函数。什么是交叉熵？p和q分布的交叉熵是：p分布的信息熵和p和q的DL散度的和。我们可以认为训练一个解码函数等同于对条件分布P(x

5、h)的估计；同样的道理，可以将编码函数理解为一个条件分布Q(h

6、x),而不仅仅是一个“干巴巴”的函数式子。稀疏自动编码器（SparseAutoencoder）如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就

7、可以得到SparseAutoEncoder法。如上图，其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效（人脑好像也是这样的，某个输入只是刺激某些神经元，其他的大部分的神经元是受到抑制的）。稀疏自动编码器（SparseAutoencoder）输入：基础知识回顾输出：激活函数：SigmiodSigmoid函数曲线导数：稀疏自动编码器（SparseAutoencoder）简单神经网络（三层，单隐藏层）L层第i个单元的输入单元总的加权和表示为:例如：所以：进一步简写：稀疏自动编码器（SparseAutoencoder）反

8、向传播算法（Backpropagationalgorithm）输入：共m个训练集损失函数：其中，类似于加入正则化项（权重衰减项，weightdecay），如下式：稀疏自动编码器（SparseAutoencoder）反向传播算法（Backpropagationalgorithm）首先，通过前向网络，计算每个神经元的激活值（activations），包括输出值：其次，对于第L层的第i节点，计算其误差项：对于输出节点，详细推导步骤表示输出层有：推导见下一张PPT。稀疏自动编码器（SparseAutoencoder）反向传播算法（Backpropaga

9、tionalgorithm）如何得来的呢？推导过程：对于，有：其中，表示l+1层神经元个数详细推导步骤稀疏自动编码器（SparseAutoencoder）自编码设法学习到一个函数，使得：回到自编码即：稀疏自动编码器（SparseAutoencoder）为隐藏单元j的平均激活值如左图，一般强制约束Why?看下文是一个稀疏参数，一般取接近于0的值，比如0.05；也就是说，每个隐藏单元j的平均激活值接近于0.05。稀疏自动编码器（SparseAutoencoder）该式的另外一个作用是：对偏离我们添加一个额外的惩罚项来最优化目标函数。即：其中，KL散

10、度公式：的程度进行惩罚？？左图中，当时，KL散度值达到最小，其值为0。当趋于0或1时，KL散度值趋于无穷大。因此，为了使以上惩罚项最小，必须使得：稀疏