第6课：走起-深度学习

《第6课：走起-深度学习》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、⾛起~深度学习Kaggle项⽬班七月在线加号微博：@翻滚吧_加号2017年1月⽬录■记忆里的过去■RNN■LSTM■眼前的五光十色■图片特征■CNN七月在线：Kaggle项目班2julyedu.com普通神经网络七月在线：Kaggle项目班3julyedu.comRNNRNN的目的是让有sequential关系的信息得到考虑。什么是sequential关系？就是信息在时间上的前后关系。相比于普通神经网络：七月在线：Kaggle项目班4julyedu.comRNN每个时间点中的S计算这个神经元最终的输出，基于最后一个S简单来说

2、，对于t=5来说，其实就相当于把一个神经元拉伸成五个换句话说，S就是我们所说的记忆（因为把t从1-5的信息都记录下来了）七月在线：Kaggle项目班5julyedu.com记忆由前文可见，RNN可以带上记忆。假设，一个『生成下一个单词』的例子：『这顿饭真好』——>『吃』很明显，我们只要前5个字就能猜到下一个字是啥了However，如果我问你，『穿山甲说了什么？』你能回答嘛？(creditto暴走漫画)七月在线：Kaggle项目班6julyedu.comLSTMRNN七月在线：Kaggle项目班7julyedu.comLSTM

3、LSTM中最重要的就是这个CellState，它一路向下，贯穿这个时间线，代表了记忆的纽带。它会被XOR和AND运算符搞一搞，来更新记忆而控制信息的增加和减少的，就是靠这些阀门：Gate阀门嘛，就是输出一个1于0之间的值：1代表，把这一趟的信息都记着0代表，这一趟的信息可以忘记了七月在线：Kaggle项目班8julyedu.comLSTM下面我们来模拟一遍信息在LSTM里跑跑~第一步：忘记门来决定我们该忘记什么信息它把上一次的状态ht-1和这一次的输入xt相比较通过gate输出一个0到1的值（就像是个activationfu

4、nction一样），1代表：给我记着！0代表：快快忘记！七月在线：Kaggle项目班9julyedu.comLSTM第二步：记忆门哪些该记住这个门比较复杂，分两步：第一步，用sigmoid决定什么信息需要被我们更新（忘记旧的）第二部，用Tanh造一个新的CellState（更新后的cellstate）七月在线：Kaggle项目班10julyedu.comLSTM第三步：更新门把老cellstate更新为新cellstate用XOR和AND这样的门来更新我们的cellstate：七月在线：Kaggle项目班11julyedu.

5、comLSTM第四步：输出门由记忆来决定输出什么值我们的CellState已经被更新，于是我们通过这个记忆纽带，来决定我们的输出：（这里的Ot类似于我们刚刚RNN里直接一步跑出来的output）七月在线：Kaggle项目班12julyedu.com案例题目原型：What’sNext？可以用在不同的维度上：维度1：下一个字母是什么？七月在线：Kaggle项目班13julyedu.com案例维度2：下一个单词是什么？七月在线：Kaggle项目班14julyedu.com案例维度3：下一个句子是什么？七月在线：Kaggle项目班1

6、5julyedu.com案例维度N：下一个图片/音符/….是什么？七月在线：Kaggle项目班16julyedu.com代码【详见课程相应的iPythonNotebook】七月在线：Kaggle项目班17julyedu.com图片的特征跟文本一样，图片也有特征，因为图片本身可以表示成一个矩阵，我们对图片的特征计算/创造/统计也会更加直观，包括：SIFT,HOG,LBP,Haar,等等等等基本就是把图片中的颜色，形状，深浅，等等信息各种组合我们直接看一个案例：【详见相关iPythonNotebook】七月在线：Kaggle项目

7、班18julyedu.com深度学习应用于图片鉴于时间关系，我们不深展开图片特征提取的各种算法。大家都知道，深度学习的意义就在于，不依靠人为创造的特征，而是让机器自己去学特征。七月在线：Kaggle项目班19julyedu.comCNN七月在线：Kaggle项目班20julyedu.comCNN什么是卷积七月在线：Kaggle项目班21julyedu.comCNN七月在线：Kaggle项目班22julyedu.comCNN七月在线：Kaggle项目班23julyedu.com七月在线：Kaggle项目班24julyedu.c

8、omCNN七月在线：Kaggle项目班25julyedu.comCNNPooling七月在线：Kaggle项目班26julyedu.comCNN两种Pooling方式：MaxPoolingAveragePooling七月在线：Kaggle项目班27julyedu.comCNN综合成一个模型