深度学习基础及数学原理

《深度学习基础及数学原理》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、深度学习基础及数学原理HaoZhanghaomoodzhang@gmail.com2016年9月26日2目录1引言12图像识别问题的挑战及数据驱动过程32.1图像分类问题的挑战.......................32.2数据驱动过程...........................43线性分类器53.1训练数据.............................53.2假设函数.............................53.2.1线性分类模型的假设函数.......

2、.........63.2.2对假设函数的理解....................63.2.3Softmax分类器的假设函数...............73.3损失函数.............................73.3.1交叉熵损失........................73.3.2正则化...........................83.4优化................................93.4.1梯度下降..................

3、.......93.4.2随机梯度下降.......................113.4.3softmax优化规则....................123.5预测和评估............................133.5.1预测............................143.5.2评估............................144前馈神经网络154.1特征/表示学习..........................15iii目录4.1.1线性

4、模型.........................154.1.2特征工程.........................154.1.3核方法...........................174.1.4表示学习.........................174.1.5深度学习.........................184.2假设函数.............................184.2.1数据表示.........................184.2.2

5、人工神经元模型......................224.2.3神经网络架构.......................234.3损失函数.............................244.4优化................................244.4.1梯度下降.........................244.4.2误差反向传播.......................254.5预测和评估............................2

6、65卷积神经网络295.1训练数据.............................295.2假设函数.............................305.2.1卷积层(conv).......................305.2.2汇合层(pool).......................355.2.3线性整流层(relu).....................365.2.4全连接层(fc).......................365.3损失函数.....

7、........................365.4优化................................365.4.1卷积层的反向传播....................375.4.2汇合层的反向传播....................375.5预测和评估............................386实现细节396.1Softmax的数值稳定性问题...................396.2卷积操作的实现........................

8、..406.2.1傅里叶变换........................416.2.2im2col...........................416.3参数更新.............................42目录iii6.4退出................................436.5数据初始化............................436.6参数初始化.....................