(17)卷积神经网络

《(17)卷积神经网络》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、卷积神经网络七月算法寒老师2016年7月2日4月机器学习算法班1主要内容神经网络与卷积神经网络1.层级结构2.数据处理3.训练算法4.优缺点实际搭建与训练CNN1.典型CNN网络2.训练与优化常用框架与应用1.常用框架2.广泛应用4月机器学习算法班julyedu.com神经网络到卷积神经网络我们知道神经网络结构如下那卷积神经网络和它是什么关系呢？4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积神经网络依旧是层级网络但层的功能和形式做了变化4月机器学习算法班julyedu.com卷积神经网络之层级结构数

2、据输入层/Inputlayer卷积计算层/CONVlayerReLU激励层/ReLUlayer池化层/Poolinglayer全连接层/FClayer4月机器学习算法班julyedu.com卷积神经网络之层级结构数据输入层/Inputlayer有3种常见的图像数据处理方式去均值把输入数据各个维度都中心化到0归一化幅度归一化到同样的范围PCA/白化用PCA降维白化是对数据每个特征轴上的幅度归一化4月机器学习算法班julyedu.com卷积神经网络之层级结构去均值与归一化4月机器学习算法班julyedu.com卷

3、积神经网络之层级结构去相关与白化4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积神经网络依旧是层级网络但层的功能和形式做了变化4月机器学习算法班julyedu.com卷积神经网络之层级结构我们知道神经网络结构如下4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积计算层/CONVlayer局部关联。每个神经元看做一个filter。窗口(receptivefield)滑动，filter对局部数据计算4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积计算层/CONVlayer

4、深度/depth步长/stridedemo填充值/zero-padding4月机器学习算法班julyedu.com卷积神经网络之层级结构4月机器学习算法班julyedu.com卷积神经网络之层级结构4月机器学习算法班julyedu.com卷积神经网络之层级结构4月机器学习算法班julyedu.com卷积神经网络之层级结构4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积计算层/CONVlayer参数共享机制假设每个神经元连接数据窗的权重是固定的4月机器学习算法班julyedu.com卷积神经网络之层级结构

5、卷积层固定每个神经元连接权重，可以看做模板每个神经元只关注一个特性需要估算的权重个数减少:AlexNet1亿=>3.5w一组固定的权重和不同窗口内数据做内积:卷积4月机器学习算法班julyedu.com卷积神经网络之层级结构卷积神经网络依旧是层级网络但层的功能和形式做了变化4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)把卷积层输出结果做非线性映射4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)把卷积层输出结果做非线性映射SigmoidTanh(双曲正

6、切)ReLULeakyReLUELUMaxout4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)Sigmoid4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)Tanh4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)ReLU(TheRectifiedLinearUnit/修正线性单元)收敛快，求梯度简单，较脆弱4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(ReLU)ReLU(TheRectif

7、iedLinearUnit/修正线性单元)4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(LeakyReLU)LeakyReLU不会“饱和”/挂掉，计算也很快4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(LeakyReLU)LeakyReLU不会“饱和”/挂掉，计算也很快4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(指数线性单元ELU)所有ReLU有的优点都有，不会挂，输出均值趋于0因为指数存在，计算量略大4月机器学习算法班julyedu.com卷

8、积神经网络之层级结构激励层(Maxout)计算是线性的，不会饱和不会挂多了好些参数两条直线拼接4月机器学习算法班julyedu.com卷积神经网络之层级结构激励层(实际经验）①不要用sigmoid！不要用si