删减版深度学习课件.ppt

《删减版深度学习课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人脑视觉机理1981年的诺贝尔医学奖，颁发给了DavidHubel（出生于加拿大的美国神经生物学家）和TorstenWiesel，以及RogerSperry。前两位的主要贡献，是“发现了视觉系统的信息处理”：可视皮层是分级的：人脑视觉机理这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。人脑视觉机理例如，从原始信号摄入开始

2、（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。人脑视觉机理这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在

3、的可能猜测就越少，就越利于分类。关于特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。那对于特征，我们需要考虑什么呢？1、特征表示的粒度学习算法在一个什么粒度上的特征表示，才有能发挥作用？就一个图片来说，像素级的特征根本没有价值。例如下面的摩托车，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性的时候，比如是否具有车把手（handle），是否具有车轮（wheel），就很容易把摩托车和非摩托

4、车区分，学习算法才能发挥作用。2、初级（浅层）特征表示为解决这个问题，DavidField发明了一个算法，稀疏编码（SparseCoding）。稀疏编码是一个重复迭代的过程，每次迭代分两步：1）选择一组S[k]，然后调整a[k]，使得Sum_k(a[k]*S[k])最接近T。2）固定住a[k]，在400个碎片中，选择其它更合适的碎片S’[k]，替代原先的S[k]，使得Sum_k(a[k]*S’[k])最接近T。经过几次迭代后，最佳的S[k]组合，被遴选出来了。令人惊奇的是，被选中的S[k]，基本上都是照片

5、上不同物体的边缘线，这些线段形状相似，区别在于方向。DavidField的算法结果，与杀猫者DavidHubel的生理发现，不谋而合！2、初级（浅层）特征表示也就是说，复杂图形，往往由一些基本结构组成。比如下图：一个图可以通过用64种正交的edges（可以理解成正交的基本结构）来线性表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献，因此均为03、结构性特征表示小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形如何表

6、示呢？这就需要更高层次的特征表示，比如V2，V4。因此V1看像素级是像素级。V2看V1是像素级，这个是层次递进的，高层表达由底层表达的组合而成。专业点说就是基basis。V1取提出的basis是边缘，然后V2层是V1层这些basis的组合，这时候V2区得到的又是高一层的basis。即上一层的basis组合的结果，上上层又是上一层的组合basis……（HHT有类似之处）3、结构性特征表示直观上说，就是找到makesense的小patch再将其进行combine，就得到了上一层的feature，递归地向上le

7、arningfeature。3、结构性特征表示在不同object上做training时，所得的edgebasis是非常相似的，但objectparts和models就会completelydifferent了（那咱们分辨car或者face是不是容易多了）：4、需要有多少个特征？我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定

8、特征越多越好好了，到了这一步，终于可以聊到Deeplearning了。上面我们聊到为什么会有Deeplearning（让机器自动学习良好的特征，而免去人工选取过程。还有参考人的分层视觉处理系统），我们得到一个结论就是Deeplearning需要多层来获得更抽象的特征表达。那么多少层才合适呢？用什么架构来建模呢？怎么进行非监督训练呢？DeepLearning基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输