卷积网络(个人整理)

卷积网络(个人整理)

ID:38588189

大小:1.51 MB

页数:28页

时间:2019-06-15

卷积网络(个人整理)_第1页
卷积网络(个人整理)_第2页
卷积网络(个人整理)_第3页
卷积网络(个人整理)_第4页
卷积网络(个人整理)_第5页
资源描述:

《卷积网络(个人整理)》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、一、概述二、背景三、人脑视觉机理四、关于特征      4.1、特征表示的粒度      4.2、初级(浅层)特征表示       4.3、结构性特征表示      4.4、需要有多少个特征?五、DeepLearning的基本思想六、浅层学习(ShallowLearning)和深度学习(DeepLearning)七、Deeplearning与NeuralNetwork八、Deeplearning训练过程      8.1、传统神经网络的训练方法      8.2、deeplearning训练过程九、DeepLearning的常用模型或者方法   

2、   9.1、AutoEncoder自动编码器      9.2、SparseCoding稀疏编码      9.3、RestrictedBoltzmannMachine(RBM)限制波尔兹曼机      9.4、DeepBeliefNetworks深信度网络      9.5、ConvolutionalNeuralNetworks卷积神经网络十、总结与展望十一、参考文献和DeepLearning学习资源      总的来说,人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征,再到V2区的形状或者目标的部分等,再到更高层,整个目标、目标的

3、行为等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。例如,单词集合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义和意图的对应还是多对一的,这是个层级体系。     敏感的人注意到关键词了:分层。而Deeplearning的deep是不是就表示我存在多少层,也就是多深呢?没错。那Deeplearning是如何借鉴这个过程的呢?毕竟是归于计算机来处理,面对的一个问题就是怎么对这个过程建模?      因为我们要学习的是特征的表达,那么关

4、于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说DeepLearning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。四、关于特征       特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。那对于特征,我们需要考虑什么呢?4.1、特征表示的粒度       学习算法在一个什么粒度上的特征表示,才有能发挥作用?就一个图片来说,像素级的特征根本没有价值。例如下面的摩托车,从像素级别,根本得不到任何信息

5、,其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性(或者说有含义)的时候,比如是否具有车把手(handle),是否具有车轮(wheel),就很容易把摩托车和非摩托车区分,学习算法才能发挥作用。   4.2、初级(浅层)特征表示       既然像素级的特征表示方法没有作用,那怎样的表示才有用呢?       1995年前后,BrunoOlshausen和DavidField两位学者任职CornellUniversity,他们试图同时用生理学和计算机的手段,双管齐下,研究视觉问题。       他们收集了很多黑白风景照片,从这些照片中,

6、提取出400个小碎片,每个照片碎片的尺寸均为16x16像素,不妨把这400个碎片标记为S[i],i=0,..399。接下来,再从这些黑白风景照片中,随机提取另一个碎片,尺寸也是16x16像素,不妨把这个碎片标记为T。        他们提出的问题是,如何从这400个碎片中,选取一组碎片,S[k],通过叠加的办法,合成出一个新的碎片,而这个新的碎片,应当与随机选择的目标碎片T,尽可能相似,同时,S[k]的数量尽可能少。用数学的语言来描述,就是:       Sum_k(a[k]*S[k])-->T,    其中a[k]是在叠加碎片S[k]时的权重系

7、数。       为解决这个问题,BrunoOlshausen和DavidField发明了一个算法,稀疏编码(SparseCoding)。       稀疏编码是一个重复迭代的过程,每次迭代分两步:1)选择一组S[k],然后调整a[k],使得Sum_k(a[k]*S[k])最接近T。2)固定住a[k],在400个碎片中,选择其它更合适的碎片S’[k],替代原先的S[k],使得Sum_k(a[k]*S’[k])最接近T。        经过几次迭代后,最佳的S[k]组合,被遴选出来了。令人惊奇的是,被选中的S[k],基本上都是照片上不同物体的边缘线

8、,这些线段形状相似,区别在于方向。       BrunoOlshausen和DavidField的算法结果,与DavidHubel和T

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。