深度学习基础.pdf

《深度学习基础.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习一线实战暑期研讨班深度学习基础刘昕博士研究生中科院计算所VIPL研究组vipl.ict.ac.cn深度学习轻松一刻!InstituteofComputingTechnology,ChineseAcademyofSciences2Outline深度学习导引深度学习的历史发展InstituteofComputingTechnology,ChineseAcademyofSciences深度学习基础推荐阅读3Outline深度学习导引深度学习的历史发展InstituteofComputingTechnol

2、ogy,ChineseAcademyofSciences深度学习基础推荐阅读4从计算机视觉说起计算机视觉方法模型问题模型通常高度非线性DiscreteValue(Classification)??(?)?InstituteofComputingTechnology,ChineseAcademyofSciencesContinuousValue(Regression)经典的两段式方法图像表示：Gabor,SIFT,子空间学习&度量学习:HOG,LBP,POEM,LGBP,LPQPCA/LDA，Manifold

3、,图像集表示：Manifold,GMM,LMNN,NCA…..Covariance词典学习&稀疏编码CreditedtoProf.XiaogangWangandProf.ShiguangShan5从计算机视觉说起计算机视觉方法模型两段式方法的一个漫画InstituteofComputingTechnology,ChineseAcademyofSciencesCreditedtoProf.SongchunZhu6从计算机视觉说起计算机视觉方法模型问题模型通常高度非线性DiscreteValue(Classifi

4、cation)??(?)?InstituteofComputingTechnology,ChineseAcademyofSciencesContinuousValue(Regression)深度学习带来的方法革命显示学习非线性映射?(?)分层非线性->逐层的语义抽象端到端学习(EndtoEnd)具有协同增效（synergy）优势CreditedtoProf.ShiguangShan7从计算机视觉说起TraditionalCookingInstituteofComputingTechnology,Chine

5、seAcademyofSciencesCreditedtoDr.NaiyanWang8从计算机视觉说起End-to-EndCookingInstituteofComputingTechnology,ChineseAcademyofSciencesCreditedtoDr.NaiyanWang9深度学习导引深度学习是什么?以不少于两个隐含层的神经网络对输入进行非线性变换或表示学习的技术包括多种结构：MLP，CNN，RNN/LSTM等多层InstituteofComputingTechnology,Chinese

6、AcademyofSciences感知深机度卷积网络RNNLSTM10深度学习带来的诸多进步图像分类、人脸识别、物体检测领域的突破性进步InstituteofComputingTechnology,ChineseAcademyofSciencesImageNet图像分类Top-5错误率PascalVOC目标检测MAP非深度学习方法深度学习方法CreditedtoProf.ShiguangShanwithmodifiedImageNet目标检测MAP11图像分类—性能演化ILSVRC图像分类InstituteofC

7、omputingTechnology,ChineseAcademyofSciencesYearTop-5错误率方法介绍2010冠军28.20%Fastdescriptorcoding(LLCJinjunWang’sCVPR10&SuperVector)+SVMLin,Y’sCVPR112011冠军25.70%CompressedFisherVectorsPerronnin,F’sECCV10,Sanchez,J’sCVPR112012冠军16.42%DCNN:AlexNet8层网络Krizhevsky,A’sNIPS

8、122013冠军11.74%DCNN:基于网络可视化技术Zeiler,M.D’sECCV14在AlexNet基础上调整2014冠军6.66%DCNN:GoogLeNetChristianSzegedy’sCVPR15，22层+Inception结构2014亚军7.32%DCNN:VGGNetKarenSimonyan’sarXiv14，19层2