欢迎来到天天文库
浏览记录
ID:14173477
大小:76.72 KB
页数:6页
时间:2018-07-26
《机器学习——深度学习(deep learning)》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
机器学习——深度学习(DeepLearning)分类:MachineLearning2012-08-0409:49124336人阅读评论(65)收藏举报algorithmclassificationfeaturesfunctionhierarchyDeepLearning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。KeyWords:有监督学习与无监督学习,分类、回归,密度估计、聚类,深度学习,SparseDBN,1.有监督学习和无监督学习给定一组数据(input,target)为Z=(X,Y)。有监督学习:最常见的是regression & classification。regression:Y是实数vector。回归问题,就是拟合(X,Y)的一条曲线,使得下式costfunctionL最小。classification:Y是一个finitenumber,可以看做类标号。分类问题需要首先给定有label的数据训练分类器,故属于有监督学习过程。分类问题中,costfunctionL(X,Y)是X属于类Y的概率的负对数。,其中fi(X)=P(Y=i|X); 无监督学习:无监督学习的目的是学习一个functionf,使它可以描述给定数据的位置分布P(Z)。包括两种:densityestimation&clustering.densityestimation就是密度估计,估计该数据在任意位置的分布密度clustering就是聚类,将Z聚集几类(如K-Means),或者给出一个样本属于每一类的概率。由于不需要事先根据训练数据去train聚类器,故属于无监督学习。PCA和很多deeplearning算法都属于无监督学习。2. 深度学习DeepLearning介绍 Depth概念:depth:thelengthofthelongestpathfromaninputtoanoutput. DeepArchitecture的三个特点:深度不足会出现问题;人脑具有一个深度结构(每深入一层进行一次abstraction,由lower-layer的features描述而成的feature构成,就是上篇中提到的featurehierarchy问题,而且该hierarchy是一个稀疏矩阵);认知过程逐层进行,逐步抽象 3篇文章介绍DeepBeliefNetworks,作为DBN的breakthrough3.DeepLearningAlgorithm的核心思想: 把learninghierarchy看做一个network,则 ①无监督学习用于每一层网络的pre-train; ②每次用无监督学习只训练一层,将其训练结果作为其higher一层的输入; ③用监督学习去调整所有层这里不负责任地理解下,举个例子在Autoencoder中,无监督学习学的是feature,有监督学习用在fine-tuning.比如每一个neuralnetwork学出的hiddenlayer就是feature,作为下一次神经网 络无监督学习的input……这样一次次就学出了一个deep的网络,每一层都是上一次学习的hiddenlayer。再用softmaxclassifier去fine-tuning这个deepnetwork的系数。这三个点是DeepLearningAlgorithm的精髓,我在上一篇文章中也有讲到,其中第三部分:LearningFeaturesHierachy&SparseDBN就讲了如何运用SparseDBN进行feature学习。4.DeepLearning经典阅读材料:·Themonographorreviewpaper LearningDeepArchitecturesforAI (Foundations&TrendsinMachineLearning,2009).·TheICML2009WorkshoponLearningFeatureHierarchies webpage hasa listofreferences. ·TheLISA publicwiki hasa readinglist anda bibliography.·GeoffHintonhas readings fromlastyear’s NIPStutorial.阐述Deeplearning主要思想的三篇文章:·Hinton,G.E.,Osindero,S.andTeh,Y., AfastlearningalgorithmfordeepbeliefnetsNeuralComputation18:1527-1554,2006·YoshuaBengio,PascalLamblin,DanPopoviciandHugoLarochelle, GreedyLayer-WiseTrainingofDeepNetworks,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems19(NIPS2006),pp.153-160,MITPress,2007<比较了RBM和Auto-encoder>·Marc’AurelioRanzato,ChristopherPoultney,SumitChopraandYannLeCun EfficientLearningofSparseRepresentationswithanEnergy-BasedModel,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems(NIPS2006),MITPress,2007<将稀疏自编码用于回旋结构(convolutionalarchitecture)>06年后,大批deeplearning文章涌现,感兴趣的可以看下大牛YoshuaBengio的综述Learningdeeparchitecturesfor{AI},不过本文很长,很长……5.DeepLearning工具—— Theano Theano是deeplearning的Python库,要求首先熟悉Python语言和numpy,建议读者先看Theanobasictutorial,然后按照GettingStarted 下载相关数据并用gradientdescent的方法进行学习。 学习了Theano的基本方法后,可以练习写以下几个算法:有监督学习:1.LogisticRegression -usingTheanoforsomethingsimple2.Multilayerperceptron -introductiontolayers3.DeepConvolutionalNetwork -asimplifiedversionofLeNet5无监督学习:·AutoEncoders,DenoisingAutoencoders -descriptionofautoencoders·StackedDenoisingAuto-Encoders -easystepsintounsupervisedpre-trainingfordeepnets·RestrictedBoltzmannMachines -singlelayergenerativeRBMmodel·DeepBeliefNetworks - unsupervisedgenerativepre-trainingofstackedRBMsfollowedbysupervisedfine-tuning最后呢,推荐给大家基本ML的书籍:·ChrisBishop,“PatternRecognitionandMachineLearning”,2007·SimonHaykin,“NeuralNetworks:aComprehensiveFoundation”,2009(3rdedition) ·RichardO.Duda,PeterE.HartandDavidG.Stork,“PatternClassification”,2001(2ndedition)关于MachineLearning更多的学习资料将继续更新,敬请关注本博客和新浪微博Sophia_qing。References:1. BriefIntroductiontoMLforAI2.DeepLearningTutorial3.Atutorialondeeplearning-Video
此文档下载收益归作者所有
举报原因
联系方式
详细说明
内容无法转码请点击此处