半监督学习综述.ppt

《半监督学习综述.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、半监督学习综述(Semi-supervised Learning)1有监督的学习：学习器通过对大量有标记的训练例进行学习，从而建立模型用于预测未见示例的标记(label)。很难获得大量的标记样本。无监督的学习：无训练样本，仅根据测试样本的在特征空间分布情况来进行标记，准确性差。半监督的学习：有少量训练样本，学习机以从训练样本获得的知识为基础，结合测试样本的分布情况逐步修正已有知识，并判断测试样本的类别。机器学习23半监督学习的过程4传统机器学习算法需要利用大量有标记的样本进行学习。随着信息技术的飞速发展，收集大量未标记的（unlabeled）样本已相当容易，而获取大

2、量有标记的示例则相对较为困难，因为获得这些标记可能需要耗费大量的人力物力。如何利用大量的未标记样本来改善学习性能成为当前机器学习研究中备受关注的问题。优点：半监督学习（Semi-supervised Learning）能够充分利用大量的未标记样本来改善学习机的性能，是目前利用未标记样本进行学习的主流技术。半监督学习背景5半监督学习的发展历程未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意识到了。R.P.Lippmann.Patternclassificationusingneuralnetworks.IEEECommunications,1989,27

3、(11):47-64.一般认为，半监督学习的研究始于B.Shahshahani和D.Landgrebe的工作，最早是在这篇文章当中提到的。B.Shahshahani,D.Landgrebe.Theeffectofunlabeledsamplesinreducingthesmallsamplesizeproblemandmitigatingthehughesphenomenon.IEEETransactionsonGeoscienceandRemoteSensing,1994,32(5):1087-1095.D.J.Miller和H.S.Uyar认为，半监督学习的研究

4、起步相对较晚，可能是因为在当时的主流机器学习技术（例如前馈神经网络）中考虑未标记示例相对比较困难。随着统计学习技术的不断发展，以及利用未标记示例这一需求的日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。D.J.Miller,H.S.Uyar.Amixtureofexpertsclassifierwithlearningbasedonbothlabelledandunlabelleddata.In:M.Mozer,M.I.Jordan,T.Petsche,eds.AdvancesinNeuralInformationProcessingSystems9,Cambr

5、idge,MA:MITPress,1997,571-5776在进行Web网页推荐时，需要用户标记出哪些网页是他感兴趣的，很少会有用户愿意花大量的时间来提供标记，因此有标记的网页示例比较少，但Web上存在着无数的网页，它们都可作为未标记示例来使用。这类问题直接来自于实际应用：例如，大量医学影像，医生把每张片子上的每个病灶都标出来再进行学习，是不可能的，能否只标一部分，并且还能利用未标的部分？半监督学习的应用领域7半监督学习应用实例语音识别（Speechrecognition）文本分类（Textcategorization）词义解析（Parsing）视频监控（Video

6、surveillance）蛋白质结构预测（Proteinstructureprediction）8半监督学习的主要方法最大期望（EM算法）自训练（Self-training)协同训练（Co-training)转导支持向量机（TransductiveSupportVectorMachines）基于图的方法(graph-basedmethods)现状与展望91.最大期望（EM算法）背景：期望最大化（EM）方法和朴素贝叶斯方法有着共同的理论基础。期望最大化是一种基于循环过程的最大似然参数估计方法，用于解决带缺失数据的参数估计问题。是最早的半监督学习方法。前提：样本数据分为

7、标记样本和未标记样本，按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型（generativemodels）。样本生成模型的参数先由标记样本确定，再通过标记样本和利用当前模型判断标记的未标记样本共同调整。101.1EM算法的特点定义：具有隐状态变量的分布中参数的最大似然估计。适用：能够产生很好的聚类数据困难：如果把在参数下的期望为。那么，在估计状态变量X时，估值当然应该用条件期望然而这时就需要知道参数的值；另一方面，为了知道，又必须先知道X的估值（作为状态已知样本值）111、设定初值2、（E-步骤）对，令3、（M-步骤）（修正的估计）取使之