浅谈基于神经网络的半监督学习方法研究

《浅谈基于神经网络的半监督学习方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大连理工大学博士学位论文基于神经网络的半监督学习方法研究姓名：唐晓亮申请学位级别：博士专业：控制理论与控制工程指导教师：韩敏20091201大连理工大学博士学位论文摘要传统监督学习方法需要利用大量有标记的样本进行学习。然而在实际应用中，标记样本的采集和整理工作费时费力，标记样本不足已经成为制约监督学习方法的瓶颈之一。无监督学习虽然不需要标记样本，但是缺乏先验知识的有效引导，模型的准确性难以保证。半监督学N(semi．supervisedleaming)iE是近年来涌现出的一种综合利用标记样本和未标记样本进行学习的理论。目前，半监督学习理论尚处于发展阶段，在结构自适应调节、增量式

2、训练和提升标记样本序列的利用效率等方面仍有待完善。为解决上述问题，本文提出几种基于神经网络的半监督学习方法，力图借助神经网络在结构动态调整、可逆学习以及知识提取与整合等方面的优势提高半监督学习方法的性能。本文的研究可概括为以下三个方面：1)提出半监督贝叶斯ARTMAP(semi．supervisedBayesianARTMAP，SSBA)网络，SSBA实现了BayesianARTMAP网络与EM算法之间的优势互补。SSBA采用BayesianARTMAP的学习框架，具有根据标记样本和未标记样本的分布状况自适应生成网络节点的能力，可以克服EM算法必须预先设定高斯成分数目的局限。另

3、一方面，SSBA利用EM算法调节网络参数避免了“胜者为王’，(即每次只更新获胜节点参数)的硬性调整方式，使得网络能够更加充分地考虑到未标记样本类别归属的不确定性，进而可以有效学习未标记样本中的类别特征信息。仿真实验表明，SSBA的泛化能力明显优于BayesianARTMAP网络和EM算法，是性能可靠的静态半监督学习方法。2)提出一种增量式半监督学习方法，命名为三重可逆极端学习机(ternaryreversibleextremeleamingmachine,TRELM)。当前多数半监督学习方法均为静态训练模式，它们的共同特征是重复训练，即算法需要重复学习所有的标记样本和未标记样本

4、多次才能保证精度要求。重复训练导致运算量巨大、半监督学习速度缓慢等问题。本文提出的TRELM将三个可逆极端学习机作为其内部的基学习器，它只需要利用新扩充的样本和新检测出的无效记样本即可完成半监督训练任务，有效避免了重复训练带来的不利影响。仿真实验表明TRELM可以降低半监督学习过程中的重复性运算并且显著提升半监督学习的泛化成绩和训练速度。’3)提出一种广义半监督学习系统一基于ARTMAP网络的范例推理(case-basedreasoning,CBR)分类系统，并将其应用于遥感图像序列的分类问题。多数半监督学习方法仅着眼于学习同一时刻的标记样本和未标记样本，缺乏对以前获取的样本序

5、列的挖掘和整合。本文所提分类系统将ARTMAP网络作为知识的提取器，并按照CBR框架进行知识的管理操作，可实现遥感样本数据的合理储备、优化组合和重复基于神经网络的半监督学习方法研究利用；在一定程度上拓展了半监督分类方法的样本选择范围，提高了数据序列的利用效率。关键词：半监督；神经网络；极端学>--j机；可逆学习；范例推理大连理工大学博士学位论文ResearchonNeuralNetworks··basedSemi··supervisedLearningMethodsAbstractTraditionalsupervisedlearningmethodsgenerallyrequ

6、irealotoflabeledsamplestoaccomplishtheirtrainingtasks．However,inpracticalapplications，thecollectionoflabeledsamplesisverydifficultandwasteoftime．Thelackoflabeledsamplesisoneofthebottlenecksforsupervisedlearningmethods．Althoughunsupervisedlearningmethodsdonotrequirelabeledsamples，theyarelacko

7、ftheeffectiveguideprovidedbyPnoriinformationandcannotguaranteetheaccuracy．Itisavaluableissuetoappropriatelyutilizebothlabeledandunlabeledsamplestoimprovethelearningperformance．Semi-supervisedlearningisthenewlyproposedtheorythatfocusesonlearningboth