错误界理论及机器学习算法统计特性研究

《错误界理论及机器学习算法统计特性研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP181单位代码：11414学号：2013215042题目错误界理论及机器学习算法统计特性研究学科专业控制科学与工程研究方向模式识别与智能系统硕士生周佳佳指导教师刘建伟副研究员入学时间：2013年9月论文完成时间：2016年5月硕士学位论文独创性声明，独立进行研究工作郑重声明：本硕士学位论文是作者个人在导师的指导下所取得的成果，论文中不包含其他个人。除了文中特别加以标注和致谢的地方外和集体已经发表或撰写的研究成果，也不包含为获得中国石油大学或者其它单位的学位或证书所使用过的材料。对本研宂做出贡献的个人和集体，均己在论文中做了明确的说明并表示了谢意。作者和导师

2、完全意识到本声明产生的法律后果并承担相应责任。作者签名：ｍｓｉ日期：ＭｌｕｔＭ激４：导师签名：曰期＊硕士学位论文版权使用授权书本学位论文作者及指导教师完全了解中国石油大学（北京）学位论文版权使：用的有关规定，使用方式包括但不限于学校有权保留并向有关部门和机构送交学位论文的复印件和电子版；允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保存和汇编学位论文。：可以将本学位论文的全部或部分内容编入有关数据库进行检索，。本学位论文属于保密范围，保密期限ｉ年解密后适用本授权书本学位论文作者如需公开出版学

3、位论文的部分或全部内容，必须征得导师书一面同意，且须以中国石油大学（北京）为第署名单位。作者签名：日期：ｌ〇＼ｂ．〇ｂ．Ｑ＾Ｊ：导师签名：日期Ｊ－－Ｉ摘要摘要近年来，如何从理论上分析算法的泛化性能是机器学习主要研究问题。在机器学习中，泛化误差用来衡量一个学习机应用到未知数据的学习能力。我们希望找到一个泛化误差的上界，利用该上界来指导我们进行模型选择，从而得到一个具有更好泛化能力的学习机。鉴于此，本文主要对泛化误差上界进行研究讨论，且将学习场景限定在域自适应学习与在线学习中。域自适应学习可用来解决训练样本和测试样本概率分布不一致的机器学习问题。在线学习是机器学习

4、的重要分支，是一种实时交互式动态学习的机器学习方法。首先概述了泛化误差界的基本学习理论，并对我们研究的两种学习场景：域自适应回归学习和在线学习进行了综述，分别介绍了其学习理论和当下的热门研究方法。总结了两种学习场景下对泛化误差上界有待进一步讨论的问题。通过将域自适应分类场景中的学习思路应用到回归场景中，我们对域自适应回归场景中的误差上界进行重新求解，最终利用源域的误差和源域和目标域的对比离差距离给出目标域的误差上界。针对在线学习场景，我们提出了一种新的学习算法，其可应用于回归学习。自适应控制理论为我们提供了一个新的思路，李雅普诺夫稳定性定理为我们提供了完备的理论基础。我们构建与梯度下降算法类

5、似的目标函数，通过利用李雅普诺夫函数的稳定性定理，得到一个新的权值更新规则，且同时得到了误差损失上界和累积损失上界。最终在人工生成数据集和UCI真实数据集上的实验也证明了该算法在在线学习中的有效性。当要学习的真实模型是随时间改变的时变模型时，我们需要考虑学习算法对不断改变的模型如何保证依然具有较好的学习效果，以及如何设置学习率来提高学习效果，因此我们对迁移专家场景中的在线学习算法进行了研究。最终我们给出了迁移专家场景下的学习率的具体调整方法，且通过实验验证了该方法的有效性。最后总结全文，提出域自适应回归学习和在线学习中泛化误差上界的未来研究方向。关键词：泛化误差界；域自适应学习；在线学习；复

6、杂性度量；自适应控制；专家学习-II-ABSTRACTResearchonErrorBoundTheoryandtheStatisticalFeatureofMachineLearningAlgorithmsABSTRACTHowtoanalysethegeneralizationperformanceoftheproposedalgorithmisthemainprobleminmachinelearningresearch.Inthefieldofmachinelearning,thegeneralizationerrorisusedtomeasurethelearningability

7、whichisappliedtotheunknowndata.Wehopetofindanupperboundofthegeneralizationerror,anduseittoguideustochoosethemodel,andcangetabettergeneralizationabilityoflearningmachine.Givenallofthis,thisarticlemainlyfocus