adaboost算法分析及简单应用

《adaboost算法分析及简单应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、動於林令孑科祙大净GUILINUNIVERSITYOFELECTRONICTECHNOLOGY机器学习课程结课论文学号、专业：姓名：yan氺氺论文题0:Adaboost算法分析及简舉应用指导教师：杨氺*所属学院：电子工程与自动化学院成绩评定教师签名桂林电子科技大学研究生院年月日Adaboost算法分析及简单应用Yan**（桂林电子科技大学电子工程与自动化学院广西桂林541004）摘要：本文主要阐述了在数据挖掘领域屮十个主要的分类算法之一一一Adaboost的来源、发展，以及开发应用，然后介绍丫在该算法的训练过程中一个简单的应

2、用，最后对该算法进行丫简单评价。关键词:Adaboost算法；发展背贵；训练过程；性能改进；分类算法AnalysisofthealgorithmanditssimpleapplicationYan^SchoolofelectronicengineeringandautomationofGuilinUniversityofElectronicTechnology,Guilin541004,ChinaAbstract:Thispapermainlydescribesoneofthetenmainclassificationalg

3、orithmindateaminingAdaboost.Firstly,itintroducestheorigin，developmentandapplication，thenintroducesthemaintrainingprocessofthealgorithm，simpleapplicationandfinallydiscussesthealgorithmsimply.Keywords:Adaboostalgorithm;developmentbackground;trainingprocess;performanc

4、eimprovement;classificationalgorithm1引言在1990年，Schapire提出了Boosting算法，次年Freund改进Boosting算法，这两种算法存在共同的实践上的缺陷，那就是都要求事先知道弱学习算法学习正确率的下限。1995年，Freund和Schapire共同改进了Boosting算法，提出了Adaboost（AdaptiveBoosting）算法，该算法效率和Freund于1991年提出的Boosting算法几乎相同，但不需要任何关于弱学习器的先验知识，因而更容易应用到实际问题

5、当中。Adaboost即AdaptiveBoosting,它通过自iS应学习算法来降低误差率，多次迭代后达到预期的效果。在另一方面，它并不需要知道样本空间的精确分布，每个样品经过弱学习调节后，通过权重的高低更新空间分布。该算法可以很容易地应用到实际问题，因此，己成为最流行的Boosting算法。在机器学习的算法中，Adaboost算法是一种比较重要且通用的用于特征分类的算法，在图像检索和人脸表情识別等问题中都有普遍应用。从现状看，人们对Adaboost算法的研究及应用主要集中用于分类问题上，另外在某些冋归问题上也有所涉及，比

6、如两类问题、多类单标签问题、多类多标签问题和回归问题。该学习算法可以提高其他算法的性能，其思想来自于1984年Valiant提出的PAC（ProbablyApproximatelyCorrect）（可能近似正确）学习模型，在这个PAC模型中，提出了两个概念-弱学习算法和强学习算法。其概念是:如果一个学习算法通过学4一组样本，识别率很高，则称其为强学习算法;如果识别正确率只冇50%左右，仅略高于随机猜测，则称其为弱学习算法。强分类器是指一种算法通过一些训练集的学习，来达到所需的正确识别率。如果一个学习算法的识别率仅好于随机的猜

7、测，则称其为弱分类器。通常，针对一个具体的识别问题，我们很难找到一个理想的强分类器，但是弱分类器一般都会有很多，基于这种现象，Adaboost算法被提出，它指出：通过一定的算法可以将一组弱分类器提升为一个强分类器。Adaboost在机器学习领域中十分重要，它是一种提高任意给定学习算法准确度的方法。也就是说，Adaboost算法为其他算法提供了一种框架结构，而其他算法只在其中作为子分类器，因此Adaboost算法可以运用在许多方面的实践上。如今通过Adaboost算法，我们实现了手写体字符识别，运用到了许多输入设备上，如流行的

8、触屏手机上的手写输入、笔记本电脑的手写输入、扫描仪扫面文字转化为电子文档。我们实现了阁像识别，如人脸识别、google上的阁片检索功能（很方便地找到我想要的清晰度更高的图片）。我们实现了语音识别，现在的WIN7上都有了一个语音识别的功能，我们能够让计算机知道我们说了什么话，并通过机器自动学