选择性集成学习算法综述

《选择性集成学习算法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３４卷第８期计算机学报Ｖｏｌ．３４Ｎｏ．８２０１１年８月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＡｕｇ．２０１１选择性集成学习算法综述张春霞张讲社（西安交通大学理学院西安７１００４９）（西安交通大学机械制造系统工程国家重点实验室西安７１００４９）摘要集成学习因其能显著提高一个学习系统的泛化能力而得到了机器学习界的广泛关注，但随着基学习机数目的增多，集成学习机的预测速度明显下降，其所需的存储空间也迅速增加．选择性集成学习的主要目的是进一步改善集成学习机的预测效果，提高集成学习机的预测速度，并降低

2、其存储需求．该文对现有的选择性集成学习算法进行了详细综述，按照算法采用的选择策略对其进行了分类，并分析了各种算法的主要特点，最后对选择性集成学习在将来的可能研究方向进行了探讨．关键词选择性集成学习；基学习机；集成学习机；多样性；泛化能力中图法分类号ＴＰ１８１犇犗犐号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１１．０１３９９犃犛狌狉狏犲狔狅犳犛犲犾犲犮狋犻狏犲犈狀狊犲犿犫犾犲犔犲犪狉狀犻狀犵犃犾犵狅狉犻狋犺犿狊ＺＨＡＮＧＣｈｕｎＸｉａＺＨＡＮＧＪｉａｎｇＳｈｅ（犉犪犮狌犾狋狔狅犳犛犮犻犲狀犮犲，犡犻′犪

3、狀犑犻犪狅狋狅狀犵犝狀犻狏犲狉狊犻狋狔，犡犻′犪狀７１００４９）（犛狋犪狋犲犓犲狔犔犪犫狅狉犪狋狅狉狔犳狅狉犕犪狀狌犳犪犮狋狌狉犻狀犵犛狔狊狋犲犿狊犈狀犵犻狀犲犲狉犻狀犵，犡犻′犪狀犑犻犪狅狋狅狀犵犝狀犻狏犲狉狊犻狋狔，犡犻′犪狀７１００４９）犃犫狊狋狉犪犮狋Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇｈａｓｒｅｃｅｉｖｅｄｌｏｔｓｏｆａｔｔｅｎｔｉｏｎｉｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇｄｕｅｔｏｉｔｓｐｏｔｅｎｔｉａｌｔｏｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｔｈｅｇｅｎｅｒａｌｉｚａ

4、ｔｉｏｎｃａｐａｂｉｌｉｔｙｏｆａｌｅａｒｎｉｎｇｓｙｓｔｅｍ．Ｗｉｔｈｉｎｃｒｅａｓｉｎｇｎｕｍｂｅｒｏｆｅｎｓｅｍｂｌｅｍｅｍｂｅｒｓ，ｈｏｗｅｖｅｒ，ｔｈｅｐｒｅｄｉｃｔｉｏｎｓｐｅｅｄｏｆａｎｅｎｓｅｍｂｌｅｍａｃｈｉｎｅｄｅｃｒｅａｓｅｓｓｉｇｎｉｆｉｃａｎｔｌｙａｎｄｉｔｓｓｔｏｒａｇｅｎｅｅｄｉｎｃｒｅａｓｅｓｑｕｉｃｋｌｙ．Ｔｈｅａｉｍｏｆｓｅｌｅｃｔｉｖｅｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇｉｓｔｏｆｕｒｔｈｅｒｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｏｆａｎｅｎｓｅｍｂｌ

5、ｅｍａｃｈｉｎｅ，ｔｏｅｎｈａｎｃｅｉｔｓｐｒｅｄｉｃｔｉｏｎｓｐｅｅｄａｓｗｅｌｌａｓｔｏｄｅｃｒｅａｓｅｉｔｓｓｔｏｒａｇｅｎｅｅｄ．Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｄｅｔａｉｌｅｄｒｅｖｉｅｗｏｆｔｈｅｃｕｒｒｅｎｔｓｅｌｅｃｔｉｖｅｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓａｎｄｃａｔｅｇｏｒｉｚｅｓｔｈｅｍｉｎｔｏｄｉｆｆｅｒｅｎｔｃｌａｓｓｅｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｉｒｕｔｉｌｉｚｅｄｓｅｌｅｃｔｉｏｎｓｔｒａｔｅｇｙ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｍａｉｎｃｈａｒａｃｔｅｒ

6、ｉｓｔｉｃｓｏｆｅａｃｈｒｅｐｒｅｓｅｎｔａｔｉｖｅａｌｇｏｒｉｔｈｍａｒｅｓｔｕｄｉｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｆｓｅｌｅｃｔｉｖｅｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｒｅｄｉｓｃｕｓｓｅｄ．犓犲狔狑狅狉犱狊ｓｅｌｅｃｔｉｖｅｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ；ｂａｓｅｌｅａｒｎｅｒ；ｅｎｓｅｍｂｌｅｍａｃｈｉｎｅ；ｄｉｖｅｒｓｉｔｙ；ｇｅｎｅｒａｌｉｚａｔｉｏｎｃａｐａｂｉｌｉｔｙ的预测模型（学习机），使我们可以对新的未知对象１引言给出尽可能精确的估计．

7、因此，人们关注的一个根本问题是如何提高学习系统的泛化能力．由于集成学模式分类与回归问题是机器学习和模式识别等习（ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ）在该方面的显著优势，近年研究领域中常遇到的最基本任务之一，该任务的主来对集成学习理论和算法的研究一直是机器学习要目标是利用实际数据构建一个具有较强泛化能力领域的一个热点，国际机器学习界的权威学者收稿日期：２０１００７２７；最终修改稿收到日期：２０１１０７１６．本课题得到国家自然科学基金（６１０７５００６）、教育部高等学校博士学科点专项科研基金（２０１００

8、２０１１２００４８）和中央高校基本科研业务费专项基金资助．张春霞，女，１９８０年生，博士，讲师，主要研究方向为集成学习、模式识别、Ｂｏｏｔｓｔｒａｐ随机抽样方法等．Ｅｍａｉｌ：ｃｘｚｈａｎｇ＠ｍａｉｌ．ｘｊｔｕ．ｅｄｕ．ｃｎ．张讲社，男，１９６２年生，博士，教授，主要研究领域为统计计算、模式识别、全局优化等．１４００计算机学报２０１１年Ｄｉｅｔｔｅｒｉｃｈ［１］曾在《ＡＩＭａｇａｚｉｎｅ》杂志上将集成学习的输出作为新的特征再