机器学习中的特征选择.ppt

《机器学习中的特征选择.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、FeatureSelectionforClassification李军政2017.5.102021/8/262单击此处添加文字内容综述单击此处添加文字内容特征选择流程单击此处添加文字内容几种常用的特征选择算法单击此处添加文字内容总结1234综述What从全部特征中选取一个特征子集，使构造出来的模型更好。Why在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：分析特征、训练模型耗时长模型复杂、推广能力差引起维度灾难2021/8/263维度灾难随着维数的增加，特征空间的体积指数增加，从而导致各方面的成本指数增加样本数量存储空间计算量

2、……2021/8/264如何从中选出有用的特征？？2021/8/265单击此处添加文字内容综述单击此处添加文字内容特征选择流程单击此处添加文字内容几种常用的特征选择算法单击此处添加文字内容总结1234特征选择流程2021/8/266GeneratorEvaluationStopRuleValidationSubsetYesNoOriginalFeatureSet两个主要步骤产生过程特征子集的产生可以看作是一个搜索过程，搜索空间中的每一个状态都是一个可能特征子集。搜索的算法分为完全搜索(Complete)，启发式搜索(Heuristic)，随机搜索(Random)3大类。评价函数评价函数是评价一

3、个特征子集好坏的准则特征的评估函数分为五类：相关性，距离，信息增益，一致性和分类错误率。2021/8/267搜索算法之完全搜索完全搜索分为穷举搜索与非穷举搜索两类广度优先搜索(BFS)分支限界搜索(BAB)定向搜索(BS)最优优先搜索(BestFirstSearch)2021/8/268BS:首先选择N个得分最高的特征作为特征子集，将其加入一个限制最大长度的优先队列，每次从队列中取出得分最高的子集，然后穷举向该子集加入1个特征后产生的所有特征集，将这些特征集加入队列。搜索算法之启发式搜索启发式搜索序列前向选择(SFS)序列后向选择(SBS)双向搜索(BDS)增L去R选择算法(LRS)L和R的选

4、择是关键序列浮动选择(SequentialFloatingSelection)决策树(DTM)2021/8/269LRS两种形式:<1>算法从空集开始，每轮先加入L个特征，然后从中去除R个特征，使得评价函数值最优。(L>R)在训练样本集上运行C4.5或其他决策树生成算法，待决策树充分生长后，再在树上运行剪枝算法。则最终决策树各分支处的特征就是选出来的特征子集。一般使用信息增益作为评价函数。L和R怎么确定？？搜索算法之随机算法随机算法随机产生序列选择算法(RGSS)随机产生一个特征子集，然后在该子集上执行SFS与SBS算法模拟退火算法(SA)以一定的概率来接受一个比当前解要差的解，因此有可能会跳

5、出这个局部的最优解，达到一个全局次最优解遗传算法(GA)共同缺点：依赖于随机因素，有实验结果难以重现2021/8/2610评价函数作用是评价产生过程所提供的特征子集的好坏按照其工作原理，评价函数可以分为三种模型：过滤模型（FilterModel）封装模型（WrapperModel）混合模型（EmbeddedModel）被称为特征选择的经典三刀：飞刀（Filter）弯刀（Wrapper）电刀（Embedded）2021/8/2611评价函数—过滤模型2021/8/2612根据特征子集内部的特点来衡量其好坏，如欧氏距离、相关性、信息熵等特征子集在学习算法运行之前就被选定学习算法用于测试最终特征子集

6、的性能特点：简单、效率高，但精度差评价函数—封装模型学习算法封装在特征选择的过程中，用特征子集在学习算法上得到的挖掘性能作为特征子集优劣的评估准则。与过滤模型相比，精度高、但效率低。根本区别在于对学习算法的使用方式2021/8/2613评价函数—混合模型混合模型把这两种模型进行组合，先用过滤模式进行初选，再用封装模型来获得最佳的特征子集。2021/8/26142021/8/2615常用评价函数特征的评价函数分为五类：相关性；距离；信息增益；一致性；分类错误率前四种属于过滤模型，分类错误率属于封装模型从概率论的角度相关系数：值域范围：[-1,+1]绝对值越大，相关性越大常用评价函数从数理统计的角

7、度(假设检验)T检验检验与相关系数在理论上非常接近，但更偏重于有限样本下的估计T检验统计量：其中，n为样本容量，、为样本均值和方差，为总体方差。2021/8/2616常用评价函数从信息论角度条件熵与“相关性”负相关信息增益相对信息增益互信息量(MutualInformation)2021/8/2617常用评价函数IR领域的度量（逆）文档词频(inversedocumentfrequency)词强度