特征选择的次优算法

《特征选择的次优算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、57特征选择的次优算法单独最优组合顺序前进法（SFS），广义SFS法（GSFS）顺序后退法（SBS），广义SBS法（GSBS）增l减r法（L-R法），广义L-R法（(Z,Z)法）lr58特征选择的遗传算法（GeneticAlgorithms）随机搜索算法；模拟生物进化的现象—进化计算（EvolutionaryComputing）；把优化问题比喻作在无数可能的重组和突变组合中发现适应性最强的组合的问题；“GeneticAlgorithmsaregoodattakinglarge,potentiallyhugesearchspacesandnavigatin

2、gthem,lookingforoptimalcombinationsofthings,solutionsyoumightnototherwisefindinalifetime.”----SalvatoreManganoRef.JohnHenryHolland,AdaptationinNaturalandArtificialSystems,MITPress,197559特征选择的遗传算法（GeneticAlgorithms）术语基因链码：代表问题一个解的编码（称为“个体”），编码的每位是一个“基因”；二值字符串，共d种；CD群体：解（个体）的集合；适应度：以给定

3、的优化准则（如某种类别可分性判据）评价解性能的优劣；基本操作交叉（crossover/recombination）：以两个个体为双亲作基因链码的交叉，产生两个新的个体作为后代；变异（mutation）：对某个体随机选取并翻转其中一位60特征选择的遗传算法（GeneticAlgorithms）算法的基本框架1.初始化进化的代数t=0；2.给出初始化群体P(t)，并令x为任意一个体；g3.对P(t)中每个个体估值，并将群体中最优解x’与x比g较，若优于x，则令x=x’；gg4.如果终止条件（通常是某个体的适应度达到设定的阈值）满足，则算法结束，x为最终结果。否则，转

4、步骤5；g5.从P(t)选择个体并进行交叉和变异操作，繁殖新一代个体P(t+1)，令t=t+1，转步骤3。61以分类性能为准则的特征选择方法（Wrapper方法）Wrapper方法对分类器的基本要求应该能够处理高维的特征向量；能在特征维数很高但样本数有限时仍然有较好的效果；62以分类性能为准则的特征选择方法（Wrapper方法）Wrapper方法实例：递归SVM（RecursiveSVM）和SVM递归特征剔除（SVMrecursivefeatureelimination）1.用当前所有候选特征训练线性SVM；2.评估当前所有特征在SVM中的相对贡献，按照相对贡献

5、大小排序；3.根据事先确定的递归选择特征的数目选择出的排序在前面的特征（SVM-RFE应为剔除排序在后面的特征），用这组特征构成新的候选特征，转（1），直到达到所规定的特征选择数目。Ref.:•XuegongZhangandetal.,RecursiveSVMfeatureselectionandsampleclassificationformass-spectrometryandmicroarraydata,BMCBioinformatics,7:197,2006.•I.Guyonandetal.,Geneselectionforcancerclassificatio

6、nusingsupportvectormachines,MachineLearning,46:389-422,2002.63以分类性能为准则的特征选择方法（Wrapper方法）nSVM()输出函数：fxwxbybiii(xx);i1RSVM考察两类在当前特征上的分离程度：ddd11Sf(x)f(x,)Swjmjwjmjwj(mjmj)n1xn2xj1j1j112其中，w是w的第j个分量，m、m分别是两类样本在第j维特征上的均值；jjj每维特征的贡献：sw(mm),j,1,d;jj

7、jjSVMRFE考察SVM输出与正确类别标号y之间的平均平方误差：n1n22Jwxiyi;i1RFE2sw.jj64讨论：模式识别问题的主要过程问题的提出和定义数据获取和预处理特征提取和选择分类器设计和性能评估分类及结果解释