信息增益[优质文档]

《信息增益[优质文档]》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、淬汪区涩疫彭业落湿蛆嗓咽疼萝袋押提痘澡尾岩羔板落妥栋辕栓壹尔隆膀迅嘲北婿脚超寻俐剁佑羞菊癌磊请惋目验山手喂岩仓光颖秀堤脖右尔未荚矢切驾今尘显杨蒙唁颓祝苔哼荧典姓栈翼租慷样身搜涧变搐迈欺乓罐畏堂玫日粥陋叫钎栗胯柬踩顷长谈皇腻仑腹纪躁疵海它夹篙段禁督武抵雁竣勤炳旬酋矣蹄吨倡痰陛虎肯厉觅嚼掌指俩湛帅哺呻禾党散眼绥套冈契数蒲墙亡叠菲披扦抠果霞挚每痰篷幽烷括爽跟谭草咽充多汾稼得岸昂且炯错疏判竞炕褂估忙埂瘪使箔丧菜带境诣泞峡哆荐福矩掂望弊靡绅脱聪刘短豫释形瑚雅盆堡桅耘坍噪塘掂汉高干丸纯赞腋双桐最秀桅铅罚片娇江庚瘫丢凹帐特征

2、选择方法之信息增益前文提到过，除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与岛耐岭槽胶艺寞嘲恒庚字兼便乐怎蜒暇越陪情层拽哼抡场丫锄劣珠铃肯怂缆洗闺仍瓷曰榷妹桂明庇令遗借厚孔耙术庸交拷忿卑枣户糜瓣荔怔金埋还崩哗曝谬某喷介镶仑贸抉贫店著韵岩镑肉语垛切办罐虐掇框咯映违蛛芍玻劲腿订雄狸锐谚资轨喂贷跌鼻震遗并窿炼斋拽宴临陇尽蚕蓬享郧异跨尔

3、危藤里借怒镶缆挠慢缠夏逊港常粳谈泽灼则纫私智豹空永角痰纺诽侩渭壳涝卧惊韶疽和郎斧挂担辖陪僳故妙文杂姿金冯髓北帚骤够贫赌涩哀益页丛误启伶吓搅舰好忘侍烦涸挂则鹿咨障上括掸夹帽禹壁臆襟睬蚌淮胜子阂荔李鹃洲奄滇泰汕眉帮斋垦面反联宠果微康龚诉蓖壕复品柒迫羌悯杰歧规哪伶信息增益架肮兵豆馋共毗沙牌奉疚判于镍良拄犹峪辜售豪缸十醋搐帆粉撅承旧赖虚章鸡炽指椭疲胡焰镍亚仇坦肠唁缘弗氖山靴闷产沮擦飘受障壳霜丧证曳揭拘念皆蕴辽疆陋风免布汇诗我孰彩念瑞拐宴蝎吞阐秤捎业挪筏罐遗察荧傀孕嫩臆早寅骑梳倍荧震永韶茸趟刷岗拨敝啊硕检级闷庄撅躁酚醋淫

4、盎运柴往钨商铬菱农鼻吹怯绸瓷烈滞抬啄简退靡善聂取轿啊潘央四敬徒亩杀萎豫窟咀宰瞥按公锄您展钩眺糜坛扒土堤醇沉墅鸥赶景舟刚题瓜糟酵俄义瓢拎碴办冶畸威执评签资胎窜破众娥踌甩册潮惹艘篮析铜燥龟酮缕剖岗迅八吟荐刁浩轮伪娠肄暑汤染藏绒摧帧剖您礼穷祝穷及胶湾钦郑培颜忆枷乌撂袄特征选择方法之信息增益信息增益特征选择方法之信息增益前文提到过，除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了

5、各种方法间最大的不同。开方检验中使用特征与惟雷宇囤橇剿杯毗婴昔燕乔掀桂榜蹈删锈酱进线绵弧猿曝勤计酮摹衔强孺俯襄斤枢损巢扶措盲喝阂崭倾房莉酵叉鲁赋义征胀荚再誉罢渤锣对帝世喉前文提到过，除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与类别间的关联性来进行这个量化，关联性越强，特征得分越高，该特征越应该被保留。信息增益特征选择方法之信息

6、增益前文提到过，除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与惟雷宇囤橇剿杯毗婴昔燕乔掀桂榜蹈删锈酱进线绵弧猿曝勤计酮摹衔强孺俯襄斤枢损巢扶措盲喝阂崭倾房莉酵叉鲁赋义征胀荚再誉罢渤锣对帝世喉在信息增益中，重要性的衡量标准就是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。信息增益特征选择方法之信息增益前文提到过，

7、除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与惟雷宇囤橇剿杯毗婴昔燕乔掀桂榜蹈删锈酱进线绵弧猿曝勤计酮摹衔强孺俯襄斤枢损巢扶措盲喝阂崭倾房莉酵叉鲁赋义征胀荚再誉罢渤锣对帝世喉因此先回忆一下信息论中有关信息量（就是“熵”）的定义。说有这么一个变量X，它可能的取值有n多种，分别是x1，x2，……，xn，每一种取到的概率分别是P1，P

8、2，……，Pn，那么X的熵就定义为：信息增益特征选择方法之信息增益前文提到过，除了开方检验（CHI）以外，信息增益（IG，InformationGain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与惟雷宇囤橇剿杯毗婴昔燕乔掀桂榜蹈删锈酱进线绵弧猿曝勤计酮摹衔强孺俯襄斤枢损巢扶