机器学习工具WEKA的使用总结,包括算法选择、属性选择、参数优化

《机器学习工具WEKA的使用总结,包括算法选择、属性选择、参数优化》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、.一、属性选择：1、理论知识：见以下两篇文章：数据挖掘中的特征选择算法综述及基于WEKA的性能比较_陈良龙数据挖掘中约简技术与属性选择的研究_刘辉2、weka中的属性选择2.1评价策略（attributeevaluator）总的可分为filter和wrapper方法，前者注重对单个属性进行评价，后者侧重对特征子集进行评价。Wrapper方法有：CfsSubsetEvalFilter方法有：CorrelationAttributeEval2.1.1Wrapper方法：（1）CfsSubsetEval根据属性子集中每一个特征的预测能力以及它们之间的关联性进行评估，单个特征预测

2、能力强且特征子集内的相关性低的子集表现好。Evaluatestheworthofasubsetofattributesbyconsideringtheindividualpredictiveabilityofeachfeaturealongwiththedegreeofredundancybetweenthem.Subsetsoffeaturesthatarehighlycorrelatedwiththeclasswhilehavinglowintercorrelationarepreferred.Formoreinformationsee:M.A.Hall(1998).

3、Correlation-basedFeatureSubsetSelectionforMachineLearning.Hamilton,NewZealand.（2）WrapperSubsetEvalWrapper方法中，用后续的学习算法嵌入到特征选择过程中，通过测试特征..子集在此算法上的预测性能来决定其优劣，而极少关注特征子集中每个特征的预测性能。因此，并不要求最优特征子集中的每个特征都是最优的。Evaluatesattributesetsbyusingalearningscheme.Crossvalidationisusedtoestimatetheaccuracyof

4、thelearningschemeforasetofattributes.Formoreinformationsee:RonKohavi,GeorgeH.John(1997).Wrappersforfeaturesubsetselection.ArtificialIntelligence.97(1-2):273-324.2.1.2Filter方法：如果选用此评价策略，则搜索策略必须用Ranker。（1）CorrelationAttributeEval根据单个属性和类别的相关性进行选择。Evaluatestheworthofanattributebymeasuringthe

5、correlation(Pearson's)betweenitandtheclass.Nominalattributesareconsideredonavaluebyvaluebasisbytreatingeachvalueasanindicator.Anoverallcorrelationforanominalattributeisarrivedatviaaweightedaverage.（2）GainRatioAttributeEval根据信息增益比选择属性。Evaluatestheworthofanattributebymeasuringthegainratiowi

6、threspecttotheclass.GainR(Class,Attribute)=(H(Class)-H(Class

7、Attribute))/H(Attribute).（3）InfoGainAttributeEval根据信息增益选择属性。Evaluatestheworthofanattributebymeasuringtheinformationgainwithrespecttotheclass.InfoGain(Class,Attribute)=H(Class)-H(Class

8、Attribute)...（4）OneRAttributeEval根据OneR分类器评估

9、属性。Classforbuildingandusinga1Rclassifier;inotherwords,usestheminimum-errorattributeforprediction,discretizingnumericattributes.Formoreinformation,see:R.C.Holte(1993).Verysimpleclassificationrulesperformwellonmostcommonlyuseddatasets.MachineLearning.11:63-91.（5）Princ