《数据挖掘、机器学习和weka》

《《数据挖掘、机器学习和weka》》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘—实用机器学习技术及Java实现原书英文版《DataMining—PracticalMachineLearningToolsandTechniqueswithJavaImplementations》，新西兰IanH.Witten、EibeFrank著WekaAnopensourceframeworkfortextanalysisimplementedinJavathatisbeingdevelopedattheUniversityofWaikatoinNewZealand.http://www.cs.waikato.ac.

2、nz/ml/weka/http://www.mkp.com/datamining/概念：KDD、ML、OLAP与DMKDD（KnowledgeDiscoveryinDatabase）是一种知识发现的一连串过程。ML（MachineLearning）＝KD，不限于Database的数据过程：挖掘－数据模式－表示－验证－预测OLAP（OnlineAnalyticalProcess）是数据库在线分析过程。数据挖掘（dataMining）只是KDD/ML的一个重要组成部分。DM用在产生假设，而OLAP则用于查证假设概念：DM与DBData

3、Preparation要占Datamining过程70％工作量「Database」＋「Datamining」＝会说话的数据库概念：DataMining概念：数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程KeyCharacteristicsofDataMining：LargeamountofdataDiscoveringpreviouslyunknown,hiddeninformationExtractingvaluableinformationMakingimportantbusinessdecision

4、usingtheinformationDM/ML的一些要点Thedataisstoredelectronicallyandthesearchisautomatedbycomputer;Aboutsolvingproblemsbyanalyzingdataalreadypresentindatabases;Definedastheprocessofdiscoveringpatternsindata;Thisbookisabout——Techniquesforfindinganddescribingstructuralpatterns

5、indata.structuralpatterns表示法：表、树、规则概念：MachineLearningTolearn:togetknowledgeofstudy,experience,orbeingtaught;tobecomeawarebyinformationorfromobservation;tocommittomemory;tobeinformedof,ascertain(确定);toreceiveinstructionShortcomingswhenitcomestotalkingaboutcomputesIt’sv

6、irtuallyimpossibletotestiflearningasbeanachievedornot.Thistieslearningtoperformanceratherthanknowledge简单例子：天气问题*天气数据：weather.nominal.arff运行Weka，载入数据，选择算法id3预测（决策树）outlook=rainy

7、windy=TRUE:no

8、windy=FALSE:yes测试方法：采用10Cross-validation的测试结果：ConfusionMatrix(P.138)和准确率ab<--

9、classifiedas81

10、a=yes14

11、b=noCorrectlyClassifiedInstances1285.7143%IncorrectlyClassifiedInstances214.2857%其他算法：NeuralNetwork数据挖掘的过程步骤：见『回顾：DM的步骤』输入：Concepts,Instances,AttributesConcept四种基本的学习类型Classification,association,clustering,numericprediction不考虑类型，我们把要学习的称为Concept

12、，而把学习的输出成为conceptdescriptionInstance：数据样本记录Attribute：数据字段Nominal：outlook:sunny=>noOrdinal：距离无法度量，如hot>mild>coolInterval：距离可度