数据科学导论-github

《数据科学导论-github》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1数据科学导论IntroductiontoDataScience第四章数据挖掘基础刘淇Email:qiliuql@ustc.edu.cn课程主页：http://staff.ustc.edu.cn/~qiliuql/DS2017.htmlAnIntroductiontoDataScience10/21/2017数据挖掘基础2基本概念——数据挖掘是什么？现今与未来：Dataiseverythingandeverythingisdata从最不可能的地方获得数据人的坐姿千差万别，这是数据吗？怎么获得？日本先进工业技

2、术研究所的教授越水重臣数据挖掘基础3基本概念——数据挖掘是什么？现今与未来：Dataiseverythingandeverythingisdata当一个人坐着的时候，他的身形、姿势和重量分布都可以量化和数据化在汽车座椅下部安装360个压力传感器测量人对椅子施加的压力，用0~256的数值量化•把人体屁股特征转化成了数据，产生独属于每个乘坐者的精确数据资料。•汽车可以准确的识别乘坐者的身份：汽车防盗系统数据挖掘基础4基本概念——数据挖掘是什么？数据挖掘：从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先

3、前未知的和可能有用的模式或知识，并据此更好的服务人们的生活。数据挖掘基础5基本概念——数据挖掘是什么？数据挖掘的近义词可视化从数据中挖掘知识人工智能知识提炼数据挖掘高性能数据/模式分析数据考古机器学习统计学数据捕捞、信息收获、资料勘探等。数据库数据中的知识发现（KDD：KnowledgeDiscoveryinData）数据挖掘基础6参考书数据挖掘导论（Pang-NingTan,MichaelSteinbach,VipinKumar,AddisonWesley）数据挖掘基础7四个任务——数据挖

4、掘有哪些任务？ClusteringClassificationDataAssociationAnomalyAnalysisDetection数据挖掘基础8四个任务——聚类(Clustering)：铁路票价制定如何制定合适的票价提高上座率？将旅客进行聚类分析，根据旅客乘坐高铁频率的不同提供不同的优惠政策。合适的定价是提高高铁上座率的保障。Clustering数据挖掘基础9四个任务——聚类(Clustering)：Queryclustering“USTC”,“中科大”，“中国科大”,“中国科学技术大学”“长

5、城”，“颐和园”，“故宫”搜索情境理解当前搜索意图颐和园长城汽车?万里长城?数据挖掘基础10四个任务——AssociationRule（关联规则）“啤酒与尿布”在一次圣诞节的顾客消费行为分析中，沃尔玛意外发现跟尿布一起购买最多的商品竟然是啤酒。经过深入分析后，卖场立即对两类商品的空间距离与价格都进行了调整，结果尿布与啤酒销量双双大增。萨姆·沃尔顿，沃尔玛公司创始人轰动一时的啤酒与尿布关联规则数据挖掘基础11四个任务——AssociationRule（关联规则）数据挖掘基础12四个任务——Associati

6、onRule（关联规则）向林彪同志学习数据挖掘：不打无把握之仗找到最有价值用户，俘获“廖耀湘”类的VIP1948年10月东北野战军先克锦州再战辽西一个普通战报的数据引起林彪注意–胡家窝棚“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”短枪小车军官数据挖掘基础13四个任务——PredictiveModeling:Classification(分类)Findamodelforcl

7、assattributeasafunctionofthevaluesofotherattributesEmployedClassNoYes#yearsatLevelofCreditTidEmployedpresentEducationWorthyaddressNo1YesGraduate5YesEducation2YesHighSchool2No{Highschool,Graduate3NoUndergrad1NoUndergrad}4YesHighSchool10Yes……………NumberofNumberof

8、10yearsyears>3yr<3yr>7yrs<7yrsModelforpredictingcreditworthiness（信任）YesNoYesNo数据挖掘基础14四个任务——PredictiveModeling:Classification(分类)Predictingtumorcellsasbenignormalignant(良性还是恶性)邮件分类（垃圾邮