数据挖掘基础知识

《数据挖掘基础知识》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘原理与SPSSClementine应用宝典元昌安主编邓　松　李文敬　刘海涛　编著电子工业出版社1．1数据挖掘的社会需求现实情况：人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。现在人们已经评估出世界上信息的数量每二十个月翻一番，并且数据库的数量与大小正在以更快的速度增长。1．1数据挖掘的社会需求著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿

2、尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。1.2数据挖掘的定义—技术定义数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。1.2数据挖掘的定义—技术定义数据挖掘和信息检索：信息检索和数据挖掘的相同点是从档案文件或数据库中抽取感兴趣的数据和信息。区别在于数据检索对信息的抽取规则是事先定义好的，抽取的是外在信息。据挖掘于挖掘寻找现象之间事先未知的关系和关联

3、。1.2数据挖掘的定义—商业定义按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。它可以帮助企业对数据进行微观、中观乃至宏观的统计、分析、综合和推理，从而利用已有数据预测未来，帮助企业赢得竞争优势。1.2数据挖掘的定义—商业定义应用实例：某经营公司对多年来的客户资料进行挖掘后发现，大多数购买电脑的客户具有下面的特点：1、年轻（20—45岁之间）；2、收入高；3、居住地：城市；4、学历高；基

4、于此，此经营公司可以根据这些客户的特点有目的的做一些广告或者促销。1.3数据挖掘的发展历史—历史发展1989IJCAI会议：数据库中的知识发现讨论专题KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994KDD讨论专题AdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1

5、998KDD国际会议(KDD’95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD’1999-2002会议,以及SIGKDDExplorations数据挖掘方面更多的国际会议PAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,DaWaK,SPIE-DM,etc.1.3数据挖掘的发展历史—国内现状大部分处于科研阶段各大学和科研机构从事数据挖掘算法的研究国内著作的数据挖掘方面的书较少（翻译的有）数据挖掘讨论组（w

6、ww.dmgroup.org.cn）有一些公司在国外产品基础上开发的特定的应用IBMIntelligentMinerSASEnterpriseMiner自主知识产权的数据挖掘软件复旦德门（www.datamining.com.cn）等1.3数据挖掘的发展历史—未来发展数据库人工智能统计学上述学科的发展决定着数据挖掘的发展未来和方向1.4数据挖掘的系统分类数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习、可视化和信息科学。图1-2数据挖掘受多门学科影响的示意图1.4数据挖掘的系统分类技术分类预言（

7、Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘技术关联分析序列发现分类（预言）聚集异常检测汇总回归时间序列分析1.5数据挖掘的应用领域金融领域营销领域电子政务电信领域工业生产生物和医学1.5数据挖掘的应用领域—应用调查1.5数据挖掘的应用领域—金融信用卡分析业务模型客户信用等级评估客户透支分析客户利润分析客户消费行为分析客户消费异常行为分析1.5数据挖掘的应用领域—金融数据挖掘在反洗钱系统中的应用1.5数据挖掘的应用领域—营销关联分析--市场篮子分析，用于了解顾客的购买

8、习惯和偏好，有助于决定市场商品的摆放和产品的捆绑销售策略；序列模式与市场篮子分析相似，不过是用某时间点发现的产品购买或其他行为模式来预测将来购买产品或服务类别的概率；聚类用于市场细分，将顾客按其行为或特征模式的相似性划分为若干细分市场，以采取有针对性的营销策略；分类用于预测哪些人会对邮寄广告和产品目录、