数据仓库与数据挖掘技术 第四章 数据预处理new

《数据仓库与数据挖掘技术 第四章 数据预处理new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与数据挖掘技术第4章数据预处理4.1数据预处理概述4.1.1原始数据中存在的问题1.不一致2.重复3.不完整4.含噪声5.维度高6.数据不平衡4.1.2数据预处理的方法和功能1.数据清洗(datacleaning)2.数据集成(dataintegration)3.数据变换(datatransformation)4.数据归约(datareduction)4.2数据清洗4.2.1属性选择与处理1.尽可能赋予属性名和属性值明确的含义2.统一多数据源的属性值编码3.处理唯一属性4.去除重复属性5.去除可忽略字段6.合

2、理选择关联字段数据仓库与数据挖掘技术4.2.2空缺值处理1.忽略该记录2.去掉属性3.写空缺值4.使用默认值5.使用属性平均值6.使用同类样本平均值7.预测最可能的值4.2.3噪声数据处理1.分箱(binning)2.聚类(clustering)图4-1用聚类方法去掉噪声3.回归(regression)数据仓库与数据挖掘技术4.2.4不平衡数据的处理4.3数据集成和变换4.3.1数据集成1.模式匹配2.数据冗余3.数据值冲突4.3.2数据变换1.平滑(smoothing)2.聚集(clustering)3.数据概化(

3、generalization)4.规范化(normalization)5.属性构造数据仓库与数据挖掘技术4.4数据归约4.4.1数据归约的方法4.4.2数据立方体聚集图4-2销售数据立方体图4-3聚集后的销售数据立方体数据仓库与数据挖掘技术4.4.3维归约1.逐步向前选择2.逐步向后删除3.向前选择和向后删除结合4.判定树(dicisiontree)归纳图4-4用判定数进行属性归约5.基于统计分析的归约4.4.4数据压缩4.4.5数值归约1.直方图(histogram)图4-5购买数据的单桶直方图数据仓库与数据挖掘技

4、术图4-6购买数据的等宽直方图(箱宽5)2.聚类3.抽样(sampling)图4-7示例数据集数据仓库与数据挖掘技术图4-8用户数据按年龄分层抽样4.线性回归5.非线性回归4.4.6离散化与概念分层生成图4-9分箱产生的概念分层和离散化数据仓库与数据挖掘技术1.数值数据的离散化与概念分层生成图4-103-4-5规则产生的概念分层图4-11数据集D的分布曲线图4-12在置信区间［5%，95%］上的第一层划分图4-13对缺失区间补充的划分数据仓库与数据挖掘技术图4-14对图4-13进一步分层2.分类数据的概念分层生成图4

5、-15对属性组：year，month，day的概念分层习题41.列举实际业务操作数据中存在的问题以及这些问题产生的原因。2.数据预处理涉及哪些方法，这些方法分别用于解决数据中的哪方面的问题？3.说明属性选取的原则。4.说明填补空缺值的方法和这些方法的优缺点。5.下面是一个超市某种商品连续24个月的销售数据(百元):21，16，19，24，27，23，22，21，20，17，16，20，23，22，18，24，26，25，20，26，23，21，15，17使用统一权重、统一区间、和自定义区间方法对数据分箱，做出各种分箱

6、方法得到的直方图。6.对上题中分箱后的数据采用平均值、边界值或中值等方法进行平滑。7.如果挖掘算法需要把第5题中的商品销售数据规范化到区间［0，1］上，采用最小-最大规范化方法，请写出规范化后的结果。8.试采用一种分箱方法，对以下某种商品连续30周的销售利润数据进行归约(千元):数据仓库与数据挖掘技术3，2，5，7，4，2，5，6，8，8，4，5，4，6，2，3，7，5，5，4，6，3，4，7，8，3，6，4，2，39.解释本章中提到的几种数据抽样方法。10.用等宽分箱技术对排序后的数据集D=(0，0，2，2，2，4

7、，8，8，8，12，12，12，12，15，15，16，16，16，16，21，21，21，25，25，25，25，25，28，28，29，34，34，34，34，37，37，44，44，44，58，58，58，58，58，63，63，66，66，66，69，74，74，74，78，78)进行离散化，使得每箱宽度不大于5，形成概念分层。11.对连续数值型数据集D，取值范围为0～70，试用3-4-5规则对其进行离散化。