数据挖掘概念与技术原书第2版第2章数据预处理

《数据挖掘概念与技术原书第2版第2章数据预处理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成第二章数据预处理现实世界的数据是“脏的”——数据多了，什么问题都会出现不完整缺少数据值；缺乏某些重要属性；仅包含聚集数据；e.g.,occupation=""有噪声包含错误或者孤立点e.g.Salary=-10数据不一致e.g.,在编码或者命名上存在差异e.g.,过去的等级：“1,2,3”,现在的等级：“A,B,C”e.g.,重复记录间的不一致性为什么进行数据预处理不完整数据的成因数据收集的时候就缺乏合适的值数据收集时和数据分析时的不同

2、考虑因素人为/硬件/软件问题噪声数据（不正确的值）的成因数据收集工具的问题数据输入时的人为/计算机错误数据传输中产生的错误数据不一致性的成因不同的数据源违反了函数依赖性数据为什么会变“脏”？没有高质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据e.g.重复值或者空缺值将会产生不正确的或者令人误导的统计数据仓库需要对高质量的数据进行一致地集成数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤预处理为什么是重要的？一个广为认可的多维度量观点：精确度完整度一致性合乎时机可信度附加价值可解释性跟数据

3、本身的含义相关的内在的、上下文的、表象的以及可访问性数据质量的多维度量数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果数据离散化数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要数据预处理的主要任务为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成第二章数据预处理动机：为了更好的理解数据获得数据的总体印像识别数据的典型特征凸显噪

4、声或离群点度量数据的中心趋势均值、中位数、众数（模）、中列数度量数据的离散程度四分位数、四分位数极差、方差等描述性数据汇总度量可以分为三类：分布式度量(distributivemeasure)：将数据集划分为较小的子集，计算每个子集的度量，然后合并计算结果，得到原数据集的度量值。比如：count()，sum()，min()，max()等代数度量(algebraic)：可以通过应用一个代数函数于一个或多个分布式度量计算的度量。比如：平均值函数avg()（avg()=sum()/count()）整体度量(holistic)：必须对整个

5、数据集计算的度量比如：median()，mode()，rank()度量的分类算术平均值加权算术均值截断均值（trimmedmean）：去掉高、低极端值得到的均值e.g.计算平均工资时，可以截掉上下各2％的值后计算均值，以抵消少数极端值的影响中位数：有序集的中间值或者中间两个值平均整体度量；但是可以通过插值法计算近似值度量数据的中心趋势众数（Mode，也叫模）：集合中出现频率最高的值单峰的（unimodal，也叫单模态）、双峰的（bimodal）、三峰的（trimodal）；多峰的（multimodal）对于适度倾斜（非对称的）的单

6、峰频率曲线，可以使用以下经验公式计算众数最常用度量：极差、五数概括（基于四分位数）、中间四分位数极差和标准差极差（range）：数据集的最大值和最小值之差百分位数(percentile)：第k个百分位数是具有如下性质的值x：k%的数据项位于或低于x中位数就是第50个百分位数四分位数：Q1(25thpercentile),Q3(75thpercentile)中间四分位数极差(IQR)：IQR=Q3–Q1孤立点：通常我们认为：挑出落在至少高于第三个四分位数或低于第一个四分位数1.5×IQR处的值度量数据的离散度（1）五数概括:min,

7、Q1,Median,Q3,max盒图：数据分布的一种直观表示方差和标准差方差：n个观测之x1,x2...xn的方差是标准差是方差的平方根标准差是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用所有观测值相同则＝0，否则>0方差和标准差都是代数度量度量数据的离散度（2）盒图：数据分布的一种直观表示，在盒图中：端点在四分位数上，使得盒图的长度是IQR中位数M用盒内的线标记胡须延伸到最大最小观测值该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图分店1中位数$80Q1:$60Q3:$100盒图——示

8、例使用盒图的数据离散的可视化描述常用的显示数据汇总和分布的方法：直方图、分位数图、q-q图、散布图和局部回归曲线直方图：是一种概括给定属性分布的图形方法将数据分布划分成不相交的子集或桶，通常每个桶宽度一致并用一个矩形表示，其高度表示桶中数据在给定数