数据分析如何处理数据缺失 问题

《数据分析如何处理数据缺失 问题》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、数据分析如何处理数据缺失问题造成数据缺失的原因     在各种实用的数据库中，属性值缺失的情况经常发全甚至是不可避免的。因此，在大多数情况下，信息系统是不完备的，或者说存在某种程度的不完备。造成数据缺失的原因是多方面的，主要可能有以下几种：    1）有些信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就致使一部分属性值空缺出来。又如在申请表数据中，对某些问题的反映依赖于对其他问题的回答。    2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错

2、误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。    3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入状况等。    4）有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关的，或训练数据库的设计者并不在乎某个属性的取值（称为dont-carevalue）。    5）获取这些信息的代价太大。 6）系统实时性能要求较高，即要求得到这些信息前迅速做出判断或决策。处理数据缺

3、失的机制     在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量（属性）称为完全变量，数据集中含有缺失值的变量称为不完全变量，Little和Rubin定义了以下三种不同的数据缺失机制：    1）完全随机缺失（MissingCompletelyatRandom，MCAR）。数据的缺失与不完全变量以及完全变量都是无关的。    2）随机缺失（MissingatRandom，MAR）。数据的缺失仅仅依赖于完全变量。    3）非随机、不可忽略缺失（NotMissingatRan

4、dom,NMAR，ornonignorable）。不完全变量中数据的缺失依赖于不完全变量本身，这种缺失是不可忽略的。空值语义     对于某个对象的属性值未知的情况，我们称它在该属性的取值为空值(nullvalue)。空值的来源有许多种，因此现实世界中的空值语义也比较复杂。总的说来，可以把空值分成以下三类：    1)不存在型空值。即无法填入的值，或称对象在该属性上无法取值，如一个未婚者的配偶姓名等。    2)存在型空值。即对象在该属性上取值是存在的，但暂时无法知道。一旦对象在该属性上的实际值被确知以后，人们就可

5、以用相应的实际值来取代原来的空值，使信息趋于完全。存在型空值是不确定性的一种表征，该类空值的实际值在当前是未知的。但它有确定性的一面，诸如它的实际值确实存在，总是落在一个人们可以确定的区间内。一般情况下，空值是指存在型空值。    3)占位型空值。即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚，是最不确定的一类。这种空值除填充空位外，并不代表任何其他信息。空值处理的重要性和复杂性     数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说，空值的存在，造成了以下影响：首先，系统丢失了大量

6、的有用信息；第二，系统中所表现出的不确定性更加显著，系统中蕴涵的确定性成分更难把握；第三，包含空值的数据会使挖掘过程陷入混乱，导致不可靠的输出。    数据挖掘算法本身更致力于避免数据过分适合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此，空缺的数据需要通过专门的方法进行推导、填充等，以减少数据挖掘算法与实际应用之间的差距。空值处理方法的分析比较     处理不完备数据集的方法主要有以下三大类：（一）删除元组     也就是将存在遗漏信息属性值的对象（元组，记录）删除，从而得到一个完备的信

7、息表。这种方法简单易行，在对象有多个属性缺失值、被删除的含缺失值的对象与信息表中的数据量相比非常小的情况下是非常有效的，类标号（假设是分类任务）缺少时通常使用。然而，这种方法却有很大的局限性。它是以减少历史数据来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。在信息表中本来包含的对象很少的情况下，删除少量对象就足以严重影响到信息表信息的客观性和结果的正确性；当每个属性空值的百分比变化很大时，它的性能非常差。因此，当遗漏数据所占比例较大，特别当遗漏数据非随机分布时，这种方法可能导致数据发生偏离

8、，从而引出错误的结论。（二）数据补齐     这类方法是用一定的值去填充空值，从而使信息表完备化。通常基于统计学原理，根据决策表中其余对象取值的分布情况来对一个空值进行填充，譬如用其余属性的平均值来进行补充等。数据挖掘中常用的有以下几种补齐方法：     (1)人工填写（fillingmanually）由于最了解数据的还是用户自己，因此这个方法产生数据偏离最