探索性数据分析简介

《探索性数据分析简介》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、探索性数据分析简介ExploratoryDataAnalysis（EDA）探索性数据分析（EDA）是一个崭新的统计研究方向。近几十年来，已有多本关于EDA方面的著作和许多学术研究论文，实际应用也取得了明显成效。目前，探索性数据分析已得到统计学界的公认，是一个极有发展前途的新领域。DavidC.Hoaglin等著，陈忠琏等译.探索性数据分析.北京：中国统计出版社，19987/19/20211试验优化技术一、探索性数据分析的主要特点研究从原始数据入手，完全以实际数据为依据传统的统计分析方法是先假定数据服从某种分布，如多数情

2、况下假定数据服从正态分布，然后用适应这种分布的模型进行分析和预测。但客观实际的多数数据并不满足假定的理论分布（如正态分布），这样实际场合就会偏离严格假定所描述的理论模型，传统统计方法就可能表现很差，从而使其应用具有极大的局限性。EDA则不是从某种假定出发，而是完全从客观数据出发，从实际数据中去探索其内在的数据规律性。7/19/20212试验优化技术分析方法从实际出发，不以某种理论为依据传统的统计分析方法是以概率论为理论基础，对各种参数的估计、检验和预测给出具有一定精度的度量方法和度量值。EDA则以不完全正式的方法处理数

3、据。在探索数据内在的数量特征、数量关系和数量变化时，什么方法可以达到这一目的就采用什么方法，灵活对待，灵活处理。方法的选择完全服从于数据的特点和研究的目的，并且更重视数据特征值的稳健耐抗性，而相对放松对概率理论和精确度的刻意追求。7/19/20213试验优化技术分析工具简单直观，更易于普及传统的统计分析方法应用的数学工具越来越深奥，统计研究也越来越理论化，这样就使应用的人越来越害怕统计。EDA提供多种多样丰富多彩的详细考察数据的方法。例如，它运用简单直观的茎叶图、箱线图、残差图、字母值、数据变换、中位数平滑等与传统统计

4、方法截然不同的方法，使得具有一般数学知识的人就可以进行复杂的数据分析。这不仅极大地扩大了统计分析的用户群体，而且为统计思想注入了新的活力。7/19/20214试验优化技术1.耐抗性（Resistance）所谓耐抗性即对于数据的局部不良行为的非敏感性，它是EDA追求的主要目标之一。对于具有耐抗性的分析结果，当数据的一小部分被新的数据代替时，即使它们与原来的数值很不一样，分析结果也只会有轻微的改变。人们关注耐抗性，主要是因为“好”的数据也难免有差错甚至是重大差错，因此数据分析时要有防御大错的破坏性影响的措施。EDA是一种耐

5、抗分析方法，其分析结果具有较强的耐抗性。中位数平滑是一种耐抗技术。中位数（Median）是高耐抗统计量，而样本均值不是。二、探索性数据分析的四大主题7/19/20215试验优化技术2.残差（Residuals）残差是数据减去一个总括统计量或模型拟合值以后的残余部分，即：残差＝数据－拟合。例如：用若干对(xi，yi)拟合，则残差为。EDA认为，分析一组数据而不仔细考察残差是不完全的。EDA可以而且应该利用耐抗分析把数据中的主导行为与反常行为清楚地分离开。当数据的大部分遵从一致的模式，这个模式就决定一个耐抗拟合。耐抗残差包

6、含对于这个模式的剧烈偏离及机遇起伏。7/19/20216试验优化技术3.重新表达（Re－expression）重新表达即找到合适的尺度或数据表达方式以更利于简化分析。EDA强调，要尽早考虑数据的原始尺度是否合适的问题。如果尺度不合适，重新表达成另一个尺度可能更有助于促进对称性、变异恒定性、关系直线性或效应的可加性等。重新表达亦称变换（Transformation），一批数据x1，x2，…，xn的变换是一个函数T，它把每个xi用新值T(xi)来代替，使得变换后的数据值是T(x1)，T(x2)，…，T(xn)。7/19/2

7、0217试验优化技术4.启示（Revelation）EDA强调启示。所谓启示就是通过EDA新的图解显示和各种分析显示，发现规律，得到启迪，满足分析者的需要：看出数据、拟合、诊断量度以及残差等行为，从而抓住意想不到的特点以及常见的一贯行为。7/19/20218试验优化技术1.批（Batch）或数据批批即由n个观测值x1，x2，…，xn组成的数据组。在传统统计中，这个数据组常称为样本，但批只是原始数据组，没有像对样本那样的任何假设，如数据间独立、服从正态分布等。注意：在传统统计中，常用的样本均值、方差等统计量是不耐抗的，即

8、使只有一个异常数据也会对它们产生巨大的有害影响。而在EDA中，为了探索性目的，用基于排序和计数的简单的总括统计量，如中位数，常常是耐抗的，即一批数据的一小部分不论怎样变化也只对这个总括统计量有很小的影响。三、探索性数据分析的常用术语7/19/20219试验优化技术2.次序统计量（OrderStatistics）若把数据批x1，x2