大数据与统计学分析方法比较.pdf

《大数据与统计学分析方法比较.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据与统计学分析方法比较李薇(重庆邮电大学经济管理学院，重庆400065)摘要：基于理念分析和比较研究方法，对大数据的分析方法和传统统计学分析方法的关联性和差异进行了对比分析，从方法的基本思想、量化形式、数据来源、分析范式、分析方法、分析视角等角度揭示了两种社会科学分析方法存在的联系与差异。关键词：大数据；统计学；研究方法中图分类号：F27文献标识码：A文章编号：1672—3198(2015)11—0052一O1随着信息技术的日益发展与普及，信息以及数据的发展历程，不论是基础理论还是社会应用都极其坚在社会经济发展过程中发挥的作用越来越重要。现如实而丰富。大数据作为一种新兴的

2、事物规律认知和挖今，“大数据”时代已经来临，于是如何更有效地利用数掘思维，也将会对人类的价值体系、知识体系和生活方据快速做出科学决策也已成为众多企业甚至是国家所式产生重要影响，甚至引发重大改变。作为两种认知共同关注的焦点问题。在数据处理和分析方法方面，世界和事物规律的基本方法，它们在以下两个方面存《统计学》以及在其基础上发展而来的实证统计方法是在紧密关联。当前的主流，这些方法可以帮助数据持有者从大量的(1)挖掘事物规律的基本思想一致。统计学(sta—数据中挖掘有价值的信息，并为其相关决策提供理论tistics)探索事物规律的基本方法是：通过利用概率论支撑和方法支持。然而，传统

3、的实证统计方法在最新建立数学模型，收集所观察系统的数据，进行量化分析出现的大数据情境下，却呈现出了诸多缺陷，例如传统和总结，做出推断和预测，为相关决策提供依据和参数据收集方法无法实现大规模(甚至是总体)数据的收考。对于大数据，维克托指出，大数据思维的来临使人集，传统统计方法和分析软件无法处理大规模数据，等类第一次有机会和条件，在非常多的领域和非常深入等。于是，在将传统统计学方法应用于最新的大数据的层次获得和使用全面数据、完整数据和系统数据，深情境和问题之前，需要首先明确大数据所要求的处理入探索现实世界的规律，获取过去不可能获取的知识。方法与传统的统计学处理方法存在哪些关联和区

4、别，通过这两个定义可以看出，不论是传统的统计学方法然后才能够决定是否可以应用既有统计学理论和方法还是新兴的大数据分析方法，都是以数据为基础来揭示事物特征以及发展趋势的。来处理某些大数据问题。(2)均采用量化分析方式。大数据分析的基础是数1大数据的界定据化，也就是一种把各种各样现象转变为可制表分析的根据一位美国学者的研究，大数据可以被定义为：it量化形式的过程。不论是传统统计学中所应用的数据meansdatathat’Stoobig，tofast，ortoohardforexist—(定性和定量数据)，还是大数据时代即将被转化和采用inntolstoprocess。也就是说，该

5、学者认为：在关于大数其他形式数据(如文字、图像等)，最终都是通过量化分据的所有定义中，他倾向于将之定义为那类“太大”、“太析方法来揭示数据中所蕴含的事物特征与发展趋势。快”，或现存工具“太难”处理的数据。一般而言，大数据3大数据与统计学分析方法的区别的特征可以概括为四个V：一是量大(Volume)；二是流(1)基础数据不同。在大数据时代，我们可以获得动性大(Velocity)，典型的如微博；三是种类多(Variety)，和分析更多的数据，有时候甚至可以处理和某个特别多样性，有结构化数据，也有半结构化和非结构化数据；现象相关的所有数据，而不再依赖于随机抽样。这意四是价值大(Va

6、lue)，这些大规模数据可以为持有企业味着，与传统统计学数据相比，大数据不仅规模大，变或者组织创造出巨大的商业或社会价值。化速度快，而且数据来源、类型、收集方法都有根本性Victor在其最新著作《大数据时代——生活、工作变化。与思维的大变革》中指出，大数据时代，思维方式要发①在数据来源方面，在大数据背景下，我们需要的生3个变革：第一，要分析与事物相关的所有数据，而纷繁多样的数据可以分布于全球多个服务器上，因此不是依靠分析少量数据样本；要总体，不要样本。第我们可以获得体量巨大的数据，甚至是关于总体的所二，要乐于接受数据的纷繁复杂，而不再追求精确性。有数据。而统计学中的数据多是经

7、由抽样调查而获得第三，不再探求难以捉摸的因果关系，应该更加注重相的局部数据，因此我们能够掌握的事“小数据量”。这关关系。这些变革反映出了大数据处理方式与传统统种情况下，因为需要分析的数据很少，所以必须尽可能计学分析方法的很多关联以及主要不同。因此，下面精确的量化我们的数据。综上，大数据情况下，分析人我们分别针对两者的联系和区别进行讨论。员可以拥有大量数据，因而不需要对一个现象刨根问2大数据与统计学分析方法的联系底，只需要掌握事物大体的发展方向即可；然而传统的从18世纪中叶至今，统计学已经经历了两百多年小