大数据时代下统计学面临的挑战

《大数据时代下统计学面临的挑战》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据时代下统计学面临的挑战　　摘要：传统的统计学是因数据而生的，也是以研究数据为根本目的，传统统计学有其独特的数据收集、整理与分析的方法体系，也确实为我们研究数据带来了便利，但是不得不思考的是在数据爆炸的信息时代，尤其是“大数据”概念产生以后，传统的统计学如果不改变，又将如何应对大数据分析带来的挑战，该文将从零售行业的角度分析大数据为传统统计学带来的诸多挑战。　　关键词：总体数据相关性个性化营销定制服务　　中图分类号：C829.2文献标识码：A文章编号：1674-098X（2017）01（a）-0109-02　　随着科技的发展，大

2、数据已经成为信息时代的一场技术革命。大数据是指传统数据库管理工具难以处理的大量的、多样化的数据。当前普遍认为大数据有3个特点：第一，数据量非常大；第二，数据增长速度非常快；第三，数据类型越来越多样化[1]。零售业作为传统的线下实体经营行业，积累了大量的消费者以及管理层的数据，如果依靠传统的统计学模型对这些数据进行分析，很难得出可以用于企业经营管理的有效信息，加上年轻一代消费者越来越追求个性化，所以传统统计学所采用的根据部分样本推断总体的分析方法已经无法满足市场的个性化需求，因此，传统统计学要想跟上时代发展的步伐，就必须做出与之相适应

3、的改变。　　1零售行业里大数据与传统统计学的区别　　维克多?迈克尔在《大数据时代》一书中提出了大数据思维的3个最显著的变化：一是样本等于总体。这与过去基于样本进行统计分析的思维截然不同；二是不再追求精确性。在大数据中往往存在“噪音”和罕见事件，这样的数据影响了结果的精确性；三是相关分析比因果分析更重要，在大数据时代我们将注意力更多地放在“是什么”而不是“为什么”[2]。大数据的以上特性在零售行业同样适用，零售行业的大数据与传统统计学的区别有以下3点。　　第一，大数据收集总体数据，而传统统计学多采用抽样的方式收集部分数据。传统统计学在

4、做统计分析时首先针对某一个问题提出假设，然后确定需要调查对象的总体，由于数据采集存在一定的难度，所以统计分析采取从总体中随机抽样选取一部分数据作为分析的对象，如此的话对随机抽样的方法与数据采集的准确性要求是非常高的。而大数据收集的是数据“总体”，在进行分析的时候不会人为进行假设，排除了人的干扰因素，仅仅从数据本身出发进行数据分析。在零售行业如果能运用大数据思维分析数据，从产生数据的顾客行为本身出发，针对不同顾客做出个性化营销，而不是人为假设的话，管理层就可以根据数据进行预测，避免了主观的经验与直觉的判断。沃尔玛作为零售行业的巨头，运

5、用大数据分析得出的著名的啤酒与尿布理论可以证明这一点。　　第二，大数据注重个体行为的研究，统计学用样本数据推断总体行为。传统的统计学采用抽样调查的方式对样本数据进行分析，用样本推断总体，那些在图表上反映出来的异常数据被排除在外。大数据包容一切数据，其中包括各种结构化、半结构化、非结构化甚至是异构数据。对于零售行业而言，顾客的总体行为表现是没有意义的，因为每个顾客的需求不同，在不同的时间和地点需要的商品都不同，只有根据每位顾客的不同行为进行个性化服务才能让线下的零售行业有优势可言。美国高档连锁百货Nordstorm最近开始采用线下实体

6、店客流分析服务供应商EuclidAnalytics公司的客流监测解决方案EuclidZero，基于用户连接Wifi行为来获取店内顾客手机的Mac物理地址并进行线下追踪，由此可以通过单个顾客在百货店里的行动路线和滞留时间，从而用于改善商品罗列与室内动线以及顾客个性化偏好与推荐服务[3]。　　第三，大数据注重数据之间的相关性，而传统统计学更加关注数据分析的结果。从社会发展的角度来看，大数据对数据的关联性分析更有助于零售行业管理层做出决策。对于传统零售行业而言，线下的用户体验是非常重要的，如果能根据用户行为数据分析出哪些商品放在一起能促进

7、购买力，那么零售行业将会有更大的利润空间，相比之下，统计学进行的结果分析显得没有那么重要。　　2大数据在零售行业的优势　　迈克尔?舍恩伯格说：大数据发展的核心动力就是人类测量、记录和分析数据的渴望。　　第一，大数据收集的数据是多样化的、非标准化的，而统计学收集的数据都是标准化、结构化的，统计学无法对非结构化的数据进行分析与测量。但是在零售行业仅仅对标准化的数据进行分析做出的判断已无法满足行业的需求，通过对用户在商品前滞留的时间以及与货架上商品的互动行为产生的数据进行分析，从而调整货架的位置才是主流。　　第二，大数据可以实时、快速监测

8、与收集数据，而统计学收集数据时间长、难度高。大数据收集与处理数据的能力对于零售行业的供应链管理十分有效。零售市场可以利用大数据对库存和员工行为进行监测，从而为管理层做决策提供依据。沃尔玛为了提高大数据成果在不同部门之间的高效利用，并增