大数据时代下数据分析的变化

《大数据时代下数据分析的变化》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据时代下数据分析的变化(一)分析思路大数据时代的分析常常是直接计算现象之间的相依性。传统的统计分析过程是“定性－定量－再定性”，第一个定性是为定量分析找准方向，主要靠经验判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数据分析做出判断，所要做的是直接从“定量的回应”中找出数量特征和数量关系，然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的过程可以简化为“定量－定性”。在实证分析上，传统思路通常是“假设－验证”，先根据最终的研究目的提出假设性意见，然后收集分析数据，进而验证假设的成立与否。这种实证分析容易受到数

2、据的缺失、假设的局限性以及指标选择的不当等的影响，得不到正确的结论。尤其是在假设本身的非科学性、非客观性、非合理性的情况下，得出的结论更是毫无用处，甚至歪曲事实本身。在现在的大数据时代，可以从中寻找关系、发现规律而不受任何假设的限制，然后得出结论，分析的思路可以概括为“发现－总结”。(二)研究对象的变化首先，从数据来源上看，传统的统计抽样调查方法有一些不足:抽样框不稳定，随机取样困难;事先设定调查目的会限制调查的内容和范围;样本量有限，抽样结果经不起细分;纠偏成本高，可塑性弱。而在大数据时代，更多的是将总体直接作为研究对象，摒弃了抽样样本的研究，

3、传统统计抽样调查方法的不足可以在大数据时代得到改进。其次，对于数据类型而言，传统数据通常是结构型的，即定量数据加上少量的定性数据，格式化，有标准，可通过常规的统计指标和统计图来表示。而大数据则注重非结构性数据或者半结构、异结构数据，多样化、无标准，很难通过传统的统计指标或统计图表加以表现。(三)假设检验的变化传统的统计研究，通常是根据内容提出假设意见，然后根据最初设定的理论模型来检验验证假设的真实效用性。但对于大数据时代而言，信息资源充足，可以采用人工智能对数据信息进行挖掘开发，需要验证的假设比传统经济学研究多出很多，不在一个数量级上。传统的假设

4、验证分析是无法满足大数据时代的需求的。(四)分析关系的变化预先假设事物之间的因果联系，再设定理论模型验证预先的假设，这是传统统计分析工作的一般工作模式。在大数据时代，由于数据规模的庞大，数据结构的复杂多样等，使预设的因果关系会相对复杂很多，给分析工作带来很大的不便。预示，大数据时代的数据分析便侧重于关注事物之间的相关联性，而非因果关系。在小数据时代，计算机存储和计算能力不足，导致大部分相关分析限于线性关系。大数据时代，现象的关系相对更复杂，不仅可能是线性关系，更有可能是非线性关系。这种非线性关系除了可能是非线性的函数关系外，更一般的情况不清楚关系

5、的具体形式，只知道现象之间的相依的程度。由于在大数据时代数据结构和数据关系错综复杂，很难在变量间确定的函数形式并在此基础上探讨因果关系，因此大数据时代一般不做原因分析。(五)建模思想的变化传统的统计往往采用模型来进行研究，但是模型不是万能的，各个模型并不是完全一样，而是各有所长，同样也有其自身的局限性。因此传统的统计研究所得出的结论只能表示所用模型的结论，却不具有普适性。此外，在研究同一问题时，即使开始设定的理论模型是一样的，但不同的研究者在研究时所选择的变量、方法等方面的不同，也会导致研究结论的不同。在借助分布式处理、人工智能和云计算等现代信息

6、技术的大数据时代背景下，可以采用数以千计的模型来进行研究。在2009年美国甲型H1N1流感爆发之际，谷歌公司对其进行了大胆的预测，将上千万条美国人的高频检索词和疾控中心在2003～2008年中间的(季节性)流感时期进行了大量比较，总共处理了将近5亿的数字模型，其结果与官方数据相关性达到了97%，比官方时间省事半个月左右，为相关部门积极解决问题争取了弥足珍贵的时间。