在大数据时代你需要这样思考.doc

《在大数据时代你需要这样思考.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、在大数据时代你需要这样思考在人数据时代，你需要这样思考数据分析微信公众号datad^关注你想了解的，分享你需要的。维克托•迈尔•舍恩伯格和肯尼斯•库克耶在《人数据时代》中告诉我们人数据的4V特点，即Volume（人量）、Velocity（高速）、Variety（多样）、Vewcity（真实）。相比小数据，人数据一定是复杂的。然而，复杂性对于我们來说，绝对是一•个机会而不应是-个问题。血对大数据吋代的扑血而來，如何拥抱大数据，从思考方式的转变开始。从“基于预设的结构化数据库”到“无需预设的非关系型数据库”小数据时代，我们对于数据的存储与检索一玄依赖于分类法

2、和索引法，分类和索引是一种清晰获取数据的机制设计，这种机制是以预设场域为前提的。这种结构化数据库的预设场域能够卓越地展示数据的整齐排列与准确存储，亳无疑问，这与追求数据的精确性H标是完全一致的，在数据稀缺与问题清晰的年代，这种基于预设的结构化数据库能够佇效的冋答人们的问题，并且这种数据库在不同的时间能够提供一致的结果。血对人数据，由于数据的海量、混杂等特征会使预设的数据库系统崩溃。具实，数据的纷繁杂乱才真正呈现出世界的复朵性和不确定性特征，想要获得人数据的价值，承认混乱而不是对抗或避免混乱才是一•种可行的路径。为此，伴随着人数据的涌现，岀现了非关系型数据

3、库，它不需要预先设定记录结构，而且允许处理各种各样形形色色参差不齐的数据。因为包容了结构的多样性，这些无需预设的非关系型数据库设计能够处理和存储史多的数据，成为人数据时代的重要应对于段。如微软的数据库设计专家PatHeHand所言：“我们再也不能假装活在一个齐整的世界里。”从“随机样本”到“全量数据”统计学家通过分析发现，采样分析的精确性随着采样随机性的增加而人幅提高，但与样木数量的增加关系不人。这个发现对于小数据时代无疑是非常鼓舞人心的，随机采样获得了巨人的成功，并成为现代补会测量领域的核心思想。随机样木的基础是采样的绝对随机性，然而，如此严格意义的随

4、机实现起來是非常困难的，一旦釆样过程存在任何偏见，分析结果将相去其远，况且随机样木带给我们的只能是事先预设问题的答案。这种缺乏延展性的结果，无疑会使我们错失史多的问题域。人数据时代，数据的收集问题不再成为我们的困扰，采集全量的数据成为现实。全量数据带给我们视角上的处观与高远，这将使我们可以站在史高的层级全貌看待问题，看见曾经被淹没的数据价值，发现藏匿在整体小令趣的细节。因为拥有全部或几乎全部的数据，就能使我们获得从不同的角度史细致史全血的观察研究数据的可能性，从而使得人数据的分析过程成为惊喜的发现过程和问题域的拓展过程。从“数据的精确性和结果的准确性”到

5、“数据的混杂性和结果的容错性”小数据时代，由于可获得的数据量比较小，为此我们必须尽量准确的记录下所获得的所有数据，从而引发了测量T具的优化工作；由于数据处理手段的限制，能被我们利用的数据基木限于能适用于传统数据库的结构化数据；由于采用的是随机采样，因此采样过稈的精确度被放在重要的地位。显然，这种对精确性的执着是信息缺乏时代和模拟吋代的产物。人数据时代，海量数据的涌现一定会增加数据的混乱性且造成结果的不准确性，如果仍然执迷的依循准确性，那么我们将无法应对这个新的时代。与数据的混杂性可能带來的结果错误性的增加相比，由数据量的扩张带给我们的新洞察、新趋势和新价

6、值史有意义，因为人数据通常都用概率说话，何况人数据的处理Z前是可以对Z进行数据清洗从而减少部分的错误数据。所以，与致力于避免错谋相比，对错谋的包容将会带给我们史多信息。其实，允许数据的混杂性和容许结果的不精确性才是我们拥抱人数据的正确态度，只有让步和接受甚至欣赏不精确性，才能看到人数据带给我们的美好前景，未來我们应当习惯这种思维。从“复杂算法”到“简单算法”算法是挖掘数据价值的工具，因此算法的硏究一首以來是提升数据利用效率的重要路径。小数据时代，在数据的限制无法突破的情形下，对数据信息和价值的获取渴求使得对算法的研究越來越深入，发明的算法越来越复杂。而事

7、实表明，当数据量以指数级扩张时，原來在小数量级的数据屮表现很差的简单算法，准确率会人幅提高；与之相反的是，在少量数据情况下运行得最好的复杂算法，在加入更多数据时，其算法的优势则不在显现。为此，更多的数据比算法系统显得史智能史重要，人数据的简单算法比小数据的复杂算法更有效。从“为什么”到“是什么”小数据时代，由于数据可获得性和计算能力的有限性，使得我们对于问题的研究需要在假设的基础上进行验证，并探究“为什么”,而始于假设的分析研究非常容易受偏见支配。人数据时代，快速发展的数据存储、数据传输、数据获取、数据处理等系列技术群，为我们对于问题的研究提供了新的视野

8、和有价值的预测，并使我们获得史多以往所不曾被关注的联系与动态，探究“是什么”成为