试论大数据之大

《试论大数据之大》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、ZTETECHNOLOGYJOURNAL试论大数据之“大”李廉专题DOI：10.3969/j.issn.1009-6868.2016.02.002网络出版地址：http://www.cnki.net/kcms/detail/34.1228.TN.20160302.1129.002.html试论大数据之“大”ACommentaryonthe“Big”ofBigData中图分类号：TP393文献标志码：A文章编号：1009-6868(2016)02-0007-004李廉/LILian（合肥工业大学计算

2、机与信息学院，安徽摘要：认为大数据提供了一种全新的认知世界的角度和方法。与熟知的数学和大合肥230009）部分物理学的基本认知规律不同，大数据分析原则上是一种基于观察和归纳的经验(SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,主义认知，这种方法曾一度被现代实证主义的研究模式边缘化。随着近年来大数据China)产生与分析的技术进步，这一古老方法正在重新焕发活力，并赋予大数据新的内容和形式。在这个意义上，给

3、出了关于大数据4V的新解释。同时通过一个NP问题的例子，探讨了大数据对于复杂问题解决的新方法和新思路。关键词：大数据；观察归纳；概率近似正确；数据分布；数据清洗；数据价值；例证法Abstract:Bigdataprovidesabrand-newangleandmethodofperceivingtheworld.Likemathematicsandphysics,bigdataanalysisis,inprinciple,amethodologybasedonobservationandempi

4、ricalinduction,whichhasbeen1大数据的应用目的marginalizedinrecenttimesbypositivisminresearchmodels.Astechniquesforbigdatacreationandanalysishavedeveloped,thismethodologyhasblossomed.We无疑问，对于大数据的分析与毫giveanewexplanationofthe“fourVs”ofbigdata:statethefourVshere.W

5、ealso处理，目的是要获取知识，或者discussanexampleofanNPproblemtoexplorenewmethodsforsolvingcomplex.说认知结论。那么，通过大数据来获Keywords:bigdata;observationandinduction;probabilityapproximatelycorrect;取知识，与大数据时代之前获取知识datadistribution;datacleaning;datavalue;exemplificationmethod

6、有什么不同吗？为此，我们需要回顾人类直接从自然界获取知识的两种手段：观察和实验。早期人们获取知识的手段是观察，通过对于自然现象的仔细观察，得到关于自然规律的认知。由于观研究人员的直观经验，而且具有很强界1500多年。只是到了开普勒、哥察本身没有干预自然的运行，因此可的说服力。观察是需要在众多的现白尼时代，随着观察数据的增加，才能会受到众多因素的干扰而影响认象之间，找出其中的因果关系。这里能够颠覆以前的结论，重新建立新的知的质量，甚至得到不正确的知识。面并没有什么统一的方法和标准，因学说。这说明：观

7、察研究这种人类最16世纪之后，由伽利略等逐步开创了此通过观察得到结论需要直观和经基本的研究手段，其结论的可靠性依现代实证主义研究的手段，这种研究验，同时说服力往往也不够。在实证赖于是否有足够的观察数据，当数据需要预设因果关系，然后在实验室里主义的研究体系建立之后，观察研究多到一定程度时，所获取的结论才具进行现象重建。由于在实验条件下，就让位于实验，除了少数的学科（例有可靠性。因此一个重要的问题出干扰因素被抑制到最小，因此可以准如宇宙学），在绝大多数自然学科中，现了：对于一个具体的观察对象，数确重现

8、现象之间的因果。实验与观实验成为形成结论的标准手段，任何据量达到多大时，我们才能采信所获察的区别是：实验需要预先假定一种结论必须在实验室里面被验证，仅仅取的结论呢？或者多种因果现象，然后在实验室设在自然界被观察到是不够的。究其既然过去是受限于数据的不足，计适当的实验来重现这些现象，从而原因，还是因为历史上由于观察手段使得人们研究自然问题主要依赖于证实因果关系。实验并不特别依赖的不足，难以获得大量数据，而建立实证主义的实验方法。那么现在随在小数据基础上的观察，往往是不准着信息技术的发