大数据的前世、今生和未来.doc

《大数据的前世、今生和未来.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据的前世、今生和未来　　摘要：分析了大数据产生的原因，阐述了大数据的作用、价值以及所面临的问题。认为大数据开启了一次重大的时代转型，其科学价值和社会价值主要体现在两个方面：一方面，大数据不仅可以发现事物的显式规律，而且可以挖掘事物的隐式规律和潜在价值；另一方面，大数据可以转化为经济价值的源泉，撼动世界的各个方面。　　关键词：大数据；关联分析；数据科学　　Abstract：Thispaperanalyzesthereasonsthatbigdataisgenerated.Itthendescribesbigdataintermsofe

2、ffects，value，andissues.Now，bigdataisopeninganeweraofdevelopmentandpresentsgoodopportunities.Thescienceandsocialvaluesofbigdatafocusontwoaspects.Ontheonehand，bigdatacandiscoverexplicitlawsandalsodigupimplicitlawsandpotentialvalue.Ontheotherhand，bigdatacanbechangedintothef

3、ountainofeconomicvalueandshakeallaspectsoftheworld.　　Keywords：bigdata；correlationanalysis；datascience　　1大数据的前世　　大数据没有“前世”，只有“今生”和“未来”。　　2大数据的今生　　Google每个月要处理900亿次的Web搜索，数据量高达600PB；百度拥有数千亿的网页，同时数据总量接近1000PB；Facebook是全球最大的在线社交网络，用户人数达12.3亿，日活跃人数达7.57亿，日均消息量达10亿条；Twitter用户数

4、突破5亿，日活跃人数2.4亿，日均消息量2.3亿条；腾讯QQ目前拥有8亿互联网用户、4亿移动用户，数据量经压缩处理后约100PB，并且这一数据还在以日新增200TB到300TB、月增加10%的数据量不断增长。　　2013年中国产生的数据总量超过0.8ZB，是2012年中国产生的数据总量的2倍，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量将是2013年的10倍，超过8.5ZB[1]。　　2.1大数据的起因　　（1）数字化。由于计算机的出现，使得人类可以用数字化的“眼睛”来观测和处理整个世界，数字化意味着可以从大千世

5、界的一切事物中汲取信息。数字化是大数据的手段。　　（2）移动化。随着智能手机、移动终端、便携设备的快速普及，推动了移动互联网的迅猛发展，使得人们可以快速、实时、便捷地产生、分享和获取数据。移动化是大数据产生的原因之一，主要是人在产生数据。　　（3）物联化。随着物联网的快速发展，世上万物皆有生命，既能被感知（传感网），又能感知“它”（物联网），还能共分享（网络化）；随着物联网技术的进一步发展，感知的广度和深度都将会逐步地加大，不可避免地会产生数据的“海洋”。物联网是大数据产生的原因之二，主要是物在产生数据。　　（4）社会化。好奇、求知和交

6、流是人类永恒的渴求，社会网络的出现满足了人们实时交流、分享信息、抒发情感、寻求朋友的愿望，因而得到了迅猛的发展，社会网络每时、每刻、每地产生数据。社会化是大数据产生的原因之三，主要是人和人、人和物的交流在产生数据。　　（5）网络化。随着网络用户的增加、带宽的增大以及新应用的不断出现，信息的产生和传播更快、更广、更深。网络化是大数据产生的原因之四，主要是传播在产生数据。　　当然产生大数据的原因还有很多，如精度的提升可能使数据量指数不断增长，原来一张照片的数据量不到1MB，现在可能超过10MB；再如视频监控的普及、多媒体应用的增多，都产生了

7、大数据。　　总之，大数据是一种“现象”，是众多新技术和新应用产生的结果。　　2.2大数据的特点　　大数据不仅是指其数据量大，而且还有很多特点，目前公认的至少有4个特点：体量大、形式多、时效强、价值大[2]。　　?体量大主要指范围广、规模大、容量大，通常可以达到PB级，甚至达到EB、ZB级，其中以非结构化数据居多，占总数据量的80%～90%，其增长的速度比结构化数据还要快10～50倍。　　?形式多主要指数据类型，具有异构性和多样性，很多不同形式（文本、音频、图像、视频）的数据共存，数据没有特征模式或者特征模式不明显，缺乏语法和语义，具有很

8、强的混杂性和模糊性。　　?时效强主要指时效性强，要求实时分析，希望立竿见影而非事后见效，因此需要强大的计算处理能力和及时的数据服务。　　?价值大主要指知识的聚合、产生的价值大，大数据具有大量的不相关信息，价