大数据分析概要

《大数据分析概要》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、专题介绍Feature大数据分析概要工业和信息化部国际经济技术合作中心戴未琰摘要：当大数据分析逐渐成为主流时，它将会变得和其他早期的技术一样普遍，大数据分析也会逐步成为一种日常工具。文中分析了大数据分析面临的主要挑战，以及数据从累积到分析的分析学体系，同时分析了大数据分析市场的未来趋势，给出了大数据分析的关键还在于人为操作的结论。关键词：大数据；大数据分析；未来趋势大数据分析面临的主要挑战有记录下来，所以对比只能到此为止。实际生活中，每一天我大数据是一项艰巨的挑战。众所周知，当今时代，数据们都在创造如下数据：正以爆炸式的速度增长，世界上总共有多少数

2、据，没人能给·超过2.04亿封电子邮件消息；出确切的答案。·超过200万的谷歌查询；谷歌前首席执行官埃里克·施密特称，“我们现在创造出·48小时更新的YouTube视频；来的信息量相当于过去整个人类历史创造出来的文明。从数字·68.4万条分享在Facebook上的内容；时代开始到2003年，我们只创造出5艾字节的信息。但是，·10万余条推特；我们现在每两天就能创造出5艾字节的信息，而且信息增长·27.2万美元的电子商务投资；的速度还在不断加快。”·3600张分享在Instagram新照片；这个数据似乎有些言过其实。RJMetrics首席执行官·将近

3、350篇新发布的WordPress博客。RobertJ.Moore，在最近的TEDx演讲栏目中提到，2002年，图1所示是人们每天所创造的数据示意图。只有23艾字节的信息被记录和复制，但我们现在每七天就能更新和转移这么多数据。Gartner称，企业数据在未来5年内将增长650%。IDC的说法是，全世界的信息在一年半内即可翻一倍。IDC称，2011年，我们创造了1.8泽字节(1.8兆GBs)的信息，若要将这些信息储存在电子设备中，则需要575亿台规格为32G的iPad，将如此多的iPad连接起来，长度是万里长城的两倍。数据的创造脚步势必加快，尤其是当

4、今机器对机器通讯技术的成本降低，人们获取技术更为便捷。试想一下，所有传感器网络、防盗警报器、车辆远程通讯系统等加在一起，将会创造出多么庞大的数据。图1每天所创造的数据示意图（图片来源于：DOMO）大数据面临的挑战在于，不同系统中到处都能储存数据。IBM称，我们每一天都能创造出2.519字节的信息。数打破相互独立的数据系统，标准化操作是当今面临的主要任据正在指数式增长，并且，当今世界上90%的数据都是在过务。另外一个主要任务是创建大数据平台，可以存储结构化去两年内创造出来的。这些数据来自各个地方，比如传感器数据和非结构化数据。收集气象信息上传到社交网

5、站，数字图像和数字视频，电子当你进入大数据这块领域时，你会发现更多神秘的挑战。商务交易记录，GPS坐标等等。比如，传统数据库最初并没有用到多核处理器。因此，它们在当然，在早期人类历史上，像推特之类的简短信息并没4物联网技术2013年/第8期专题介绍Feature处理数据的时候速度较慢。这导致“快速数据”概念的出现，据分析能识别统计噪声。像ParStream之类的小型公司正试图克服数据库遗留的问题。经营大数据的商业案例比喜欢油条更有说服力。例如，从累积到分析为提高最近热门剧集《纸牌屋》的收视率，网飞公司(Netflix)我们需要处理许多数据。积累数据

6、是一回事，而处理数挖掘用户数据，从中加入一些必要的因素。运用用户数据，同据则是另外一回事。收集报纸、吞拿鱼空罐子和小野猫的人，样促使他们的情景喜剧《发展受阻》起死回生。不会被人们视作为一个有辨别力的收集者。想象一下，你也不另外一个例子是来自世界上最大的移动运营商之一——会到废物囤积者家中学习历史，因为那儿可用的信息不多。相法国电信，该运营商发布了DataforDevelopment项目，为象反，我们一般会去从古董收藏家那获得知识。牙海岸的客户提供用户数据。数据有共计25亿条匿名记录，尽管有了数据，这个世界上还是有很多囤积者。当今数包括500万人之间

7、的通话记录和互通短信。字储存价格低廉，因此人们把所有数据都储存起来。确切地说，许多研究人员访问数据集，给法国电信发出建议，认为他们从不会自找麻烦，删除数据。网络存储方面也是一样，在这些数据可以成为公司发展项目的基础。在所提议的项目中，开始低收费之前，在线存储供应商甚至还会定期免费放出几有一项是通过追踪手机数据，了解人们在紧急情况下的去向，个GB的数据，供客户使用。以此来提高公共安全的。另一个项目是怎样用手机数据来了解当今，许多企业正在努力处理无止境扩张的数据，因为疾病的传播。事实上，推特已在海地霍乱爆发时成功运用了如果不这么做的话，企业将失去竞争力

8、。该项功能。IBM称，数据的指数化增长将给许多企业留下严重的盲美国国家安全局的Prism项目就是依赖大数据分析而运点。IB