“大数据”认识与思考

《“大数据”认识与思考》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、.“大数据”的认识与思考刘姝祎.....目录1“大数据”的时代背景41.1“大数据”的概念41.2“大数据”产生的背景41.3“大数据”的特征51.4“大数据”的发展阶段51.5“大数据”带来的机遇62“大数据”的关键技术92.1“大数据”的采集和预处理92.2“大数据”存储技术102.3“大数据”分析技术102.4“大数据”与云计算113大数据产业的应用123.1大数据产业123.2“大数据”在典型领域中的应用133.3智慧城市：立体的大数据生态系统143.3.1智慧城市的产生143.3.2全

2、球智慧城市的实践153.3.3.中国智慧城市164问题与挑战184.1数据质量184.2数据安全184.3用户隐私与便利性的冲突184.4庞大能耗184.5数据分析与管理人才紧缺194.6跟风现象较为严重194.7缺少技术创新水平较高的互联网公司195对大数据产业发展的建议205.1政府方面20.....5.2企业方面215.3公众方面22.....1“大数据”的时代背景1.1“大数据”的概念纽约时报在2012年宣布“大数据时代”已经降临，“大数据”成为了时下最火热的词汇。顾名思义，大数据是“无

3、法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合”。Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。“大数据”的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对“未来”的预测。这些数据可能有些混乱，甚至会出现纰漏，但数据量的“多“和时间的“即刻”可以弥补数据质量的瑕疵，“大数据”将以最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。1.2“大数据”产生的背景大数据的应用和技

4、术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，GoogleFi

5、leSystem)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使

6、之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。.....2012年3月，美国政府发布《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一计划，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。随后，英国、法国、日本等各国都相继将大数据计划作

7、为国家战略型计划提上日程。值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。1.3“大数据”的特征“大数据”具有4V的特点：一是数据容量巨大（Volume）。国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多（Variety）。相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地

8、理位置信息等种类繁多的半结构化和非结构化数据。三是数据价值密度低（Value）。举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度—可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。1.4“大数据”的发展阶段每种技术都有自己的生命周期，G