欢迎来到天天文库
浏览记录
ID:55129991
大小:361.00 KB
页数:13页
时间:2020-04-28
《大数据的应用现状与展望.doc》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、自然辩证法小论文大数据的应用现状与展望指导老师:张立组长、主讲:刘开耀PPT制作:刘玉婷论文撰写:雷颖颖陈瞳资料收集:毕晨光黄一锋邵炳姜灵轩董丽华周晴黄河羚婕JX140142015/4/18大数据的应用现状与展望摘要:大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法,从大数据中挖掘有效信息,为用户提供辅助决策,实现大数据价值的过程。本文主要介绍了大数据的分析方法、分析模式以及常用的分析工具,将大数据应用归纳为6个关键领域:结构化数据分析、文本分析、Web分析、多媒体分
2、析、社交网络分析和移动分析,并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4个方面总结了大数据的研究现状,并对大数据应用未来的研究进行展望。关键词: 大数据数据分析数据存储4V在过去的20年中,各个领域都出现了大规模的数据增长,包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据公司IDC报告[1]称,2011年全球被创建和复制的数据总量为1.8ZB(1ZB≈1021ZB),在短短5年间增长了近9倍,而且预计这一数字将每两年至少翻一番。大数据这一术语正是产
3、生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比,大数据通常包含大量的非结构化数据,且大数据需要更多的实时分析。此外,大数据还为挖掘隐藏的价值带来了新的机遇,同时给我们带来了新的挑战,即如何有效地组织管理这些数据。1大数据的定义目前,虽然大数据的重要性得到了大家的一致认同,但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念,除去数据量庞大,大数据还有一些其他的特征,这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上,大数据是指无法在有限时间内用传统IT技
4、术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们,由于各自的关注点不同,对于大数据有着不同的定义。通过以下定义,或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。2010年ApacheHadoop组织将大数据定义为,“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上,2011年5月,全球著名咨询机构麦肯锡公司发布了名为“大数据:下一个创新、竞争和生产力的前沿”的报告,在报告中对大数据的定义进行了
5、扩充。大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。该定义有两方而内涵:(1)符合大数据标准的数据集大小是变化的,会随着时间推移、技术进步而增长;(2)不同部门符合大数据标准的数据集大小会存在差别。目前,大数据的一般范围是从几个TB到数个PB(数千TB)[2]。根据麦肯锡的定义可以看出,数据集的大小并不是大数据的唯一标准,数据规模不断增长,以及无法依靠传统的数据库技术进行管理,也是大数据的两个重要特征。大数据价值链可分为4个阶段:数据生成、数据采集、数据储存以及数据分析。数据分析是大
6、数据价值链的最后也是最重要的阶段,是大数据价值的实现,是大数据应用的基础,其目的在于提取有用的值,提供论断建议或支持决策,通过对不同领域数据集的分析可能会产生不同级别的潜在价值。2大数据的特点大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。“大数据”是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。“大数据”首先是指数据体量(volumes)大,指代大型数据集,一般在10TB规模左右,但在实际应
7、用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;其次是指数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。“大数据”的概念远不止大量的数
8、据(TB)和处理大量数据的技术,或者所谓的“4个V”之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的。换句话说,大数据让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有
此文档下载收益归作者所有