大数据技术及其应用

《大数据技术及其应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第一章大数据概论当移动通信和互联网给我们带来的生活方式、思维方式的巨大改变还没有消退的时候，大数据时代以排山倒海之势到来，什么是大数据？大数据能为人们带来哪里益处？大数据如何改变人们的生活、工作和学习？大数据下的政府、企业和过去有什么不同？这一系列的问题困扰着很多人，甚至连一些专家学者也对此迷惘。在人人都谈大数据的时代并不是每个人都真正理解大数据的精髓，因此本章给读者简单的介绍一下大数据的定义、原理、方法、应用及存在的问题。以后各章将介绍与大数据有关的技术、工具、商业模型及应用案例等，引导读者逐步深入，了解和掌握大数据的基本知识和技能，为

2、从事大数据及其相关产业打下基础。1.1大数据的定义大数据（BigData）是指数据量大到用常规工具和方法无法进行处理的蕴含着大量价值的数据集合。因此大数据的核心是价值，数据量大只是大数据的表象，这也是为什么大数据引起业界广泛关注的重要原因。由此可见，对于大数据的研究和应用主要集中于两点:一、从技术层面研究大数据的模型及处理算法、开发相应的处理工具等；二、从商业模式层面寻找大数据的商业模型、盈利模式、产业发展等。维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写的《大数据时代》中指出大数据指不用随机分析法（抽样调查）这样的捷径，而采用对所有数据进行

3、分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。从该定义看来大数据仍然体现在数据量大和价值两方面。知名研究机构Gartner对大数据给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。Gartner的定义更多的倾向于大数据的决策优化作用。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有价值的数据进行专业化处理。换言之，如果把大数据比作一种产业，初级或者粗糙的大数据产业主要是提高对数

4、据的“加工能力”，通过“加工”实现数据的“增值”；而更高层次的大数据产业将数据信息产生的价值应用到具体的行业，发挥行业价值，从而实现数据信息价值的倍增。这样才能真正体现大数据的价值所在。1.2大数据与海量信息的关系在10年前，我们经常听到一个名词“海量信息”，用来描述大量数据，这是在信息技术飞速发展的大背景下，数据量增加带来的现实问题，为此国家在“十一五”期间还加大的对海量信息及其相关技术的研究。下面是国家科技部“973”计划对信息领域的项目资助指南。“十一五”期间，信息领域基础研究的发展目标是根据国际信息技术的发展趋势，结合我国的国情和

5、发展状况，着重从信息获取、处理、传输、存储、再现、安全、利用，信息系统的基础元器件、信息处理环境、科学计算、人工智能、控制理论等方面开展系统深入的研究，为我国信息产业的跨越式发展奠定坚实的理论和技术基础。“十一五”期间，重点研究方向包括：（1）微纳集成电路、光电子器件和集成微系统的基础研究；（2）信息处理环境及科学计算的基础研究；（3）泛在、可控的下一代信息网络的基础研究；（4）信息获取的基础研究；（5）高可信、高效率软件的基础研究；（6）智能信息处理、和谐人机交互的基础研究；（7）海量信息处理、存储及应用的基础研究；（8）量子通信的基础

6、研究；（9）信息安全的基础研究从科技部973重大基础研究计划资助的领域中可以看出，国家加大了对海量信息的研究力度，这里就产生了一个疑问，大数据大还是海量数据大？二者有何联系？又有什么区别？海量信息仅仅是从数据量上进行界定，海量数据指数据量巨大，用普通的方法和工具处理起来相对困难，其计算时间和运算量较大，需要开发新的存储、处理和挖掘等技术才可以进行快速处理。大数据的数据量明显远大于海量数据，当然二者没有严格的区分门限，通常意义上讲，大数据的数据量要大于海量数据。海量数据的很多分析处理技术可以用于大数据的分析与处理，同样大数据的相关理论和方法

7、同样可以用于海量数据。大数据不仅仅从量上进行了分析，而且从本质上进行了定义，突出了其核心价值。因此可以说大数据是海量数据的升级，大数据更突出了数据的本质。既然谈到数据量的问题，这里有必要介绍关于数据量的一些常见数量单位。数据的最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它们按照进率1024（210）来计算：1Byte=8bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB1TB

8、=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,0