纵横大数据-云计算数据基础设施

《纵横大数据-云计算数据基础设施》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、简介人数据的概念很火，但人们对它的认识却是混乱的：有人说人数据就是指所有的数据，有人说大数据是指线上行为、口志等半结构/非结构化的数据形态，有人说大数据就是以Hadoop为代表的新技术……到底什么是大数据？同样风风火火了很久的云计算与大数据有什么关系？令人眼花缭乱的众多人数据技术的木质是什么？各有什么优缺点？争论不休的“小变大”与“大变小”技术策略到底孰正孰邪？企业究竞应该如何定位与使用大数据，难道是为了Hadoop而Hadoop?未来的技术方向究竟如何？《纵横大数据（云计算数据基础设施）/云计算实践指南丛书》结合现代金业数据管理实践，从策略、技术、应用、金业数据架

2、构等多个维度，体系化地对人数据及相关技术进行了全面深入的论述：首先对人数据相关概念予以澄清；接着深入剖析各种人数据技术的内在木质，指出其各自的优缺点、适用场景与相互关系；同时对大数据技术“分”与“合”这两种广受争议的技术策略的内在联系进行了分析•讨论，明确指出现代数据管理技术的发展趋势；最后结合大数据吋代企业新一代数据架构规划的实际,对大数据及相关技术在企业数据体系中的具体定位给出了切实可行的建议,并且面向云数据中心建设，提岀了大数据云——云计算数据基础设施的概念与方法。序言“云计算”与“大数据”应该说是目前TT界最为热门的两个概念了。云计算以各种软硬件资源新的消费

3、与交付模式为核心理念，被普遍认为将会成为未來社会授为深远的革新。而现实却是：在多“云”的天空，成功的实践却少得可怜，致使其很多情况下只是充当了一个时髦的噱头。令人遗憾的是，如今风头已远远盖过“云计算”的“人数据”，其现实情况与此类似。大数据概念最初是伴随着Hadoop等开源技术的推广而出现的，在国内外众多互联网公司依靠它们取得巨大成功的强力推动下，传统数据管理技术的地位受到了严重的挑战，似乎不知Hadoop、不用Hadoop就会落后！但如何才能在本企业或者某个具体需求中正确有效地使用这些新技术呢？这至今依然是众多企业技术决策者的闲惑。大多数企业目前对大数据潮流的热烈

4、响应其实是“雷声大，雨点小”，其屮相当一部分是不分青红皂白，纯粹为了Hadoop而Hadoop,很少有产生实际成效的案例。本书认为，要正确回答这些问题，给出合适的决策，必须对这些技术本身进行较为深入的了解与分析，然后结合口己企业的实际，做出口己的判断。任何其他企业的经验都不可以照搬照抄；任何资料中关于各种技术的适用场景描述，即使是正确的，也都有其特殊的上下文环境，不可以当成普遍真理去盲目遵从。这里所说的对技术的了解，并不是指具体如何去使用它，而是指其内在木质、特点与相互联系，这些往往比使用方法更重要，也是木书区别于其他人数据资料的主要特点之一。首先，让我们看看云计算

5、与大数据的关系，冃前人们对此的理解更是混乱不堪，有人认为两者完全不同，有人则认为大数据技术其实就是云计算。对“云”，最开始，人们普遍认为那是一种采用一堆闲散资源完成一件重人任务的技术。后來，人们乂意识到现代社会对“云”的诠释，其实更多的是指一•种以服务为主的商业模式，而不是一种技术。现在，绝大多数人对“云”的理解停留于此，认为“云计算”与技术无关的人大都是这种思路。但在对“云”业务模式的实践屮却发现，要搞“云”服务，必须从技术手段与商业模式两个维度同时入手才有意义，只拥有其中任何一个方而祁是不行的，甚至可以说询者要比后者重要得多。大多数情况下，在“云”能适用的领域内

6、，如果没有前者，后者所能提供的服务水平口然也就很有限，从而也就H然失去了“云”的含义。所以说，云计算的木质是商业模式，但其核心却仍然是技术问题。而云在技术层面的核心问题又是什么呢？冇人认为是“小变大”的分布式计算，冇人认为是“人变小”的虚拟化，而本书认为，云计算最核心的问题是数据，具体地讲，是现代业务环境下的数据管理问题，也就是能实现海量、多类型、高负载、高性能、低成本需求的数据管理技术，这实际上就是传统数据管理技术在现代的最大挑战。这其中最耀眼的，就是各种新兴的人数据家族成员的岀现，包括开源体系的Hadoop、各种NoSQL数据库、NewSQL数据库（关系数据库联

7、邦）、分布式文件系统筹，其至还包括非开源体系的新一代关系数据库。这样看来，“大数据”应该是“云计算”业务模式得以实现在数据管理层面的核心技术支撑，两者密不可分。而从纯技术的角度看，“云计算”概念最初出现时就是指采川网络互联起来的设备共同完成一项庞人任务的技术策略，而Hadoop等流行人数据技术的核心思路人多如此。因此，我们又可以说：“云计算”是大数据的技术实现方法。这便是云计算与大数据的联系，两者无论是在业务上，还是技术上，都是相互依存的。一句话，无论叫什么名称，其实都是代表现代IT发展的最新进展而已。再来看看各种流行的大数据技术本身，包括•Ibdoop,NoS