计算机网络通信技术第09章大数据编

《计算机网络通信技术第09章大数据编》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第09章大数据第09章大数据内容提要：大数据的特征大数据原理和构成大数据分析工具hadoop大数据在各方面的应用9.1大数据时代的背景9.1.1“大数据”的诞生21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并急剧增多。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融、电信（通话、短信）都在疯狂产生着数据。大数据数据的通信、网络、传感、存储、搜索、分析和处理技术与工具发展促进

2、了大数据（BigData）时代到来。“大数据”正在对每个领域造成影响。大数据的思考9.1.2数据大爆炸地球上至今总共的数据量：2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）。表9.1是数据计量单位B（Byte，字节）=8bitsPB（Petabyte，拍字节）=1015BKB（Kilobyte，千字节）=103BEB（Exabyte，艾

3、字节）=1018BMB（Megabyte，兆字节）=106BZB（zettabyte，泽字节）=1021BGB（Gigabyte，吉字节）=109BYB（jottabyte，佑字节）=1024BTB（Terabyte，太字节）=1012B数据科学技术进展数据科学技术进展经历以下阶段：手工作业时代单个计算机时代分布网络时代互联网时代大数据时代9.1.3大数据的特征大数据：指那些超过传统数据库系统处理能力的数据。数据规模很大：对传输速度要求很高、结构复杂、不适于原本的数据库系统。大数据特征9.1.3大数据的特征大

4、数据（BigData）：指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。大数据的特点大数据的特点包括（4V）：海量、高速、多样、精确。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。第二，数据类型繁多。第三，处理速度快第四，合理利用数据会带来很高的回报。大数据的特点业界将其归纳为4个“V”Volume（数据体量大）Variety（数据类型繁多）Velocity（处

5、理速度快）Value（价值密度低）。9.2大数据原理和构成（1）大数据的核心工作思路（2）传统数据系统工作原理（3）大数据平台架构（4）大数据VS云计算（5）大数据VS物联网（6）精准营销是大数据的应用之一（7）理解和管理大数据（1）大数据的核心工作思路大数据系统颠覆了传统数据中心的工作逻辑。传统数据系统工作逻辑：运算系统调动数据库的数据，产生数据的移动。大数据系统工作逻辑：运算系统直接部署至数据处，数据仅在架构内移动。（2）传统数据系统工作原理传统的数据库系统是关系型数据库，开发这种数据库的目的，是处理永久

6、、稳定的数据。传统数据系统工作原理（3）大数据平台架构大数据：指的是需要新处理模式具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。海量数据期望与其相关的平台架构，能为大数据提供分析、挖掘、处理能力。大数据平台架构IBM提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算、数据仓库和信息整合与治理。（4）大数据VS云计算云计算是将计算和存储，由本地转移到了云端；大数据提供了一套新的计算和存储工作原理。二者有着本质的不同，但却是一个完整的体系。大数据是云计算的心脏，

7、云计算是大数据服务的通路。大数据是落地的云（5）大数据VS物联网物联网是大数据流程中的第一层：采集层，物联网网关以上就进入了大数据工作范畴。大数据、物联网不应仅从技术层面去理解。互联网的核心是一种基于新的技术和商业模式的生态系统的建立，是技术、人和系统的有机体。（6）精准营销是大数据的应用之一对用户行为分析实现精准营销是大数据的典型应用，大数据在各行各业，特别是公共服务领域具有广阔的应用前景。设计并实现企业进行低成本精准营销的平台，非常有意义。大数据应用前景如图所示。大数据应用前景（7）理解和管理大数据非结构

8、化海量信息的智能化处理。自然语言理解、多媒体内容理解、机器学习等。大数据管理模式9.4大数据在企业管理和营销中的渗透（1）行业拓展者，打造大数据行业基石（2）渗透众多行业（3）能加强企业与客户相互沟通大数据价值潜力指数（1）具体案例如图（2）难点分析（存储和检索是大数据关联图）（3）移动用户上网记录集中查询与分析支撑系统9.5大数据分析工具hadoopHadoop在可伸缩性、健壮性、计算性能和成本上