移动大数据平台架构设计方案

《移动大数据平台架构设计方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据技术网络部·网管支撑处2015年12月集团公司网络部-2-目录一、大数据的背景与定义二、大数据的关键技术三、网管领域应用展望-2-集团公司网络部数据管理技术发展历史数-3据-管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开1960年代，IT系统规模和复杂度变大，数据与应用分始对数据管理技术提出离的需求开始产生，数据库技术开始萌芽并蓬勃发展，全新的要求并在1990年后逐步统一到以关系型数据库为主导1946年，电脑诞生，数据与应用紧密捆

2、绑在文件GFS中，彼此不分数据仓库关系型SQL数据库谷歌发表Hadoop成E-R数据仓库开为Apache网络型ORACL始涌现，关论文介绍顶级项目，SQL语E发布第系数据库开分布式计重点支持海IBM言被发一个商始全面普及算量数据分布GE公司发E.F.Do明用SQL且平台无关，式管理和分磁盘被明第一个网磁带+卡发明，dd提关系数进入成熟期布式计算第一台计片络模型数据出关系据库，算机进入文库，但仅限后续快人工管件管理模型ENIAC面理于GE自己速发展世时代的主机194619511956196119701974197919912001200320082

3、011集团公司网络部大数据发展背景IDC全球数据量预测（1ZB=1百万PB=10亿TB）-4全-球信息化发展已步入大数据时代150亿个设备连接到互联网全球每秒钟发送290万封电子邮件每天有2.88万小时视频上传到YoutubeFacebook每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB2011年全球产生数据量1.8ZB，预计2020年将增长到35ZB大数据正迅速成为最值得关注的IT领域之一2011年5月，EMCWorld2011大会主题“云计算相遇Google网站Bigdata关键词搜索及新闻引用量大数据”，EMC除了

4、一直倡导的云计算外，还抛出"大数据"（BigData）概念2011年6月底，IBM、麦肯锡等众多国外机构发布"大数据"相关研究报告，予以积极跟进2011年10月，Gartner认为2012年十大战略技术将包括"大数据"2011年11月底，IDC将"大数据"放入2012年信息通信产业十大预测之一集团公司网络部大数据的定义-ID5C-对大数据的定义大数据技术将被设计用于在成本可承受(economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大体量（volumes）、多类别（variety）的数据中提取价值（value）

5、，是IT领域新一代的技术与架构解读大数据定义业务目标：在1E（成本可接受-economically）的条件下从大数据中提取数据的价值（Value）技术要求：满足3V（快速-Velocity、大体量-Volumes、多类别-Variety）的特征技术方案：未提及，可能是新兴技术与传统技术的混搭集团公司网络部-6-IT行业大数据相关动向和举措大数据正成为IT行业全新的制高点，各企业和组织纷纷助推大数据的发展，相关技术呈现百花齐放局面，并在互联网应用领域崭露头角商业解决方案开源解决方案lHP2011年推出vertica数据库l开源组织Apache在20

6、08年将Hadoop列为顶级lOracle2011年推出noSQL数据库项目lEMC2010年收购Greenpluml2010年HBase自Hadoop上诞生lTeradata2011年收购Asterdata，并推出l开源组织GNU2010年发布MongodbSQL-MapreducelVmware2010年提供开源产品RedislIBM2010年收购NetezzalTwitter2011年提供开源产品StormlSAP2011年收购Sybase商业企业和开源组织都纷纷推出各种大数据解决方案，这些方案既存在相同点，也各有侧重，目前尚无统一的行业技

7、术标准或技术领域细分规则互联网企业传统企业互联网企业IT实力强且海量数据处理需求最为迫切，传统企业IT能力有限，数据处理工作主要依赖于系是大数据发起者、倡导者、开发者和最终使用者，统集成商，重点在应用实现，IT技术路线上以跟随大数据应用场景十分清晰成熟技术（含开源技术）为主lGoogle研发Bigtable并自行使用目前还是以数据库、数据仓库技术为主，对大数lYahoo发起Hadoop/Hbase开源并自用，据技术仍处于认知或小范围摸索实验阶段，应用FACEBOOK、百度、淘宝等均使用场景仍在分析梳理中lTwitter开发Storm自用并提供开源

8、-6-集团公司网络部-7-目录一、大数据的背景与定义二、大数据的关键技术三、网管领域应用展望集团公司网络部相关概念与相关技术概览-8-数