intel-大数据发展趋势与应用-hadoop

《intel-大数据发展趋势与应用-hadoop》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据发展趋势及应用Hadoop介绍提纲大数据带来的挑战•Intel大数据应用案例IntelHadoop平台介绍••大数据时代-数据爆发性增长统计、分析、预测、实时处理IDC202044，35.(1ZB亿着更高的要求大数据处理速度要求越来越高HighutilityDiminishingutilityArchivalvalue大数据与海量数据的一个重要区别，在于不但•High数据尺寸大，而且对数据处理的响应速度有有着更高的要求传统的以周，天，小时•Low为单位的运算处理周期，下降到以分钟，秒为单位Time大数据高价值的重要体•Negative现-处理速度Source:IDCD

2、igitalUniverseStudy,sponsoredbyEMC,May2010Value半结构化数据互联网数据的多样性数据形式的多样:•–结构化数据，数据间有很强的因果关系–半结构化数据，数据间因果关系较弱–非结构化数据，数据间无因果关系数据来源的多样性:•–不同的应用系统–各种设备–互联网–其它Source:IDCDigitalUniverseStudy,sponsoredbyEMC,May2010Flatfile©Copyright2011EMCCorporation.Allrightsreserved.创造显著业务价值（VALUE）大数据分析显著的业务价值3V特

3、性驱动下创建挖掘数据资产价值，通过数据驱动业务，变成本中心为利润中心不大数据处理需求与传统平台扩展能力之间的差距不断增大数据处理需求与传统平台硬件扩展的差距不断扩大大数据处理需要的扩展能力IndustryProgress集中式数据向计算靠近计算向数据靠近大数据分析不同于传统BI分析传统BI分析大数据分析集群化非结构化分析关系型数据库数据仓库组织事务批处理分析流式(MapReduce)多种数据源•结构化数据•数据规模一般为TB规模•集中式，为了分析进行大量数据移动，数据向计算靠近•结构化/非结构化混合分析的能力•数据规模从数十TB到PB级别•分布式，计算向数据靠近•批处理为主

4、•支持流式分析Examples:TelcoGovtWebFinance云计算技术是处理大数据的有效手段Ø大数据和云是两个不同的概念，但两者之间有很多交集。Ø支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性，因此实际上大数据和云之间存BigDataBig在很多合力的地方。Ø大数据应用是在云上跑的、非常典型的应用。——大数据处理离不开云Hadoop介绍提纲大数据带来的挑战•Intel大数据应用案例IntelHadoop平台介绍••建设上网记录集中查询与分析支撑系统意义重大查询查询终iPhone其机布数据挖掘分析分析通过感知业务态势指导业务产品为市场营移

5、动用户上网记录集中查询与分析支撑系统建设上网记录集中查询与分析支撑系统意义重大p对数据流量进行统计p终端分析：iPhone、iPad、其他智能手机分布，新终端推广效果分析p热门流量、热门网站（业务）p网络分析：2G/3G基站流量分析，网络优化p数据挖掘p根据流量分布，分析用户群特征p提供套餐设计参考，优化用户体验p通过感知业务态势，制定市场策略，指导业务产品开发，为市场营销提供丰富的数据支持分析p为客户服务人员提供客户上网记录快速查询服务，解决流量投诉问题p为用户提供准实时的异常大流量上网记录自助查询服务查询上网记录是海量数据用户每月的上网记录约几万至用户每月的上网记录约几

6、万至数数十万十万访问新浪约产生移动互联网处于快速发展期：每移动互联网处于快速发展期：每66个月，流量翻一番个月，流量翻一番一步难点分析上网记录是海量数据一步猛增移动互联网处于快速发展期：每6个月，流量翻一番p移动互联网用户快速增加，智能终端迅速普及、户均流量显著增长，上网记录数据将进用户每月的上网记录约几万至数十万p在Gn（SGSN与GGSN之间）接口上部署采集设备来生成用户上网记录p用户手机访问一次网页，约会产生数十条，甚至数百条请求，意味着产生数十条和数百条上网记录p访问手机新浪网首页，约产生20条记录p访问新浪iPad首页，约产生40条记录p在iPad中看一条新浪新闻

7、，产生超过180条记录p访问淘宝触摸屏版，约产生60条记录p大量的DNS查询、推送服务记录（如苹果通知服务）等p以中国联通某省分公司为例，日均上网记录数近10亿条，每月数据量近9TB，31个省份数据量12T/day采用何种方式进行存储和检索是一个问题采用关系型数据库进行上网记录的存储已不可行采用关系型数据库进行上网记录的存储已不可行重下难点分析采用何种方式进行存储和检索是一个问题采用关系型数据库进行上网记录的存储已不可行p存储：如此大的数据量已经超越了当前关系型数据库可管理的容量上限p查询：关系型数据库上对大规模数