大数据应用及挑战分析

《大数据应用及挑战分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据应用及挑战分析大数据特征与构成大数据的4V特征大数据是指无法在一定时间内用传统数据库软件工具対其内容进行抓取、管理和处理的数据集合。1.Volume据丕巨大严半结构T沁全球在2010年正式逬入ZB旳代JDC耐到2020年.全球将总共拥有35Z8的咖■如今的故籍类型早已不是单一m本序式■订践as..能力提岀了宦農的要求沙里淘金＜价值感度低以枝嗷为例•一®-"咖视滋•在连续不佝断监控过程中•可墟有用的数据仅仅只有一两秒.如何通过強大的机第巧去更迅速地主成数据的价值•摄实时获取需要的信息大敛掴区分于传铳加農总善的

2、待仏如今已是ZB时代•在如此海・於故退面炳.处理数据的效率號昆企业的生令纯-定目的大数&更涌背■下菊待解决呦S甄大数据的构成大数据包括：交易数据和交互数据集在内的所有数据集大数据二海虽数据+复杂类型的数据黒!!豔勰言交易信息壬要包括联机交易数据和联机分析哋.垦结通过歩8J®?进彳繭野Dffi问的挣态.历史数通过这些敎据•我们能了解过去发生了什么.丄=三'海/交互数据：Facebook.Twitter,Unkedln®其他来源的社交媒体数据梅成.它包括了呼叫详细记录CDR、设备和传感器涪息、GPS和地理定位映射数据

3、、通过管理文件传綸ManageFileTransfer!*议传送的海■图橡文件、Web文本和点击流数据、科学信总，电子邮侑等等.可以告朋会甦肠.海诵数据处理：大数据的滝现巳经《生出了设计用于数据密卑型处理的■架构.例如具有开放源码、在商品硬件群中运行的ApacheHadoop*大数据的技术挑战大数据涉及的关键技术需求关键技术技术描述存储、聲、S3大数据的技术领域-分布式领域相关领域大数据的技术领域-数据分析与挖掘监43模型、预测棋型SupervisedModelPredictiveModel数据挖掘模型DataM

4、iningModel神经楚络NeuralNetworks决策捅C5.0<决策树C&RT（CART）回！3Regressionl逻辑回归Logisticregression（分类变躍预测）裁摇降堆DataReductionedModel主成分分析PCA因子分析甸“妆子牙■•园Factcdlog.mi门药如艰可〃越刃疙^专坐!相关工具：SAS,R,Rhive/Rhadoop,Mahout,Xlib,OpcnMPI大数据应用国外运营商利用大数据应用•西班牙电信：包刀流最套餐定制（根据客户访问内容和SLA要求，提供不同费

5、率套餐）o按流量种类的固定收费，解除用户流量后顾Z忧o培养用户使用数据业务习惯，增强用户粘性o针对预付费用户群，扩大流量收入O面向肆能终端用户O面向低端、高度同质化竞争市场CHATS9.9OO$9.900$15.900•T-Mobile：应用大数据技术，降低客户流失率。o在多个TT系统屮整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CIW和计费系统屮的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%0中移动依托大云，试点经分屮国移动：历时

6、多年打造大云平台•集团组织技术验证：基于大云平台，以经分为切入点，利用现有数据，探索大数据技术，已在河北等三省试点•应川探索：尝试利川人数据技术识别界常话单•产品线：o分析型PaaS产品，大数据处理的一个主要产品，包Iladoop基础平台。o基THadoop的人数据仓库。o并行数据挖掘工具。o搜索引象系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。授累引计算井行程序设计开发环IftMapReduce结构化海显数据箸理HugeTabic151联通试点流量清单查询海国分布文件存储系统HDFS海!■

7、分布文件存储BSfilcHDFS中国移动大云架构:面向企业内部应用的BI系统中国联通：以“流量清单查询”探索人数据技术•平台：英特尔至强平台及“HadoopJT-发版”大数据解决方案。•功能：客户服务人员提供客户上网记录的快速查询服务，或为客户木人提供高效的界常人流量上网记录白助查询服务。•上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10刀份正式发布。•建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公系

8、统部誓WSCFJ天（Bwaucoh—jjl81°4f2«^r□两岗xseas勢21（jime口NameNode

9、5A3R□D^taNode（戏當育编针点）;178ftnsII□Zookc«p«f7台□久“氐F?H庚；1A口入艸鳖祥D质：24台□Web古询M用脳势巧白：20台口网络交tftKHtt口01帳冋腐过77兆交IftMlil以完欣快