大数据的分析与应用案例

《大数据的分析与应用案例》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据的分析与应用案例主讲人:王妍2015/10/211主要内容大数据的产生及概念大数据的国内外发展情况大数据的相关技术大数据的处理平台Hadoop2大数据的产生及概念1大数据的诞生半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出“大数据”这个概念。信息爆大数据炸3“只要你的电脑连接着网络，你每敲击一下键盘都会成为互联网数据的一部分。”----广告词互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影

2、像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂的产生着数据。4网络1分钟，人间1万年52大数据有多大？根据国际数据公司(IDC)的测算，人类产生的数据量正在呈指数级增长，大约每2年翻一翻。63什么是大数据？大数据（Bigdata或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。“BigData”这个词最早由IBM提出2010年成为专业用语登上维基百科2012年纽约时报宣告大数据时代的来临2012年Gartner公司的分析师DougLaney给予大数据

3、一个全新的定义：「大数据是大量、高速、及/或类型多变的信息资产，它需要全新的处理方式，去促成更强的决策能力、洞察力与优化处理。74大数据的特征数据传送速数据量不断度连续而快的增大速且大数据的来源种类多样化8大数据的真实性大快杂疑9大数据不仅仅是大10大数据的国内外发展1国外万马奔腾，抢占大数据11IBM对大数据的角逐“大数据和分析领域将是IBM未来的利润引擎。”----IBM的高官IBM早已在大数据和分析领域投入巨资。据不完全统计，自从2005年起，IBM花费超过160亿美元收购了35家与大数据和分析相关的公司。为IBM带来了提取取、转换和加载(ETL)的数据2005年收购了Asce

4、ntial集成工具DataStage及其他资产让IBM拥有了一款端到端商业智能套件，包括2007年收购了Cognos、Applix传统的和内存2009年吞并了SPSSIBM增强了在商业智能分析、数据呈现、社交媒体分析等能力2011年收购了Algorithmics只为更多地引入大数据。其中5笔涉及数据分析业务，2笔涉及云计算2012年IBM完成了11笔收购业务12其财报显示：在过去十年中，IBM的软件业务收入翻了一番，利润翻了三倍，IBM仅在2012年就超过110亿美元的利润。其中，业务分析收入在2012年增长了13%，2015年底预计将达到16亿美元。IBM大数据解决方案已经帮助许多客

5、户获得了可观的投资回报。电信业：通过分析数据将处理时间减少了92%医疗卫生业：通过分析流动的患者数据将死亡率降低了20%公用事业：通过分析2.8PB未利用的数据将准确性提高了99%13国外已经大规模投资应用142国内发展15阿里大数据战略马云则将阿里巴巴的未来定位为“平台、金融和数据”三大核心业务。在大数据领域，阿里具备独特的优势，用户从搜索到浏览、支付，形成深度的交易链条，其中每一个节点都将产生大量数据。数据魔方聚石塔数据产品大淘宝时光机数据阿里金融战收购CNZZ网络技术服务略公司数据平台重启“阿里妈妈”品牌名购入新浪微博18%股份16大数据的相关技术及应用1大数据的分析直观呈现可

6、视化分析简单说明分挖掘价值数据挖掘分析析快速处理的挖掘特点五预测性能分析预测未来个方判断需求语义引擎分析用户体验面保证真实数据质量和管理分析有价值172大数据的技术数据采集：ETL（Extraction，Transformation，Loading）即数据的抽取、转换与装载。ETL作为BI/DW的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。互联网企业的海量数据采集工具，有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等，均

7、可以满足每秒数百MB的日志数据采集和传输需求，并将这些数据上载到Hadoop中央系统上。18数据存取：数据库市场成形于上个世纪80年代。近年来随着大数据应用的兴起，面对爆发式增长的海量数据，传统数据库已难以应对。OldSQL数据NoSQL库NewSQL19基础架构：云存储、分布式文件存储等。云存储是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对