大数据解决方案v1-段建民

《大数据解决方案v1-段建民》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据解决方案段建民：James.duan@oracle.com2013.05.18一、大数据特点二、传统DW处理方式的挑战三、Hadoop技术简述四、Oracle面向大数据的集成解决方案以下内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料,代码或功能的承诺,并且不应该作为制定购买决策的依据.所描述的有关Oracle产品的任何特性或功能的开发、发布和时间安排均由Oracle自行决定。一、大数据特点1.大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科2.三大特征(3V)

2、1.Volume：数量大（Twitter1.75亿用户每天创建9500万条微博；Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传168Tb视频）2.Velocity：时效性要求高（搜索引擎要求几分钟前的新闻能够被用户查询到）3.Variety：种类和来源多样化（结构化/半结构化/非结构化；关系数据库/数据仓库/互联网网页等）3.通常用于分析型的应用场景，如搜索引擎网页处理、用户行为分析、商业智能（BI）等Oracle对大数据的理解-4V特征具有4V特性的数据称为大数据•巨大的数据量Volu

3、me•集中储存/集中计算已经无法处理巨大的数据量SOCIALVolumeBLOG3亿用户，每天上亿条微博中型城市每月数十SMART亿智能电表数据METER•多结构化数据VarietyVariety•文本/图片/视频/文档等2015年全球移动终端产生的数据量6300PB•增长速度很快VelocityVelocity1011001010010010011010101010111001•海量数据的及时有效分析01010100100101•用户基数庞大/设备数量众多/实时海量/数据指数级别增长•价值密度低ValueValue•

4、单条数据并无太多价值，但庞大的数据量蕴含巨大财富WhyOracle?OracleExadataVolume101100101001001001101010Unstructured101011100101Data010100100101VelocityValueSOCIALBLOGSMARTMETERVarietyStream

5、Acquire

6、OrganizeOracleExalytics二、传统DW数据处理方式的挑战海量数据的出现、数据结构的改变，对数据管理及分析带来挑战传统数据源VS新数据源非结构化半结构化数据结构化

7、数据数据量、复杂的数据种类剧增带来新的挑战结构化更多的多样化数据和非结构化的内外部数据快速增长更多的变化和不确预定义的模型、信息板和报告无法定性满足意外业务需求能够根据需要以自助方式挖掘数据、更多的意外问题添加新数据和构建分析需要革新的技术手段Hadoop技术Hadoop几乎成为大数据处理的事实标准•海量数据“分而治之”------批量分布式并行计算Hadoop•海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL•海量数据“跨越鸿沟”------大数据超高速装载进数据库Hadoop包括两个部分

8、：1.HDFS(Hadoop分布式文件系统)HadoopDistributedFileSystem2.MapReduce的实现三、Hadoop技术简述Hadoop两大核心设计分布式文件系统MapReduceHDFSMapReduce编程范式Map:任务分解NameNode高度可伸缩的数据处理能力Reduce:结果的汇总DataNodeClientHadoop架构论述Hadoop包括两个部分：1.HDFS(Hadoop分布式文件系统)HadoopDistributedFileSystem2.MapReduce的

9、实现HDFS简述HDFS用例：•点击流存储和分析–持续时间超过X分钟的Web会话数–浏览频率最高/最低的页面–按钟点和源位置进行会话时间分组•舆情分析•将数据分布在集群上–多少个评论包含单词或词组•多个副本•关系发现•通过添加节点实现扩展–哪些项目看似在时间或相近性方面相关–X和Y有多少次相近MapReduce的简单示例输入-Map–shuffle–Reduce-输出InputMAPOutputMAPREDUCEMAPREDUCEMAPREDUCESHUFFLEMAP/SORT使用Map/Reduce扫描所有数据输入输

10、出11MAPMAPMAPREDUCEREDUCEMAPREDUCEMAPREDUCEMAPMAPSHUFFLEREDUCEMAPREDUCEREDUCEMAP/SORTSHUFFLEMAP/SORTMAPMAPMAPREDUCEMAPREDUCEMAPREDUCEMAPREDUCEMAPREDUCEMAPSHUFFLESHUFFL