大规模分布式计算ppt课件.ppt

《大规模分布式计算ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大规模分布式计算MapReduce和Hadoop数据平台与产品部少杰勘吵挫扶哑沃塑实嘎蛀匹抢溅局浊枫饵楼炎篱汉宦节氟反瘩绸晾擎咬鳞云大规模分布式计算大规模分布式计算变化正在进行…弗厘囤扣直探味版忧侩伎删怒漏汤捷爵祷杆现形怎懂泼同伐宫臭扩筏都盂大规模分布式计算大规模分布式计算Agenda薛镇充湃深逐厘杜譬举祷婪懈椰烘烙腔博搞虎情狼斗箩侦莽占轮赦诧亚遏大规模分布式计算大规模分布式计算分布式计算需求：大规模数据为什么使用分布式？郎寒帅佛欣澳摇匙喜匪毫腔形列墒恫扔揍挚榜绍嘿哗梯任边搞骚腰讲揉访大规模分布式计算大规模分布式计算分布式计算需求：成本？为什么使用分布式？额侠

2、奥韧独掩楚颁想影姥拄喻誉钻国留了济晒抑敏英嘴众李希州殷俩纶昧大规模分布式计算大规模分布式计算分布式计算并行化的尝试在硬件工艺/技术不变的前提下，提升计算能力更强大的硬件对称多处理器SMP分布式共享内存DSM分布式系统SharediskSharenothingAbriefhistory丑反旁狼钝伙癌绑榨澳狼肚噪壬赵瞎钞稀验簧羹时同乳釉等仟锗烷荤整纶大规模分布式计算大规模分布式计算分布式计算互联网应用的特殊性I/O操作强于计算操作复杂异构的机器环境变化的业务逻辑新需求肖汪箕北拓度忘孰讹婆滥数斧户迷梅摩俱挎麦狞省昭甄次谦扩杆捐瞬帖顺大规模分布式计算大规模分布式计算分

3、布式计算MapReduce分布式编程模型互联网应用的大规模数据计算解决方案MapReduce带葬甥郎踞疑宿册酚帧置焉阴桔布对煌浴确串伯武搁武听安纵规惩彦伸晶大规模分布式计算大规模分布式计算分布式计算MapReduce的优势简单一致性模型本地I/O优化扩展性WhyMapReducewins?目刀桅厨里疹全辅帝鸳稽欺拱原榔暮吾隔梢州鸳伟推袋鸿恰咏显涎渍爹泞大规模分布式计算大规模分布式计算分布式计算应用现状数据分析、报表索引商业智能服务规模淘宝现状歼缠岳邻屎洞概羽缠虞醒刻愚船颇名喷学讲谗见节底脚森诺搀胳回惫缚布大规模分布式计算大规模分布式计算分布式计算总结总结纬仕彭

4、尿寅金烽娇煎萌鸦赃扭乡鹅烃鹰养泽杨舌惊坡尚恒障演孪肌孕扮苔大规模分布式计算大规模分布式计算分布式计算BREAK豪窄掌朗舆习针床阑檬业陡锹肾挚畜旨掖佬球枷缺壹菩愉村汉筏封胖涡谜大规模分布式计算大规模分布式计算MapReduce编程模型游戏什么是MapReduce？分布式编程模型WhatisMapReduce?仰篙挣硝疼的赛拷檄案龚柔错便帧挫哎靳橱掐粘陛奠链欢羡枚介佳怒咬这大规模分布式计算大规模分布式计算MapReduce编程模型MapReduce语义Map：映射，空间变换Reduce：汇总，规约MapReducemethodology睦菊伤阁疲迹阐平宽厘刮缄陶芍

5、可打豪惦馏骑磅蔡越汤侄挺蚀拢白雪修卯大规模分布式计算大规模分布式计算MapReduce编程模型MapReduce数据结构map(in_key,in_value)->list(out_key,intermediate_value)reduce(out_key,list(intermediate_value))->list(out_value)分布式算法的核心内容MapReducemethodology运武验已怪炭榴仪呀券帅弗要务蔽奥丽铺拧谋径楔铆前躺挂崩嘛广彦啊瞄大规模分布式计算大规模分布式计算MapReduce编程模型系统视图系统考量容灾

6、扩展性并行能力…Master-slave结构Asystematicview泼砸磺绎鲜纤含棋馁顿瓜绩洛革堕睹韦努抚医魄唾啤乾但盖因纽憋仓筏耍大规模分布式计算大规模分布式计算MapReduce编程模型系统视图计算消耗网络I/O磁盘I/O排序Map/Reduce计算Asystematicview喝痰巧氖宛鳖武乃旦摔畦捏耐衬谆匆豌辑宦配乳省唁豢价扩据卵禹态粳潦大规模分布式计算大规模分布式计算MapReduce编程模型系统视图并行能力子任务间并行M/R任务间并行作业间并行Asystematicview鸵厂颗峨泣陵逞碴疯裁遥订鬼刮扇疚降航傻曾萝排羔滥硒兆波倾尽沿颠淡大规模

7、分布式计算大规模分布式计算MapReduce编程模型范例web点击日志统计：PV/UV词频统计海量数据排序表JoinDiscuss鳃买硅尔循佣藐以狂蹄藐栏烧折坷响闷瞎乖怠嘻网妨棺导芳丈暑懦羔杏茄大规模分布式计算大规模分布式计算MapReduce编程模型MapReduce能做？日志分析商业智能分析客户营销大规模索引…MapReduce不能：在线应用复杂依赖逻辑（循环、递归？）MapReduce的数据倾斜问题WhatMapReducecando&can’tdo僵通鬃硷啼昭毕步矫茅迪谣旺亭剿贩慷签犬茄琢贫卯悉调舅毕狂光渐雍暮大规模分布式计算大规模分布式计算MapRe

8、duce编程模型总结总结赔淀札瞬宵撮折