最新Google云计算应用场景分析课件ppt.ppt

《最新Google云计算应用场景分析课件ppt.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Google云计算应用场景分析云计算云计算概念Google云计算并行数据处理模型MapReduce分布式锁服务Chubby分布式数据表BigTableGoogleAppEngineGoogle云计算应用场景分析Google云计算应用场景分析Google云计算技术框架应用场景分析1：Google网站流量分析应用场景分析2：Google搜索GFS的作用存储BigTable的子表文件为第三方应用提供大尺寸文件存储功能文件读操作流程API与Master通信，获取文件元信息根据指定的读取位置和读取长度，API发起并发操作，分别从若

2、干ChunkServer上读取数据API组装所得数据，返回结果Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构BigTable的作用为Google云计算应用（或第三方应用）提供数据结构化存储功能类似于数据库为应用提供简单数据查询功能（不支持联合查询）为MapReduce提供数据源或数据结果存储Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构BigTable的存储与服务请求的响应划分为子表存储，每个子表对应一个子表文

3、件，子表文件存储于GFS之上BigTable通过元数据组织子表每个子表都被分配给一个子表服务器一个子表服务器可同时分配多个子表子表服务器负责对外提供服务，响应查询请求Tablet1:,rootbigtabletablet1,……Tablet2:,rootbigtabletablet2,……Tablet3:,rootbigtabletablet3,……Tablet

4、4:,rootbigtabletablet4,……Google云计算的技术架构MapReduce的作用对BigTable中的数据进行并行计算处理（如统计、归类等）使用BigTable或GFS存储计算结果Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构应用场景分析1——Google网站流量分析GoogleAnalytics免费的企业级网络分析解决方案帮助企业了解网站流量和营销效果能以灵活的方式（各类报表）查看并分析

5、流量数据应用场景分析1——Google网站流量分析基本功能统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等分析网站页面关注度，帮助企业调整或增删页面分析用户浏览路径，优化页面布局分析用户访问来源链接，提高广告投资回报分析用户访问环境（如OS和Explorer），帮助美化页面应用场景分析1——Google网站流量分析应用的特征海量数据需要存储海量的用户行为数据（如点击时间、位置等）海量用户需要为任意多的网站提供流量分析技术路线使用BigTable存储和检索数据，使用MapReduce统计数据应用场景分析1

6、——Google网站流量分析BigTable中的表设计原始点击数据表行键：点击时间列键：网站URL、网站名称、用户IP地址、来源URL、目标URL……目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1——Google网站流量分析BigTable中的表设计统计数据表行键：网站URL（倒排）列键：点击次数（如记录最近一个月每日的访问次数等）、页面关注度（如记录网站页面的访问比率）、来源网站（如记录TOP10）、目标网

7、站（如记录TOP10）…每个列中记录的内容是字符串，Analytics在查询后需要解析字符串获得统计结果可根据统计内容的增多增加新的列目前尺寸约20TB应用场景分析1——Google网站流量分析业务流程分析数据采集原始点击数据表数据处理统计数据表数据查询MapReduce应用场景分析1——Google网站流量分析基础设施应用服务器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群应用场景分析1——Google网站流量分析数据采集数据来源页面内嵌脚本点击行为脚本应用服务器

8、获取到数据后，存入BigTable应用场景分析1——Google网站流量分析数据采集数据存储流程向BigTable中写入点击信息寻找子表服务器向内存临时子表写入信息（含排序）如超过阈值则存储为子表文件GFS：存储子表文件子表合并、压缩应用场景分析1——Google网站流量分析数据处理例如，统计网站(如xxx.co