欢迎来到天天文库
浏览记录
ID:45139709
大小:1.77 MB
页数:38页
时间:2019-11-10
《《云计算》教材配套课件5-Google云计算应用场景分析》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Google云计算应用场景分析电子工业出版社刘鹏主编《云计算》教材配套课件5主要内容Google云计算技术框架应用场景分析1:Google网站流量分析应用场景分析2:Google搜索Google云计算的技术架构Google的云计算应用均依赖于四个基础组件分布式文件存储,GFS并行数据处理模型MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubbyGoogle云计算的技术架构Google云计算应用BigTableGFSMapReduce
2、Chubby组件调用关系分析Google云计算的技术架构Chubby的作用为GFS提供锁服务,选择Master节点;记录Master的相关描述信息通过独占锁记录ChunkServer的活跃情况为BigTable提供锁服务,记录子表元信息(如子表文件信息、子表分配信息、子表服务器信息)(可能)记录MapReduce的任务信息为第三方提供锁服务与文件存储Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构GFS的作用存储BigTable的子表文件为第三方应用提供大尺寸文件
3、存储功能文件读操作流程API与Master通信,获取文件元信息根据指定的读取位置和读取长度,API发起并发操作,分别从若干ChunkServer上读取数据API组装所得数据,返回结果Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构BigTable的作用为Google云计算应用(或第三方应用)提供数据结构化存储功能类似于数据库为应用提供简单数据查询功能(不支持联合查询)为MapReduce提供数据源或数据结果存储Google云计算应用BigTableGFSMapRe
4、duceChubbyGoogle云计算的技术架构BigTable的存储与服务请求的响应划分为子表存储,每个子表对应一个子表文件,子表文件存储于GFS之上BigTable通过元数据组织子表每个子表都被分配给一个子表服务器一个子表服务器可同时分配多个子表子表服务器负责对外提供服务,响应查询请求Tablet1:,rootbigtabletablet1,……Tablet2:,rootbigtabletablet2,……
5、Tablet3:,rootbigtabletablet3,……Tablet4:,rootbigtabletablet4,……Google云计算的技术架构MapReduce的作用对BigTable中的数据进行并行计算处理(如统计、归类等)使用BigTable或GFS存储计算结果Google云计算应用BigTableGFSMapReduceChubby应用场景分析1——Google网站流量分析GoogleAnal
6、ytics免费的企业级网络分析解决方案帮助企业了解网站流量和营销效果能以灵活的方式(各类报表)查看并分析流量数据应用场景分析1——Google网站流量分析应用场景分析1——Google网站流量分析基本功能统计网站的基本数据,包括会话、综合浏览量、点击量和字节流量等等分析网站页面关注度,帮助企业调整或增删页面分析用户浏览路径,优化页面布局分析用户访问来源链接,提高广告投资回报分析用户访问环境(如OS和Explorer),帮助美化页面应用场景分析1——Google网站流量分析应用的特征海量数据需要存储海量的用户行为
7、数据(如点击时间、位置等)海量用户需要为任意多的网站提供流量分析技术路线使用BigTable存储和检索数据,使用MapReduce统计数据应用场景分析1——Google网站流量分析BigTable中的表设计原始点击数据表行键:点击时间列键:网站URL、网站名称、用户IP地址、来源URL、目标URL……目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1——Google网站流量分析BigTable中的表设计统计数
8、据表行键:网站URL(倒排)列键:点击次数(如记录最近一个月每日的访问次数等)、页面关注度(如记录网站页面的访问比率)、来源网站(如记录TOP10)、目标网站(如记录TOP10)…每个列中记录的内容是字符串,Analytics在查询后需要解析字符串获得统计结果可根据统计内容的增多增加新的列目前尺寸约20TB应用场景分析1——Google网站流
此文档下载收益归作者所有