阿里云-日志服务用户指南-D

《阿里云-日志服务用户指南-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、日志服务用户指南日志服务/用户指南用户指南日志服务（LogService，Log）是针对日志垂直场景的一站式服务，在阿里巴巴集团内部被广泛使用。目前版本提供如下功能：1.日志中枢（LogHub）：通过Agent/API实时收集、订阅、消费日志数据2.日志投递（LogShipper）：将日志定时投递至存储类服务（ODPS/OSS)3.日志查询（LogSearch）：提供基于时间、关键词查询用以定位及分析问题其中日志中枢为基础功能，用户可根据需求选择日志投递及日志查询功能。日志服务提供健全API及Web控制台方便用户使用。日志服务与阿里云其他产品关系如下：-上游：109日志

2、服务/用户指南-下游：●ECS：云主机（ECS）是用户日志产生的重要场所。Log和ECS紧密集成，让用户便捷管理云主机上产生的日志数据●EMR：通过SparkStream实时消费LogHub中实时数据●ODPS：通过LogShipper，日志可以定时投递到ODPS表中，进行离线分析●云监控：云监控可直接对LogHub中日志进行监控项配置、及报警（即将推出）●OSS：通过LogShipper，日志可以准实时投递到OSS中，并通过EMR(MR)进行离线分析●其他：用户可以通过Storm、程序、或第三方应用消费LogHub中日志数据109日志服务/用户指南下图是产品大图:

3、一切皆日志半世纪前说起日志，想到的是船长、操作员手里厚厚的笔记。如今计算机诞生使得日志产生与消费无处不在109日志服务/用户指南：服务器、路由器、传感器、GPS、订单、及各种IoT设备通过不同角度描述着我们生活的世界。借助于计算力量，通过收集、处理、使用日志，我们不断更新对整个世界以及体系的认知。日志是什么?从船长日志中我们可以发现，日志除了带一个记录的时间戳外，可以包含几乎任意的内容，例如：一段记录文字、一张图片、天气状况、船行方向等。几个世纪过去了，"船长日志"的方式已经扩展到一笔订单、一项付款记录、一次用户访问、一次数据库操作等多样的领域。日志这种广泛使用模式之所

4、以经久不衰，在于："日志是一种简单的不能再简单的存储抽象"。它是一个只能增加的，完全按照时间排序的一系列记录。日志(时间序列数据）看起来如下：我们可以给日志末尾添加记录，并且可以从左到右读取日志记录。每一条记录都指定了一个唯一的有一定顺序的日志记录编号。日志顺序由"时间"来确定，从图上可以看到日志从右到左的时间顺序，新产生的事件被记录，过去的事件渐渐远去，但它记录了什么时间发生了什么事情，这无论对于计算机、人类、还是整个世界而言，是认知与推理的基础。核心概念为方便理解整个日志服务服务并顺利使用，这里首先介绍其中的几个基本概念。地域（Region）地域为阿里云的服务节点。

5、用户通过在不同的阿里云Region部署服务，让自己的服务距离客户更近，获得更低的访问延时及更好的用户体验。目前阿里云在全国各地拥有多个Region。项目（Project）项目为日志服务中的基本管理单元，用于资源隔离和控制。用户可以通过项目来管理某一个应用的所有日志及相关的日志源。109日志服务/用户指南日志库（Logstore）日志库为日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目，且每个项目可以创建多个日志库。用户可以根据实际需求为某一个项目生成多个日志库，其中常见的做法是为一个应用中的每类日志创建一个独立的日志库。例如，假如用户有一个"big-g

6、ame"游戏应用，服务器上有三种日志：操作日志（operation_log），应用程序日志（application_log）以及访问日志（access_log），用户可以首先创建名为"big-game"的项目，然后在该项目下面为这三种日志创建三个日志库，分别用于它们的收集、存储和查询。分区（Shard）分区（shard）是每个日志库下读写基本单元，用户可以指定每个日志库下分区数目。每个分区能承载一定量的服务能力：-写入：5MB/S，2000次/S-读取：10MB/S，100次/Sshard有两种状态：-readwrite：shard处于可读可写状态-readonly：s

7、hard只能读，不能写每个shard都是有一个range，取值范围[00000000000000000000000000000000,ffffffffffffffffffffffffffffffff），可用MD5方式来表示，用于支持指定hashkey的模式写入，以及shardsplit和merge操作-inclusiveBeginKey：shard起始的rangekey（包含）-exclusiveEndKey：shard的结束rangekey（不包含）在向Shard读写数据过程中，读必须指定对应shard，而写的过程中可以使用负载均衡模式