大型电商分布式系统实践第八课

《大型电商分布式系统实践第八课》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大型电商分布式系统实践第8周DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤上节内容回顾DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤稳定的重要性一家成熟的大型网站，就如一台时刻不停歇的印钞机，只要它不停止工作，即使不做更新不搞活动，也能够给他的所有者实实在在的带来收益，给它的用户带来价值。一旦哪天印钞机坏了，工作人员应该在第一时间内知晓，并进行修理，因为拖的时间越长，所带来的损失越大。同理，要保障线上系统的安全稳定的运行，开发人员也需要知晓系统当前的运行情

2、况，当发生故障系统不可用时，相关的开发人员也应该第一时间获得消息，进行修复。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令--catcat查看文件的内容cat命令是一个显示文本文件内容的便捷工具，如果一个日志文件比较小，可以直接使用cat命令将其内容打印出来，进行查看，但是，对于较大的日志文件，请不要这样做，打开一个过大的文件可能会占用过多的系统资源，从而影响系统对外的服务。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—m

3、oreorlessmore分页显示文件cat的缺点在于，一旦执行后，便无法再进行交互和控制，而more命令可以分页的展现文件内容，按enter键显示文件下一行，按空格键便显示下一页，按f键显示下一屏内容，按b键显示上一屏内容。另一个命令less提供比more更加丰富的功能，支持内容查找，并且能够高亮显示。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—tailtail显示文件尾使用tail命令能够查看到文件最后几行，这对于日志文件非常有效，因为日志文件常常是追加写

4、入的，新写入的内容处于文件的末尾位置。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—headhead显示文件头与tail命令类似，但是不同的是head命令用于显示文件开头的一组行。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—sortsort内容排序一个文件中包含有众多的行，经常需要对这些行中的某一列进行排序操作，sort命令的作用便是对数据进行排序。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤

5、日志分析常用命令—wcwc字符统计wc命令可以用来统计指定文件中的字符数，字数，行数，并输出统计结果。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—uniquniq查看重复出现的行uniq命令可以用来显示文件中行重复的次数，或者显示仅出现一次的行，以及仅仅显示重复出现的行，并且，uniq的去重针对的只是连续的两行，因此它常常与sort结合起来使用。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤日志分析常用命令—curlcurlURL访问工

6、具要想在命令行下通过HTTP协议访问网页文档，就不得不用到一个工具，这便是curl，它支持HTTP，HTTPS，FTP，FTPS，Telnet等多种协议，常被用来在命令行下抓取网页和监控WEB服务器状态。DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤发挥命令的威力—查看请求访问量对于在线运行的系统来说，常常会碰到各种不怀好意的恶意攻击行为，其中比较常见的便是HTTPflood，也称为CC攻击。如何能够快速的定位到攻击，并迅速响应，便成为开发运维人员必备的技能。定位问题最快捷的办法

7、，便是登录到相应的应用，查看访问日志，找到相应的攻击来源，如访问量排名前10的ip地址：cataccess.log

8、cut-f1-d""

9、sort

10、uniq-c

11、sort-k1-n-r

12、head-10页面访问量排名前10的url：cataccess.log

13、cut–f4-d""

14、sort

15、uniq-c

16、sort-k1-n-r

17、head-10DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤发挥命令的威力—查看最耗时的页面对于开发人员来说，页面的响应时间是非常值得关注的，因为这直接关系

18、到用户能否快速的看到他想看到的内容。因此，开发人员常常需要将响应慢的页面找出来，进行优化：cataccess.log

19、sort-k2-n-r

20、head-10DATAGURU专业数据分析社区大型电商分布式系统实践第一版讲师陈康贤发挥命令的威力—统计404页面占比对于请求的返回码，有些时候也是需要关注的，比如，如果404请求占比过多，要么就是有恶意攻击者在进行扫描，要么就是系统出现问题了，同样，对于500的请求也是如此，可以通过如下命令来查看4