大量重复请求造成某供电局营销应用异常中断

《大量重复请求造成某供电局营销应用异常中断》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大量重复请求造成某供电局营销应用异常中断CSNA网络分析认证培训©2001-2016科来版权所有www.colasoft.com.cn科来官网www.colasoft.com.cn1.问题描述随着某供电局业务拓展，信息水平不断提升，信息化应用越发突显其关键价值。尽管经过严格测试，各业务应用在上线后总是会遇到各种无法预测的问题：网络带宽、网元健康状况、网络策略、终端性能、用户使用习惯、服务器性能、程序设计……众多相互关联的因素都会影响到业务的质量，任何一个环境都可能造成业务质量的下降。在某供电局，作为供电企业最关键业务应用之一的营销应用出现了多次偶发性down

2、机现象，对业务造成极大影响，信息部门希望通过这次网络分析服务排查故障期间访问过营销系统服务器的主机行为，协助对异常现象进行分析定位，并为网络与应用的运行管理提供优化依据。该用户的网络环境示意图如下：图-1本案例中部署科来回溯分析系统的目的是对网络进行全面的监控和分析，并不是单纯为了解决营销服务器的问题，因此采用的是核心交换全端口镜像的方式。如果单纯为解决营销服务器的问题，只镜像服务器区接口的双向流量就可以实现。1/12科来官网www.colasoft.com.cn2.分析过程2013年某日下午17点00分左右，发现营销系统服务器无法访问，通过ftp登陆到服务

3、器，发现磁盘空间已经被两个heapdump文件占满，进行删除heapdump文件，重启营销weblogicserver，于17:20分服务恢复正常。2.1服务器流量分析图-2调取营销服务器的访问流量进行分析，发现在从16时48分流量持续下降，至17点10分流量达到最低值，接近0；这个期间访问了服务器的用户如下图所示：2/12科来官网www.colasoft.com.cn图-3这个期间，有251个客户端访问了营销服务器，其中流量最大的是客服中心的两台客户端10.XXX.XXX.165和10.XXX.XXX.157，流量分别达到408.77MB以及269.25M

4、B；流量第三的是服务器10.XXX.XXX.121，流量达到184MB；需要注意的是流量前15的主机中，多是属于客服中心网段的客户端，大多数流量均超过100MB；大部分访问营销的用户流量不会太高，在8MB左右，如下图所示：图-43/12科来官网www.colasoft.com.cn流量较大的几个客户端在做什么？需要作进一步分析。2.2客户端流量分析故障发生期间，流量最大的客户端是10.XXX.XXX.165和10.XXX.XXX.157，针对其流量作进一步的分析；客户端10.XXX.XXX.165：图-5如上图所示，在异常发生期间段，客户端10.XXX.XX

5、X.165和11营销服务器共产生了3591个会话，会话流量从数十KB至数百KB不等，按会话产生的流量进行排序：4/12科来官网www.colasoft.com.cn图-6流量最大的客户端通过4530端口访问11服务器7001端口的会话，共产生了2665个数据报文，流量为2.259MB，对其进行解码时发现了异常情况：图-7如上图所示，该会话过程持续了25秒，会话开始客户端与11营销服务器建立连接后，客户端在0.017秒后发送了GET请求，请求内容为:GET/j2yd/_assembleLib/systim/fmGrid/lookAndFell/image/bt

6、n.jpg5/12科来官网www.colasoft.com.cn服务器在0.001秒内进行了应答，并开始传输数据，数据内容在0.03秒内传输完毕，客户端又发起了相同的请求；图-8如上图○1中所示，对比上一次的发送时间，可知每隔0.03秒客户端会向服务器发起一个重复的GET请求，请求的对象是“btn.jpg”文件；我们对相关的会话过程进行了排查整理，发现3591个会话过程中，有3330个会话都一直在请求该文件，剩余261个会话都是故障发生期间客户端发起的TCP连接请求；如此大量的请求数据，客户端是在做什么？jpg是以24位颜色存储单个光栅图像的一种图片格式，我

7、们同时发现某些客户端请求相同的文件，并没有同样的异常行为：图-96/12科来官网www.colasoft.com.cn如上图所示，该客户端请求相同的对象，但是仅重复了3次，会话过程没有出现前文所述之异常；如果不了解应用特征，则很有可能找错方向；供电局负责营销应用的工程师讲述了该文件的作用：从某供电局营销系统应用的角度来看，这些请求的发出，代表的是营销应用客户端模拟点击按钮的操作，我们知道请求了btn.jpg文件，要找到其关联的.do或者.js(p)文件；通过数据解码，如下图红字②所示，我们发现该请求是refererto：http://10.XXX.XXX.1

8、1:7001/j2yd/dfScatterRecom