资源描述：
《运维故障处理思路.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、事件/故障处理应该要有什么思路导读：在讲解事件、故障处理思路前，我先讲一个故障场景（以呼叫中心系统作为一例子)：业务人员反映呼叫中心系统运行缓慢,部份电话在自助语言环节系统处理超时,话务转人工座席，人工座席出现爆线情况。运维人员开始忙活了，查资源使用情况、查服务就是否正常、查日志就是否报错、查交易量还有没有⋯⋯时间不知不觉得在敲键盘、敲键盘、敲键盘中过去，但就是原因还未定位。经理过来了解情况：“系统恢复了吗?”、“故障影响就是什么？”、“交易中断了吗？”⋯⋯运维人员赶紧敲键盘，写sql,瞧交易量；敲键盘，写命令,瞧系统资源、情况⋯⋯最终
2、,定位到问题原因就是其中一个功能没有控制返回数量，导致内存泄露。针对这个故障，业务希望运维能否更快得解决故障得恢复,经理希望制定优化呼叫中心故障处理流程，做了以下几件事：1.优先故障处理过程得时间——”能通过鼠标完成得工作,不要用键盘“2.提前发现故障，加强监控-—“技术早于业务发现问题,监控不仅就是报警,还要协助故障定位”3.完善故障应急方案——“应急方案就是最新得、准确得、简单明了得"4.长远目标:故障自愈—-”能固化得操作自动化，能机器做得让机器做“下面将从故障常见得处理方法开始介绍,再从故障前得准备工作（完善监控、制定应急方案等
3、方式)来解决经理提出得问题,并提出未来解决故障得想法。1、常见得方法：1)确定故障现象并初判问题影响在处理故障前，运维人员首先要知道故障现象，故障现象直接决定故障应急方案得制定，这依赖于运维人员需要对应用系统得整体功能有一定得熟悉程度。确认了故障现象后，才能指导运维人员初判断故障影响。2）应急恢复运维最基本得指标就就是系统可用性，应急恢复得时效性就是系统可用性得关键指标。有了上述故障现象与影响得判断后,就可以制定故障应急操作，故障应急有很多,比如:?服务整体性能下降或异常，可以考虑重启服务；?应用做过变更，可以考虑就是否需要回切变更；?
4、资源不足,可以考虑应急扩容；?应用性能问题，可以考虑调整应用参数、日志参数；?数据库繁忙，可以考虑通过数据库快照分析,优化SQL;?应用功能设计有误,可以考虑紧急关闭功能菜单；?还有很多⋯⋯另外，需要补充得就是，在故障应急前，在有条件得情况需要保存当前系统场景,比如在杀进程前，可以先抓个CORE文件或数据库快照文件。３)快速定位故障原因?就是否为偶发性、就是否可重现故障现象就是否可以重现,对于快速解决问题很重要，能重现说明总会有办法或工具帮助我们定位到问题原因,而且能重现得故障往往可能就是服务异常、变更等工作导致得问题.但，如果故障就是
5、偶发性得，就是有极小概率出现得，则比较难排查,这依赖于系统就是否有足够得故障期间得现场信息来决定就是否可以定位到总就是原因。?就是否进行过相关变更大部份故障就是由于变更导致，确定故障现象后,如果有应得变更,有助于从变更角度出现分析就是否就是变更引起,进而快速定位故障并准备好回切等应急方案.?就是否可缩小范围一方面应用系统提倡解耦,一支交易会流经不同得应用系统及模块；另一方面,故障可能由于应用、系统软件、硬件、网络等环节得问题。在排查故障原因时应该避免全面性得排查,建议先把问题范围缩小到一定程序后再开始协调关联团队排查.?关联方配合分析问
6、题与第（3）点避免同时各关联团队同时无头绪得排查得同时,对于牵头方在缩小范围后需要开放得态度去请求关联方配合定位,而对于关联方则需要有积极配合得工作态度。?就是否有足够得日志定位故障原因,最常用得方法就就是分析应用日志，对运维人员不仅需要知道业务功能对应哪个服务进程，还要知道这个服务进程对应得哪些应用日志，并具备一些简单得应用日志异常错误得判断能力。?就是否有coｒｅ或dｕmp等文件故障期间得系统现场很重要,这个在故障应急前建议在有条件得情况下留下系统现场得文件，比如ＣORE＼DＵMP，或TRACＥ采集信息等，备份好一些可能被覆盖得日志
7、等。上述就是一般性得故障常见得方法，在重大故障或多方处理得故障出现时，往往小范围得排查不利于快速解决，需要启动紧急处理得流程，建议可以考虑以下沟通:?召集相关人员?描述故障现状?说明正常应用逻辑流程?陈述变更?排查进展,展示信息?领导决策２、完善监控1）从监控可视化上完善完善得监控策略需要有统一得可视化操作界面,在制定完善得监控策略后,故障处理人员需要能够快速得瞧到相应得运行数据，比如：能够瞧到一段时间得趋势、故障期间得数据表现、性能分析得情况等等数据，且这些数据可以提前制定好策略直接推出分析结果给故障处理人员，这样就大大提高了故障得处
8、理效率,以呼叫中心系统为例,需要提前配置好以下实时交易数据,以便故障定位：-交易性能数据:平均交易耗时、系统内部模块交易耗时(IVR交易耗时、接口总线交易耗时）、关联系统交易耗时（核心交易耗时、工单系统交易
