日志分析系统的任务调度方法研究

《日志分析系统的任务调度方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP391论文编号：102870913-s042学科分类号：120100硕士学位论文日志分析系统的任务调度方法研究研究生姓名邓海川学科、专业管理科学与工程研究方向管理信息系统指导教师方旭升副教授南京航空航天大学研究生院经济与管理学院二О一三年三月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofEconomicsandManagementResearchonLogAnalyzeSystemforJobScheduleAThesisinManageme

2、ntInformationSystembyDengHaichuanAdvisedbyProf.FangXushengSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofManagementMarch,2013承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以

3、将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：南京航空航天大学硕士学位论文摘要随着互联网与信息技术的不断发展，信息系统规模变得越来越庞大，如何对系统运行时的性能、业务数据、网络负载等情况进行监控分析成为了当前迫切需要解决的问题。而计算机日志作为系统的真实写照，记录了系统运行过程中发生的各种事件以及其对应的时间和产生的结果，因此，通过对日志进行分析，可以挖掘日志中蕴含的关键信息，为用户提供各方面的数据服务。日志分析系统作为日志分析的一整套解决方

4、案由多台服务器构成，通过网络的协调同步共同完成日志分析。其面向海量的日志信息，通过实时的对日志进行分析为用户提供服务。日志分析系统周期性的产生众多日志分析任务，它们在系统的调度下分派到适合的计算节点执行。日志分析任务具有计算量大、时效性强、准确性高等特点，其性能决定着整个系统的成败。本文通过日志分析系统的模块结构介绍，明确了任务调度模块在整个系统中的核心作用，并提出完成一个高效任务调度模块需要实现的目标。本文从任务调度理论与作者亲身参与开发的一款日志分析系统出发，总结了现阶段系统任务调度模块存在的缺陷，并在此基础上提出一种改进型的日志分析系统任务调度方

5、案。方案分别从架构和算法两方面展开设计，其中架构方面借鉴集中式调度思想，创新性提出在Master-Slave架构中增加任务收集层，形成Collector-Master-Slave三层次调度架构，新方案在降低Master负载同时也增强了系统的可扩展性；同时为Slave添加的监控子模块为计算节点提供了更完善的负载均衡策略。算法方面，本文将传统调度系统中采用的蚁群算法进行了适当的改进和完善，增加了负信息素、动态启动、参数自适应等功能使其更加适应日志分析任务特征。在实现方面，本文采用了JAVA高级程序设计语言，并利用现有的成熟产品，如Zookeeper、MIN

6、A等实现了调度的主体框架，并通过模拟日志分析场景验证了此方案的可行性。本文的设计方案提高了日志分析系统执行效率，降低了系统硬件成本，增强了系统稳定性，有较强的实践指导意义和应用价值。关键词：日志分析，任务调度，调度架构，调度算法I日志分析系统的任务调度方法研究ABSTRACTWiththequickdevelopmentofnetworkandinformationtechnology,informationsystemscalegrowmoreandmorelarger,howtomonitortheimportantdataofsystembeco

7、meaproblemmusttoberesolved.Computerlogasthetruefeedbackofsystem,itisloggingeveryeventandtheirresultwhensystemisrunning,soanalyzinglogfilecanminesomeimportantinformationhardtofind,andprovideralotofserviceforuser.LogAnalyzeSystemasatotalsolutionforloganalyze,itiscomposedofseveralc

8、omputers,andresolvetheanalyzeworkthroughnetwork