欢迎来到天天文库
浏览记录
ID:5399192
大小:1.26 MB
页数:21页
时间:2017-11-10
《cronhub 开源的时间调度系统-马晨》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Cronhub开源的时间调度系统--马晨Email:sharpstill@163.comphone:13240939267项目网址:http://www.cronhub.comPage2解决问题与需求1、大量的crontab管理起来好烦人任务老是没按时执行,各种原因失败,真让人抓狂。2、多台服务器环境下,管理crontab更是烦上加烦,登陆每台机器查看crontab结果不是折磨一贯偷懒的程序员吗?3、要是能有个自动化管理,可供的GUI界面管理就好了。Page3设计初衷1、源自暴风影音内部的数据组的每日定时跑的大量机器
2、环境下的数据任务管理需求。2、做一个“真正通用”,“真正解决日常需求”的时间调度系统。3、秉承UNIX工具哲学:“就做一件事情,且把他做到最好。”技术方案选型技术选型整个项目采用java语言开发Thrift–底层通信本地命令执行–apachecommonsexec数据库–mysql整个系统架构设计采用的架构设计原则—同样或相似功能代码出现的重复次数越少越好。Keepitinmindinprogramming.几个概念一、宏观1.daemon这个系统里的daemon是指真正在各个机器上被调度执行的daemon进程。(或许叫
3、slave更合适)2.centerserver在这个系统里图中中央的那个服务器,负责配置各个daemon机器的crontab,并提供一个web界面可供查看和配置。几个概念二、用户操作1.daemon负责新增加入,配置新机器或管理已有机器的daemon程序,并负责通信检测2.task负责分别为每个daemon程序“分派crontab任务”,由用户填入表单配置。3.record做记录是个好习惯,将每日的“未完成”,“已完成”的调度结果都记录下来。可供用户查看或失败时点击“重新执行”。(系统也提供了自动重执行失败任务,并提供了
4、重试截止次数配置)啥也不说,上图上demo–也可访问:http://www.cronhub.com/图2Daemon端Task任务添加添加任务后可以点击当场执行执行后与执行中任务未完成列表执行结果可供筛选查看TODO单例进程源于爬虫开发和数据挖掘某些开发的一些经验,需要单例进程这个功能。上次没执行完的进程这次不开始。杀死进程杀死进程功能位于未完成列表上面的一个按钮。超时设置命令执行超过指定时长应该报警,以及标志已经失败。谢谢大家
此文档下载收益归作者所有