SpringBatch在实际应用中的设计.docx

《SpringBatch在实际应用中的设计.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、并发模块软件开发概要设计文档描述文档名称项目并发模块软件开发概要设计内容简介并发模块概要设计介绍文档变更目录1引言61.1背景61.2目的61.3术语缩略语71.4参考资料71.5适用人群72需求描述82.1业务需求82.2对并发模块的要求83模块概述93.1功能概述93.2模块范围103.3需求103.3.1功能需求103.3.2非功能需求113.3.3机制描述123.4运行环境143.4.1开发环境143.4.2部署环境153.5设计和实现约束154模块整体设计164.1Springbatch介绍164.1.1业务场景164.1.2普通业务流程174.1.3总体架构

2、184.1.4领域模型204.2Quartz介绍204.2.1业务场景204.2.2总体架构214.2.3领域模型224.2.4特点224.3框架整合234.3.1Spring+springbatch+quartz整合234.3.2事务支持234.4代码部署设计244.4.1旧有系统嵌入244.4.2新系统嵌入251引言1.1背景为应对业务快速发展及全业务网上营销的需要，公司迫切需要整合目前的所有系统，进而推出以为主体的电子商务网站。在的实际应用中，常常需要对大批量的数据进行读取、验证、保存及交换等相关的一些操作。各系统自主开发相关的大数据处理模块，有可能会使系统出现如

3、下问题：Ø代码重复开发，实现代码差异过大，代码维护成本增大Ø开发人员水平不一，代码质量无法得到保证，可能会产生效率问题，尤其数据量增大后，代码的执行效果无法得到保证因此，需要将大数据量的处理的问题作为项目中一个比较重要的模块独立考虑，并发模块应运而生。1.2目的本文主要是针对中，可能出现的并发应用的场景进行描述，并对此场景进行需求分析提炼，对并发模块中涉及到的批处理、异步、并发等机制进行阐述，对数据处理涉及到的功能进行概要设计。1.1术语缩略语序号术语/缩略语全称及说明1231.2参考资料spring-batch-docs.pdfQuartzJobSchedulingF

4、ramework中文版V0.9.1.chmQuartz的官方网站：www.quartz-scheduler.orgSpringbatch的官方网站：www.springsource.org/spring-batch/1.3适用人群Ø对spring体系结构有一定了解Ø在springbatchquartz方面有兴趣Ø在批处理方面遇到不同需求1需求描述1.1业务需求经过对项目的调研，有许多涉及到大数据量处理的业务需求：1.在周末、月末、节日等自动发送大批量信息去提醒或进行业务节点操作2.生成交费通知书，生成银行转账，保单满期失效等各种批处理。一般这些批处理在晚上没有其它在线

5、业务的时候运行，白天不能运行这些批处理，以免影响在线实时处理。晚上的时间毕竟有限，最低程度也要在整个晚上将这些批处理运行完毕，不能延续到第二天的营业开始时间。1.2对并发模块的要求Ø对大数据量进行批量处理Ø单个任务的并行执行Ø定制时间节点启动任务Ø循环任务执行Ø可以日志记录及进行重启1模块概述1.1功能概述并发模块主要处理系统中大数据量批量操作的所有问题。系统可以将所有大批量的周期操作都可以放到此模块中。此模块主要具备的三个方面的功能：Ø定制时间的功能作为周期性的操作，肯定会涉及到时间的处理问题，此模块必须有相关的时间定制才能满足此需求Ø批量数据处理的功能此为基本功能。

6、由大数据量引出的其他功能如，数据启动时的触发，数据中间的处理，处理出错后的补救，数据处理中的事务等一系列的功能，对批量数据处理进行支持Ø日志功能在数据操作的过程中，对每一个操作步骤及关键节点进行纪录是有益于监控操作过程的，即使操作失败，也方便对过程进行分析1.2模块范围此模块仅限于处理大批量的周期性的数据，也可以支持非周期性批量数据一次性处理（由于开发成本较高，请慎重使用）。1.1需求1.1.1功能需求Ø时间定制功能通过配置指定任务的执行时间，让任务达到定时启动的目的，或对大批量数据在凌晨定时执行批量处理的业务，缓解日间系统压力。Ø批处理功能对大数据量进行批量处理的功能

7、Ø并行处理功能如果业务数据量多达百万千万时，可以通过多线程并行执行的方式，加大CPU及内存利用率，加快处理进度，保证业务完成的时间Ø重启功能如果任务执行失败，可以对失败的任务进行重启，保证任务执行没有遗漏，或对任务执行可以进行手工干预，保证任务执行的准确度Ø日志功能对任务执行的每一步都进行日志纪录，便于对系统或任务出现的问题进行分析、处理、回溯等。1.1.2非功能需求Ø易用性各系统在使用及配置此模块时，尽量少的进行二次开发，以此来降低实施风险，减少实施周期Ø性能由于此模块使用嵌入式的开发，需要模块开发完成后，进行比较充分的测试以保证模块的