社保联网审计中增量数据分布式处理的研究

《社保联网审计中增量数据分布式处理的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工程大学硕士学位论文摘要近年来，随着互联网和分布式计算的发展，海量数据处理的性能有了很大提升。在许多应用领域中，都需要从海量数据中提取出增量数据来满足某种业务需求，尤其是对于不断更新的源数据，往往需要定时抽取出增量数据。在目前和将来的研发中，如何快速的识别出增量数据，并进行提取、存储以及传输，将逐渐成为国内外学者关注的研究方向之一。在社会保障联网审计中，需要提取出增量数据来做为审计预警系统的源数据。增量数据的识别与提取技术是实现整个系统的关键技术之一。本文介绍了分布式系统的发展、负载均衡策略和国内外对于增量数据识别技术的研究情况，给出了基于分布式处理的增量数据

2、处理方案，对增量数据分布式处理的数据分割、数据分配、增量识别以及数据回收等过程进行了研究，为了提高处理效率还设计了负载平衡策略，结合多线程技术进行实现，并做了性能分析和系统设计。最后，以某省的审计数据作为实验数据，在该省审计厅的曙光机群的基础上搭建了平台，并进行了仿真实验，性能测试表明该方法基本满足了联网审计业务的功能要求，完成了较高效的增量数据识别工作，审计工作的时效性得到了提高。关键词：分布式计算；增量数据；负载均衡；社会保障审计哈尔滨工程大学硕士学位论文AbstractInrecentyears，withthedevelopmentoftheIntemetan

3、ddistributedcomputing，theperformanceofmassivedataoperationhasimproved．Inmany印plicationareas，it’Snecessarytoextractincrementaldatafromthemassivedatatomeetthedemandsofabusiness，especiallyitisrequiredtoextractfixtimeincrementaldatafromcontinuallyupdatedsourcedata．Therefore，howtoquicklyide

4、ntifytheincrementaldataforextraction，storageandtransmission,willgraduallybecomethefocusofattentionofforeignscholars．Thisthesisisonthebackgroundofthesocialsecuritynetworkaudit．Itextractsthedataasincrementalsourcedatafortheauditpredictsystem．Itmakes’post-audit’turnedinto’concurrentaudit’

5、toke印abreastofchangesinthesocialsecuritydata,andfoundthattheauditindoubtandforecastlawsofdamsbased011thedatachanges．Incrementaldatarecognitionandextractiontechnologyisakeytechnologyfortheentiresystem．Thisthesisdescribesthedevelopmentofdistributedsystems，loadbalancingstrategiesandtheinc

6、rementaldatarecognitiontechnologyresearchsituationathomeandabroad．Amethodofidentificationtheincrementaldatahasbeenprovided，whichisbasedondistributedprocessing．Thispaperbasicallyrealizedincrementaldataprocessingsystem，whichincludedfourmodules：datapartitioning，datadistribution,incrementa

7、ldataidentificationandtaskreallocation,anddatarecovery．Aplatformhasbeenbuiltbasedonperformanceanalysisandsystemdesign．Inthispaperadistributedapproachcombinedwithmulti-threadingtechnologyhasbeenused,andloadbalancinghasbeencarriedoutaccordingtovarioussub-nodesallocationoftasks．Intheend