资源描述：
《基于日志分析的sql server数据库变更数据捕获方法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、基于日志分析的SQLServer数据库变更数据捕获方法的研究与实现摘摘要要摘摘要要传统的数据集成、数据传播和ETL工具都是周期性把源端大量的数据转移到目标端,已无法满足新的商业需求,如数据仓库的持续更新、接近实时的商业智能以及业务数据存储。基于事务日志的变更数据捕获技术就为这些新IT业务需求提供了一种新的解决方案。本文在介绍事务日志原理和数据库恢复技术的基础上,提出了基于日志分析SQLServer数据库变更数据捕获方法。该方法通过异步读取事务日志,捕获变更数据。主要解决了以下几个问题:1防止未捕获变更数据的事务日志被截断;2
2、事务部分回滚中补偿日志的问题;3制定捕获进程重启处理的正确方案,以及如何减少重启的时间;4提高捕获进程的效率。关键字:事务日志,SQLServer数据库,变更数据捕获,部分回滚IAbstractTraditionally,DataIntegration,DataPropagation,andETLextract,transformandloadprocessesrunonaperiodicbasisweekly,dailyanduseabulkdatamovementapproachthatmovesandintegrate
3、stheentiresourcedatatoatargetdatasource.Thisapproachislimitedinitsabilitytodealwithnewtrendsandbusinessrequirements,someofwhichincludecontinuousrefreshingofaDW,nearreal-timebusinessintelligenceandoperationaldatastores.BasedontransactionlogChange-Data-CaptureCDCtech
4、nologyprovidesasolutiontoIToperationalchallengesandthenewbusinessmodelsThispaperintroducestheprincipleoftransactionlogsanddatabaserecoverytechniques,proposesachange-data-capturemethodbasedonSQLServerdatabaseloganalysisBymeansoftheasynchronousreadtransactionlog,this
5、methodcapturesdatachanges.Thisthesisaddressesthefollowingissues:Firstly,avoidthatthetransactionlogsnotcapturedchangedataaretruncated;Secondly,howtoprocesscompensationlogsforpartialtransactionrollbacks;Thirdly,developtherightalgorithmfortherestartofcaptureprocess,an
6、dhowtoreducerestarttime;Finally,toimprovetheefficiencyofcaptureprocessKeywords:transactionlog,SQLServerdatabase,changedatacapture,partialrollbackIII目目录录目目录录摘摘摘摘要要要要..IABSTRACTIII目目录录V目目录录第第第第一一一一章章章章绪绪绪绪论论论论11.1课题背景与来源11.2相关研究工作21.3本文研究意义和主要工作.21.4论文安排3第第第第二二二二章章章章
7、变变变变更更更更数数数数据据据据的的的的捕捕捕捕获获获获方方方方法法法法.52.1捕获方法5第第第第三三三三章章章章SQLSERVER事事事事务务务务日日日日志志志志原原原原理理理理113.1日志文件113.2日志113.3检查点.143.4事务日志153.5ARIES算法.20第第第第四四四四章章章章事事事事务务务务日日日日志志志志读读读读取取取取方方方方法法法法与与与与解解解解析析析析的的的的研研研研究究究究234.1读取日志增量的可靠性234.2原始日志记录解析304.3提高日志的解析效率.32第第第第五五五五章章章章
8、变变变变更更更更数数数数据据据据捕捕捕捕获获获获器器器器的的的的实实实实现现现现与与与与应应应应用用用用.375.1系统实现平台和开发工具375.2系统的功能描述375.3系统功能模块划分385.4系统模块实现.39第第第第六六六六章章章章总总总总结结结结与与与与展展展展望望望望49参参参
