数据共享交换平台性能优化分析与技术研究-论文.pdf

《数据共享交换平台性能优化分析与技术研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第23卷第3期电脑与信息技术2015年6月ComputerandInformationTechnol文章编号：1005—1228(2015)02—0037—03数据共享交换平台性能优化分析与技术研究高瑞明，闫双平，郭玉福(华北计算技术研究所北京100083)摘要：介绍了数据共享交换平台的体系架构，总结分析了数据共享交换平台中数据采集处理、消息队列和数据库操作应用等影响性能的相关问题，针对性的研究了多线程、高性能消息队列、数据库批量处理和预编译语句等提高性能的优化技术，并给出了主要技术实现。关键词：共享交换；多线程；消息队列；数据库技术中图分类号：TP311．52文

2、献标识码：ADataSharingandExchangingPlatformPerformanceOptimizationAnalysisandTechnologyResearchGAORui—ming，YANShuang—ping，GUOYu—fu(NorthChinaInstituteofComputingTechnology，Beijing100083，China)Abstract：Introducedthearchitectureofshare——and——exchangeplatform,summarizedandanalyzedtheproblemof

3、dataacquisitionandprocessing，messagequeues，theapplicationofdatabaseoperationsthatafectperformanceinshare—and-exchangeplatform,basedontheaboveissues,researchedoptimizationtechnologyofmultithread，high—performancemessagequeues．databasesbatchprocessingandprecompiledstatementsandotheroptim

4、izationtechniques，andgavethemaintechnologyachievement．Keywords：shareandexchange；multithread；messagequeue；databasetechnology随着信息化的快速发展，现有各类应用系统在应系统、数据库资源等，支持不同处理业务、不同软硬平用范围、构建方式、系统结构、数据资源等方面存在一台对不同结构数据交互的共享要求，从而打破存在的定的差异，为了满足相互间数据共享需求，各单位根据“信息孤岛”，实现了应用系统之间的无缝共享和数据需要建立了统一的数据共享交换平台。从功能上看

5、，数交换【1]。基于保持现有业务系统基本不变、建立统一的据共享交换平台能够解决不同系统、异构数据间的信信息标准、保证数据的可靠传输和数据交换准确等要息交换，但对于一些系统要求实时l生高、数据量大的业求，数据共享交换平台的体系架构如图1所示。务系统间数据共享，往往存在着数据积压，数据延迟等业务系统数据共享交换平台业务系统性能问题。本文提出的性能优化技术，从多个方面分析和研究了数据共享交换平台的优化方法，能够指导和虱辅助系统设计人员进行软件的设计和优化，提高数据匦、墼塑壁共享交换效率，满足对实时l生要求高的业务数据交换数据l需求。圆圈回1数据共享交换平台体系架构图1数

6、据共享交换平台体系架构图数据共享交换平台旨在建立以各类数据交换为核数据共享交换平台采用基于消息中间件的异步同心的交换与共享平台，联系横贯单位或部门间的异构步技术，减少由于网络通信中断、数据库连接错误等造收稿日期：2015—02—02作者简介：高瑞明(1978-)，男，山西阳泉人，工程师，硕士研究生，主要研究方向：数据工程、软件工程；目双平(1978一)，男，陕西人，工程师，硕士，主要研究方向：数据工程、云计算；郭玉福(1982一)，男，北京人，工程师，硕士，主要研究方向：数据工程、网络服务。·38·电脑与信息技术2015年6月成的数据异常，从而提高数据共享交换的可

7、靠准确性，加载任务配置中要抽取的数据表：平台组成主要包括如下三个部分：数据采集处理，部署ExecutorServiceexecutor=-在源端业务系统，根据数据采集任务，负责抽取、转换、Executors．newSingleThreadExecutorO；executor．execute(new分发源端数据库捕获产生的增加、更新和删除QueryTaskTable(⋯))；ClassQueryTaskTableimplementsRunnable等变化数据，将处理的结果数据存储至对应的消{息队列。数据共享管理，部署在数据中心，负责对消息队列的统一配置管理、监控数据

8、采集、数据