基于lucene面向主题信息搜索系统关键技术的分析及应用

《基于lucene面向主题信息搜索系统关键技术的分析及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要近年来各级公安机关按照公安部“金盾工程”的要求，积极开展公安信息化建设。鄂州市公安局为了适应新时期社会治安形势，以信息化警务为目标，积极开展警务信息综合应用平台的建设。原有的集中式数据库的模式已经远远不能满足信息化警务的需求，在这种情况下，以分布式数据库为基础的警务信息综合应用平台应运而生。在分布式数据库系统中，数据分散存储于同一网络中的不同节点上，如何实现各节点数据库信息同步更新是我们要解决的关键问题，只有当各节点数据库的信息取得同步更新，分布式数据库中的数据才能保持一致性和完整性，如果数据不同步更新将对警务产生不良影响．。在此背景下，分布式数据库系统的数据同步是我

2、们首先要解决的问题。一本文首先介绍了分布式数据库系统和数据同步相关理论，然后重点研究了SQLServer数据库的复制技术、数据仓库中的ETL技术、XML技术和事务处理。在对新同步机制的网络应用环境分析的基础上，结合实际警务，总结出了亟待解决的关键问题。针对问题设计出总体的解决方案，即省、市两级的解决方案。在市级解决方案中，以SQLServer内嵌的复制机制为基础，创新的提出主从同步的技术路线，对原有的复制机制加以改进，解决了因为大量数据更新而造成的数据不一致的问题。在省级解决方案中，首先详细描述了数据的处理过程，然后借助SQLServer数据库中的事务处理机制，如存储过程

3、、触发器和作业调度的相关设置等，运用数据仓库中的核心技术ETL技术和XML技术，设计出一种新的数据同步机制。新的同步机制创新的运用了一个中间层作为数据采集系统，该数据采集系统巧妙的运用SQLServer的事务处理和数据仓库的ETL技术实现对数据的增量抽取，然后再将其存储到数据仓库中，最后进行压缩、传输、解压缩等数据处理。在新同步机制的数据上传阶段，先将各种异构的关系数据库映射成XMLSchdma文档，再根据XMLSchelma生成规格统一的XML文件，进行上传。在新同步机制的数据下载阶段，将接收到的XML文档更新对应的数据库信息，完成目标数据库的更新同步。这种机制不仅实现

4、了数据增量抽取，还有效的解决了异构数据的同步问题。关键字：分布式数据库，主从同步，SQLServer复制技术，ETL，XMLIAbstractInrecentyears，publicsecurityorgansinaccordance惭mthe“GoldenShield'’requirementsofMinistryofPublicSecurity,carryoutpublicsecurityinformationtechnologyactively．EzhouCityPublicSecurityBureauinordertomeetthenewperiodofpubli

5、cordersituation,usinginformationtechnologytotargetpolice，policeactiveintheconstructionofinformationintegratedapplicationplatform．neoriginalmodelhasacentralizeddatabaseofinformationwhichisfarfromtheneedsofpoliceinformation．Inthiscase，thedistributeddatabasebasedonpoliceinformationintegrated

6、applicationplatformcameintobeing．Inadistributeddatabasesystem，thedatastoredinthesamenetworkdistributedondifferentnodes．HowtoSynchronizationthedatabaseinformationofeachnodeisthekeytosolvetheproblem．Unlessallthenodeobtainthesynchronizedinformationinthedatabase，distributeddatabasemaymaintain

7、consistencyandintegrity．Ifthedata．isnotsynchronized，thepoliceplatformwouldhaveanegativeimpact．Inthedistributeddatabasesystem，datasynchronizationisthatwemustfirsttosolve．T1lispaperdescribesthesynchronizationofdistributeddatabasesystemsanddatarelevanttheories，andthenf