基于soa的公安社会信息管理系统设计与实现

基于soa的公安社会信息管理系统设计与实现

ID:31982605

大小:2.35 MB

页数:81页

时间:2019-01-30

上传者:U-10915
基于soa的公安社会信息管理系统设计与实现_第1页
基于soa的公安社会信息管理系统设计与实现_第2页
基于soa的公安社会信息管理系统设计与实现_第3页
基于soa的公安社会信息管理系统设计与实现_第4页
基于soa的公安社会信息管理系统设计与实现_第5页
资源描述:

《基于soa的公安社会信息管理系统设计与实现》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

DESIGNANDIMPLEMENTIONOFSOABASEDPOLICESOCITYINFORMATIONMANAGEMENTSYSTEMAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:ZhuJianHuiAdvisor:LuGuangHuiSchool:SchoolofInformationandSoftwareEngineering万方数据 独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名:日期:年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此规定)作者签名:导师签名:日期:年月日万方数据 摘要摘要在公安治安管理工作中一些特殊行业,如印刷业、拍卖业、旅店业、印章业、机动车修理业、报废机动车回收拆解业、典当业、废旧金属收购行业等,这些行业中隐含着许多重要的与公安管理及案件侦破有关的信息,因此掌握这些信息并且有效管理这些行业,对打击违法犯罪,维护社会治安稳定有着重要作用。然而这些行业信息种类繁杂、内容模糊,格式不统一,且随着社会经济发展,还会不断有新兴行业出现,给公安信息系统的设计、开发、应用都带来管理方面和技术方向的双重挑战。本课题设计并实现了一套公安社会信息管理系统,通过该信息系统的帮助,将公安治安管理信息化工作的触角延伸到了这些特殊行业的内部,从而达到强化行业管理、有效预防犯罪、挖掘破案线索的目的。在系统的研究、设计与开发中重点解决了以下关键性问题:1.采用SOA架构作为公安社会信息管理系统的基本框架结构,将系统分为数据层、交换层、分析层、服务层四个不同的层次,每个层次采用松耦合方式互相访问。这样设计既能够适应社会行业管理的范围和内容的不断变化,也能够与公安现有的其它相关系统保持良好的衔接。在数据层,实现了社会信息采集服务组件,在交换层实现了数据同步服务组件,在分析层实现了研判比对服务组件,在服务层实现了分析预警和线索发布服务组件。2.设计并实现了基于实时数据交换的数据关联比对和联机分析方法,能够完成各类行业数据在内外网之间交换的同时对异常信息快速的筛选和预警,并实现对长时间、周期性的异常交易信息的分析。在研判比对中,系统提供了统一的WebServices接口服务,任何经注册的第三方可以向该接口提交比对目标数据,与本系统已经有的比对源进行比对,从而实现了快系统的通用比对服务;在联机分析中,重点实现了全库异常人员分析、增量异常交易分析分析和批量异常交易分析。3.完成了公安社会信息管理系统的开发、测试和试运行工作。使用过程中,系统快捷高效的运行维护和升级改造过程,进一步说明系统所采用的技术框架和关键技术的有效性及先进性。关键词:公安社会信息,面向服务架构,数据关联比对,联机分析I万方数据 ABSTRACTABSTRACTSomespecialindustriesinthepublicsecuritymanagement,suchastheprintingindustry,theauctionindustry,hotelindustry,motorvehiclerepairindustry,dismantlingvehicleindustry,pawnbroking,scrapmetalindustryetc,whichcontainmanyimportantandpublicsecuritymanagementandcaserelatedinformation。Masteringtheseinformationandeffectivemanagementoftheseindustries,playsanimportantroleinmaintainingsocialorderandstabilitytocombatcrime。However,Theseindustryinformationhasfuzzycomplexcontent,theununifiedformat,whichgiveusthedualchallengestopublicsecurityinformationsystemdesign,Thedevelopment,applicationmanagementandtechnicaldirection。Thisthesishasdesignedandimplementedasetofpublicinformationmanagementsystem。Withthehelpofinformationsystem,publicsecuritymanagementworkcanextendeditstentaclestotheinternalofthesespecialindustry,andachieveobjectiveofstrengthenindustrymanagementandeffectivecrimeprevention.Inthesystemresearch,thefollowingkeyproblemshasbeensolved:1.TheSOAarchitectureasthebasicframeworkofpublicmanagementinformationsystem,whichdividedthesystemintothedatalayer,layer,analysislayer,servicelayerfivedifferentlevels.Eachlevelaccesseachotherbylooselycoupledway.Thisdesignisabletoadapttochangingsocialindustrymanagement,alsotootherrelatedsystemsandtheexistinggoodcohesion2.Datacorrelationmatchingandon-lineanalyticalmethodhadbeendesignedandimplemented,whichisbasedonreal-timedataexchange.themethodisabletocompleteallkindsofindustrydataexchangebetweeninnerandouter,andthelongtime,periodicabnormaltransactioninformationcanbeimplemented.3.Thepublicinformationmanagementsystemdevelopment,testingandcommissioninghavebeencompleted.EffectivenessifthetechnicalframeworkandthekeytechnologyillustratedIntheoperationofthesystem.Keywords:publicsecurity'ssocietyinformation,ServiceOrientedArchitecture,Datacorrelationcomparison,OLAPII万方数据 目录目录第一章绪论....................................................................................................................11.1研究背景.....................................................................................................11.2研究开发的目的和意义.............................................................................21.3国内外现状.................................................................................................31.4论文的主要工作.........................................................................................4第二章相关理论与设计................................................................................................62.1服务体系.....................................................................................................62.2信息采集服务.............................................................................................82.3数据同步服务...........................................................................................102.4研判比对服务............................................................................................112.5分析预警服务...........................................................................................122.6线索信息服务...........................................................................................132.7本章小结...................................................................................................14第三章系统需求分析..................................................................................................153.1总体需求...................................................................................................153.2功能需求...................................................................................................153.2.1信息采集............................................................................................163.2.2数据同步............................................................................................183.2.3研判比对............................................................................................193.2.4线索分析............................................................................................203.2.5信息预警............................................................................................213.2.6线索服务............................................................................................223.2.7系统管理............................................................................................233.3其它业务需求...........................................................................................233.3.1扩展性需求........................................................................................233.3.2操作性需求........................................................................................243.3.3性能指标............................................................................................243.4本章小结...................................................................................................25第四章总体架构设计..................................................................................................264.1系统运行环境...........................................................................................26III万方数据 目录4.2系统框架结构...........................................................................................264.3业务数据设计...........................................................................................284.4本章小结...................................................................................................30第五章详细设计与实现..............................................................................................315.1信息采集子系统.......................................................................................315.1.1实现方案..............................................................................................315.1.2关键技术............................................................................................325.1.3用户接口............................................................................................375.2数据同步子系统.......................................................................................385.2.1实现方案..............................................................................................385.2.2数据同步(服务)模块...........................................................................475.2.3同步管理模块.......................................................................................495.3研判比对子系统.......................................................................................495.3.2比对配置管理模块............................................................................535.3.3比对运行服务模块............................................................................565.3.4比对处理............................................................................................575.4分析预警子系统.......................................................................................625.4.1实现方案............................................................................................625.4.2关键技术............................................................................................635.5本章小结...................................................................................................66第六章系统测试与应用..............................................................................................676.1系统测试...................................................................................................676.1.1测试环境...............................................................................................676.1.2测试方法...............................................................................................676.2系统应用情况...........................................................................................676.3本章小结...................................................................................................68第七章结论与展望......................................................................................................697.1全文总结...................................................................................................697.2展望...........................................................................................................69致谢............................................................................................................................70参考文献........................................................................................................................71IV万方数据 第一章绪论第一章绪论1.1研究背景随着我国社会经济的快速发展和社会体制改革的深入,社会矛盾也显得日益突出,公安机关打击、防范、控制犯罪的形势也变得日益严峻,给公安民警特别是基层民警在日常执法中提出了各种新的情况和新的挑战。传统的管理模式已越来越不适应新形势的需要。特别是在社会治安管理中的特种行业,问题显得尤为突出。按照国家法律规定,公安机关承担着许多特种行业治安管理工作,如印刷业、拍卖业、旅店业、典当业、废旧金属收购行业、车辆维修等,随着社会经济发展,一些新兴行业还会不断出现。这些行业中隐含着许多重要的与公安管理及案件侦破有关的信息,掌握这些信息并且有效管理这些行业,对打击违法犯罪,维护社会治安稳定有着重要作用。然而,这些社会性信息具有海量、非结构化、分布式的特点,不同于以往的公安内部信息系统中存储的规范数据,据初步统计,大量的行业性信息中只有百分之三左右对于公安社会管理、案件侦破是真实有用的。这就对相关信息系统的建设提出了更高的要求和挑战,主要体现在以下几个方面:社会性信息的采集手段和技术方式必须是多样化的,采集系统不仅仅依赖公安自身的力量,也需要社会人员的参与,形成一种交互式采集的管理机制。社会性信息管理系统必须能够快速的进化,随着新兴行业的产生,治安防范部门需要尽快的将新的有用数据纳入到治安管理中,也应能够为刑事案件侦查、经济案件侦查等公安有关信息化系统提供有效的信息服务和基础线索,这就要求信息系统设计采用扩展性强的系统架构。民警无法直接面对混杂的各种社会性信息,需要依赖技术系统的过滤、分析,最终产生真正在工作中有用的引导性信息。这就要求社会信息管理系统不仅仅是一个简单的信息管理系统,其发挥的效用不仅为民警提供终端用户服务,更可以为公安其它信息系统提供如快速深度检索、比对分析、预警等服务功能。同时,国家在行政管理规划中,对公安信息化提出了很高的要求,公安部在金盾工程建设的总体目标中明确要求“80%以上的公安业务工作信息在采集、使用、维护上实现信息化流程;社会信息资源的共享利用进一步拓宽和充实。”在公安信息化建设过程中,更加重视整合平台的建设,以整合平台的建设为信息化的基本骨架,编织平台间的信息共享网络,进行信息资源的整合,进一步带动信息1万方数据 电子科技大学硕士学位论文融合联机分析应用的建设,改进和促进公安打防控的能力。在上述大背景下,针对公安机关对社会信息的迫切需要和管理中出现的问题,本课题设计并实现基于SOA的公安社会信息管理系统,实现对社会信息的标准化采集,实现对社会信息资源的充分挖掘和应用,服务于金盾工程综合体系,服务于公安行政管理和侦察破案。1.2研究开发的目的和意义二十世纪九十年代,浙江省公安机关在旅馆业治安管理和流动人口管理中尝试了计算机信息系统管理,开发并推广应用旅馆业治安管理系统和暂口管理信息系统,采集了全省宾馆旅客住客和11各个地市暂住人口登记的信息,在公安行政管理和打击违法犯罪中发挥了重要作用。这些成功的经验被逐步扩展到其它治安管理领域,如典当业、维修业等。全省很多地市已经建设了一些相关信息管理系统,如特种行业信息管理系统、娱乐场所信息登记系统等,从建设和应用的情况来看,系统主要以信息的采集和日常维护为主,在研判案件过程中以综合查询的形式使用,发挥了一定的作用。但是,这些采集系统往往针对性比较强,在设计的时候并没有考虑到各种特种行业的共性,当初也没有形成统一的信息规范,在系统建设中,这些系统也并没有纳入到省打防控统一平台上来。此外,由于这些系统需要在外网采集,再通过隔离网关交换到内网,对系统安全性要求较高,有可能存在一定的安全性隐患。因此,开发统一的社会信息采集应用平台,使用专门的安全隔离措施,以及应用各种信息传输媒介进行数据通信,完全有可能将各类重要的社会信息,纳入公安管理部门进行有效管理,并将具有强大的生命力,产生巨大的效益。本课题的目标是为全省建设一套统一的社会信息管理系统。系统以公安部现有公布的有关公安行业标准为依据;从省厅管理的角度出发,集中各地的需求,建立一套从企业到地市公安局、省公安厅的信息采集和管理系统;从统一信息化平台的思路出发,将各类社会信息管理进行整合,使得在全省范围内,各个被管理企业、商户,和公安机关、区县分局、派出所机构融合到该管理平台上来,满足各级办案和日常工作的实际需要。这一项目的研究和系统的开发建设,将使得原来各自为政的各类社会信息采集系统统一到一个平台上来,更有利于全省社会信息的融合,也提供了统一的数据处理、分析应用。2万方数据 第一章绪论1.3国内外现状面向服务的体系架构(service-orientedarchitec-ture,SOA),目前还没有一个标准的定义,大家公认它是一种模型概念。即将应用程序的不同功能(服务)通过定义良好的接口和协议联系起来。而基于SOA架构的应用实现的主要难点在于分布式环境下的信息交换体系、业务协同技术和动态扩展技术。[1,2]罗革新等阐述了面向服务体系架构软件平台的基本构成、层次结构,以及国内外的技术发展现状和相关应用。可以看出面向服务的体系结构只是一个抽象层的概念,在具体实现方面,可以采用多种技术方案,因此是一种十分灵活的技术结构。该架构应用在软件系统中,使用一些基础的技术组件、以及业务应用相关的应用型组件。根据应用情况测算,可以提高全新应用软件系统开发效率25%~50%,提高应用系统集成效率40%~60%。在公安社会信息管理系统的体系结构设计中,首先需要解决的是多源的信息[3]在分布式环境下的交换和处理问题。罗铁军给出了一种用于区域政务信息交换[4]的设计,适用于包括公安在内的多级政府部门之间的信息交换体系,段翰聪则提[5]出了一种基于SOA的分布式业务部署环境,管红杰提出了基于SOA的业务协同工作流的基本实现技术。由于SOA架构的实现技术千差万别,而服务系统实现的重点在服务接口的扩[6]展性,即当服务接口发生变化或者扩充时,相关系统的自适应能力。樊程描述了SOA服务架构中服务动态扩展的各种可能的机制,该模型在SOA架构的基础上,引入了服务资源数据池,资源池中的服务被统一管理,支持动态扩充和均衡能力,应用系统通过一致的接口调用池中的各类服务,通过特定语言模型中实现服务定[8]义和扩展机制,并对系统模型进行仿真测试。崔峰提出了一种平行管理的概念来解决SOA架构中各种自适应问题和数据交叉问题。针对这一类问题,已经有很多[9]相关的研究报告和文献。Pawei提出了基于知识的服务动态扩展机制,[10,11,39][12,13,14,40]Tomasz则重点研究自适应服务总线技术,Tomasz等提出了服务系统进化的体系结构和实现技术。根据以上的国内外研究,服务体系结构中服务自适应问题已经有了很多解决方法,然而这些解决方法和评判体系都是基于SOA的整[41]体体系,其实现技术并不明晰,我们认为在具体实现过程中,可以采用依赖注[42]入技术来实现服务的动态扩展管理。除了体系结构方面,在公安的社会性信息管理应用方面也已经有了一些相关[17]的信息系统,如特定行业社会信息综合应用系统、民用爆炸物品管理信息系统[19][20][21]、手机业治安防范信息管理系统、机动车和驾驶人信息管理系统、典当行[23]业信息管理系统,这些信息系统多是针对社会上某一特定行业的信息系统,功3万方数据 电子科技大学硕士学位论文能主要以数据管理为主。但是在公安机关的实际侦查办案中,对跨系统的信息整合、数据分析等方面明显不足。一些地方针对派出所基层民警,设计了基层综合[18,22]信息系统,但这些系统只是简单的将各类信息数据罗列在一起,并没有对数据进行分类和挖掘,更没有针对社会性信息开展研究和应用。由此可见,公安信息化建设急需一个综合性的,能够为全警服务的社会信息管理系统。[26]在社会信息管理系统的具体实现方面,必须解决内外网多源数据交换、数[24]据分层抽取和数据分析技术。目前,数据交换可以采用基于元数据的交换、基[25][27][24]于规则的交换、面向服务的数据交换几种方式。在文献中,提出了基于ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型,实现了基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能,再实[25]际数据中心建设中得以应用,取得了良好效果。文献提出了基于用户规则的数据交换总线的实现,截取数据传输过程中的数据,对数据进行分析和进一步的分解操作,将分解的数据片段与预先设定的路由规则进行匹配,并根据均衡策略选择路由,将数据传输到最终目的地,文章研究重点在于特定用户原则下的路由方法,以及相关的可靠性保障技术。在这几种实现方式中,基于元数据的交换最灵活,交换效率也最高,适合在本项目中的应用。数据交换将海量的社会性信息交换进入公安的各类信息系统中,同时需要对信息进一步抽取、分析和挖掘,提取出对案件侦破、犯罪打击密切相关的基础性[32]数据,文献对联机分析挖掘(On-LineAna-1yticalMining,OLAM)技术的形成原因、功能特征、分析操作方法以及模型结构进行了综述,分析了目前该技术存在的主要问题以及实现的关键技术,并展望了OLAM未来的发展方向。目前,多数参考文献集中在信息比对和报警的实现和应用上,对于社会信息的深度分析并不多见,由于社会性信息的复杂性,基于文本的语义识别技术并不成熟,比对和比对结果的预警成为了实际应用中的首选,但是从工程技术角度上考虑,如果能够针对公安社会性信息的分析综合出合理的模式,在固定的模式下实现深度分析还是有可能实现的。1.4论文的主要工作本文主要进行了以下几个方面的工作:基于SOA服务架构的相关理论,重点给出社会信息管理系统的需求分析、详细设计、系统实现、系统功能测试等等。论文框架如下:第一章:对研究课题的国内外背景及意义进行了介绍。第二章:对SOA服务架构的相关理论在本系统总线设计中的应用进行介绍。4万方数据 第一章绪论第三章:对公安社会信息管理系统“一库、一网、四系统”的总体需求进行介绍,针对系统业务需求和功能需求进行研究和分析。第四章:介绍系统数据库建库层次、软硬件运行环境以及业务数据流程的总体规划和设计。第五章:对系统信息采集、数据同步、研判比对、分析预警等各个子系统模块进行详细设计和实现。第六章:对初步实现的系统进行功能测试和性能测试,通过测试检验系统技术设计和实现的科学性和完整性。第七章:结论和展望。针对本课题的研究工作进行归纳总结,并对以后的进一步研究提出一些设想。5万方数据 电子科技大学硕士学位论文第二章相关理论与设计2.1服务体系SOA服务将应用程序的不同功能单元通过定义良好的接口联系起来。接口采用中立的方式进行定义,独立于实现的具体环境。让不同系统之间的服务功能可以进行相互调用,实现可跨系统之间的通信,有利于信息的整合和跨业务利用。因此SOA可以看做一组特定实现的服务、统一的服务接口及基于接口的服务语义关系构成。在SOA中的服务都提供了接口定义能力和数据反射能力,可以采用松耦合的方式实现相互调用。这种方式与非SOA的各类架构相比,具有更加灵活、扩展能力更强的能力。通过应用SOA,可以在新增的行业中快速构建和组织系统应用模块。在面向服务的体系架构中,各类软件模块分成三个部分,包括服务注册、服务请求、服务提供,如下图所示。服务提供者发布服务注册中心调用查找服务请求者图2-1服务体系服务提供者:负责创建服务的描述,发布到服务中间层。SOA服务组件以WebService接口对外提供信息的查询和推送接口。WebService能够基于互联网,实现类似RCP形式的远程过程调用,请求方和调用方是两个松耦合的计算单元,比较适合在SOA架构中采用,也是当前面向服务架构中应用比较广泛的信息通信形式。在通信协议上,WebService目前支持SOAP和REST两种方式,服务方通过WSDL定义通信接口,并提供UDDI协议实现服务的定位,请求方和服务方通过SOAP协议进行两者的信息交换,因为SOAP协议格式复杂,交换效率不高,目前实际应用更多的采用REST这种轻量级的通信协议完成,由于服务体系架构往往应用在Internet或者Intranet中,REST协议的简单方便和灵活性使得更加适用于SOA6万方数据 第二章相关理论与设计架构中。服务请求者是SOA架构的核心组件:为服务体系提供服务的描述、服务接口声明、服务查找方式和服务请求的响应和实现。从中间层出查找服务的描述,进而调用服务。服务注册组件式服务提供者和服务请求者之间的中介,又称为企业服务总线,为面向服务体系结构提供一些基础架构功能,如异构服务的统一注册、服务组件的发布、统一的基于UDDI对的服务查询和定位接口、SOAP通信协议的封装、终端点的定义等。可以说,ESB主要提供了服务的统一管理和对服务请求者提供统一的访问接口。公安社会信息管理系统基于SOA服务体系设计,其核心由信息采集服务、数据同步服务、研判比对服务、分析预警服务与线索发布服务构成。下图(2-2:服务组成)显示了系统的服务层组成。图2-2服务组成信息采集服务,实现了数据存储、交换、采集和维护。本系统中所有数据服务全部采用了J2EE体系中基于JAVA类反射和序列化机制,实现数据库数据与业7万方数据 电子科技大学硕士学位论文务对象的转储,从而使得服务操作是语言级的对象。其它SOA服务属于基础服务层。这些基础服务由各种SOA服务模板组成,包括数据存储服务、安全认证服务,业务处理服务、系统管理服务、交互UI服务、扩展服务。其中业务处理服务构成SOA服务的核心,根据本系统实际需要,分成了数据同步服务、研判比对服务、分析预警服务和线索信息服务。前端工作系统体现了用户角度的服务视图,是用户与服务交互的主要接口,包括了人员管理和物品管理,如采集、维护、查询等;研判比对,如比中数据查询、临时比对操作、文件比对操作等;统计分析,如按时间、单位、数量统计、异常交易分析等;预警管理,如预警查询、短信预警、预警处理;登录认证,分为SSL认证和PKI认证;系统辅助管理,如同步过程、比对过程监控;同步过程、比对过程配置等。系统在SOA中间件的方案中引入了组件重用和分布式计算,将客户端和服务器服务分开,进行松耦合交互的一种技术。SOA服务目前主要有两类标准,基于SOAP协议的和基于REST协议的,后者为一种考虑到通信效率的轻量级实现。两种实现标准都支持一定的组件重用,前者采用XML作为消息传递的基本格式,支持数据签名、跨域通信、服务发现和服务集成等复杂功能,后者采用JSON作为消息通信的基本格式,传输格式简单,效率比较高,但是支持的通信功能不足。2.2信息采集服务信息采集服务基于SOA组件框架结构开发,可以将组件框架理解为软件生产总线。其目的在于实现组件的扩展性,其中实现了半自动化的MIS系统生成器,通过一系列SOA服务模板的定义,能够自动配置对数据库表的增删改功能实现,从而支持系统的扩展能力。信息采集服务由以下几个模块组成。界面生成(UIP)模块:从用户接受输入、通过UIM转发请求、并根据UIM层返回的结果显示。界面实现(UIM)模块:对UIP请求进行处理、执行特定功能逻辑,完成数据转换、根据样式配置创建界面描述。业务逻辑(BL)模块:主要的业务逻辑执行组件,实现数据处理、存储、查询等功能。持久化(OP)模块:实现关系型以及非关系型数据的存储事务。公安机关对于特殊行业等企业的管理业务工作,由于体制的变革、机制的调整、需求的变化、业务的扩展和管理模式的改变等诸多原因而处于相对的变更中,8万方数据 第二章相关理论与设计对于社会信息的关注对象也随之而变化,不同的管理对象的数据表现方式也各不相同,从已经掌握的信息分析,分为文字信息、照片信息、数字信息等,这就要求信息采集前端能适应不同的行业信息采集需求,这就要求系统管理软件不断进行更新、升级。因此公安机关非常需要能有一套软件来适应这种需求。MIS生成器的作用是针对数据库加壳的应用,通过简单配置即可快速生成。具体的说MIS系统生成器包含以下部分:数据库结构定义:根据具体的业务需求修改数据库相关表结构,包括增加、删除、修改数据表的字段,字段的属性(类型、长度)。字段之间的约束关系,及字段的属性包括非空项、字典项,blob字段,哪些字段是系统填写,哪些字段是显示项,哪些字段是打印项等。菜单定义:在固定得菜单模式下,用户可以自己定义菜单的风格、各级菜单的名称,并能使叶结点菜单同业务模块功能对应连接起来。界面的定义功能:根据用户的需求定制相应的显示项及屏幕位置。包括录入页面、显示页面。系统自动根据用户的定制要求生成数据采集页面,数据查询输出页面,并按功能模块的取名规则自动为功能取名。用于同菜单定义功能相连接。在数据库持久化方面,使用hibernate将关系数据库中的关系数据映射为对象,从而为应用程序提供了高效的O/R关系映射和查询服务,也为面向对象的领域模型到传统的关系型数据库的映射,提供了一个使用方便的框架。在本项目的SOA服务中,以下数据都被视为持久化对象实体(见表2-1):表2-1持久化对象实体实体表关系交易物品二手机、二手车、典当物品„一对多交易人员二手机买家、二手机卖家„一对多布控物品被盗二手机、被盗机动车„一对多布控人员在逃人员、犯罪嫌疑人„一对多比中记录交易物品、交易人员一对一异常分析记录交易信息一对一这些实体entity独立于任何持有实体引用的对象。与通常的Java模型相比,不再被引用的对象会被当作垃圾收集掉。实体必须被显示的保存和删除(除非保存和删除是从父实体向子实体引发的级联)。这和ODMG模型中关于对象通过可触及保持持久性有一些不同——比较起来更加接近应用程序对象通常在一个大系统中的使用方法。实体支持循环引用和交叉引用,它们也可以加上版本信息。带有持9万方数据 电子科技大学硕士学位论文久化状态的、具有业务功能的单线程对象,此对象生存期很短。这些对象可以是普通的JavaBeans/POJO,唯一特殊的是他们正与(仅仅一个)Session相关联。这个Session被关闭的同时,这些对象也会脱离持久化状态,可以被应用程序的任何层级自由使用。此外,信息采集采用两种安全认证服务,基于SSL的认证和基于PKI的认证方式。基于SSL的认证安全套接字(SecureSocketsLayer(SSL))是在广域网上使用的一种安全通信协议,主要用于身份的认证方面。为了防止信息在传输过程中被窃听和篡改,SSL提供了两种类型的协议。安全控制能力较低的称为记录型协议,主要用于为高级别协议提供一些基础功能,另外一种称为握手型协议,主要用于实现通信两端的通信凭证和可靠性验证,并利用记录型协议对数据进行加密。在互联网上,两个应用需要进行通信时,由客户端发起socket连接请求,在连接建设过程中,由服务器向客户端发起认证,客户端根据协议的内容进行服务验证,验证通过后,双方再进行数据通信,SSL通信的内容往往具有一定的保密性,因此内容与一般的HTTP通信协议并不完全相同,需要进行一定的加密、解密和验证操作。2.基于PKI的认证方式PKI体系结构则是一种安全性更高的信息认证方式,它需要有一个可信的第三方认证机构来实现认证,由CA认证机构颁发迷药,秘钥采用非对称秘钥结构。根据统一电子认证的设计原理,平台在JavaEE技术框架基础上,其核心PKI认证和CA的跨域模块采用Java实现,对于WebServices的安全通过wss4j实现了双向的加密和签名。2.3数据同步服务项目中SOA同步服务由一组java线程、同步控制器、数据库脚本、数据库过程和相关的WebServices接口组成。其中WebService服务提供了基于SOA的数据同步控制、管理的接口;java线程和同步控制器实现了数据同步服务中的数据传输、转换等工作;数据库脚本和过程则负责实现数据库数据变化的发现、提取和两个数据库之间的直连同步服务。根据项目需求,设计实现了以下几种方式:1.标记式同步:是指待同步数据满足两个基本特征,第一是增量式变化,数据不会出现删除和修改,只会增加,第二是待同步数据的数据项中具有标记性质的字段,该字段随着记录的增加也不断增长。在各种待同步数据的需求中,这种10万方数据 第二章相关理论与设计同步情况最普遍。同步过程由同步代理定时扫描完成,首先同步代理监测数据是否发生了增长,进一步取得增长距离上一次扫描的数据范围,如果数据量过大,同步代理还需要进行数据的过滤和修正,最后同步代理根据配置生成数据查询命令,取得增长的数据,并写入到目标数据源中。2.触发式同步:触发式同步实现起来相对比较复杂,灵活性也较高,首先需要在待同步的双方建立中间节点库,源数据库发生任何变化时候,包括增加、删除、修改,都由同步代理在中间节点库进行数据变化登记,登记过程需要记录数据变化的时候,变化的类型,变化前特征标志和变化后特征标志。数据代理每隔一段时间扫描中间节点库,并根据中间节点库的记录相应的修改目标数据库的数据。3.全同步:全同步是一种相对比较简单,也是效率较高的同步方式,但是该种同步方式不能支持海量数据的同步。其同步过程由同步代理定时从源数据库中取得全部数据,然后批量分组插入到目标数据库中去,在数据插入前,会删除掉原来的数据记录,不管该数据是否发生了变化。2.4研判比对服务项目中比对SOA服务设计为一组活动性server和数据库通信管道,又可以细分成几个子服务:1.实时比对子服务:实现实时数据的比对,当比对源或者比对目标的数据出现增删改等事件时,立即以触发的方式进行数据的比对。2.定时比对子服务:采用非实时的方式,按照特定周期提取数据并进行比对操作。3.临时比对子服务:临时数据是指该类数据不属于综合数据库中长期存放的数据。临时比对为临时数据转入综合库的临时表提供转换接口,或为临时数据的录入提供用户可定制的界面,从而实现临时数据与其他数据的比对。4.手工比对服务:手工比对采用WEB浏览器方式,分别从比对源和比对目标表中筛选出满足条件的记录进行批量比对。5.比中结果输出服务:无论采用何种比对方式.当比对出满足条件的记录后,系统都会根据用户的要求,把比对结果输出到指定地址,包括公安网站、邮箱、传真机等。当比对发现可疑情况时,将比对结果按比对模型指定的地址,通过传呼、固定电话、移动电话等方式进行报警。6.比对报警模型配置服务:11万方数据 电子科技大学硕士学位论文包括了比对对象配置:用户可配置比对源和比对目标,实现对平台下任意两个数据表的数据进行比对;也可以配置一个比对源和多个比对目标的比对关系。比对条件配置:用户可自定义各项比对源与比对目标之间的条件和匹配规则。比对结果输出方案配置:用户可自定义比对的输出格式、输出内容.包括输出字段的名称、表现形式.界面摆放格式等;系统提供简单比对结果输出方案与详细比对结果输出方案。比对输出方式配置:用户定义当前比对模型的比对结果允许的输出方式,如输出到公安网站、电子邮件方式、传真方式及报警方式。比对任务配置:用户可定义比对任务的执行方式:实时比对、定时比对(设置具体比对时间或设置比对周期);定义比对任务号;定义引用的比对模型;定义任务的执行顺序,优先级别。2.5分析预警服务分析预警服务采用了可配置的联机分析技术,对原始采集数据、比对数据进行定时分析,由于分析服务一般是比较耗时的操作,因此以守护线程的方式实现,主要支持以下几类分析业务:1.异常交易分析:如“同一身份证在最近三个月出现在二手机交易四次”、“同一个发动机号出现在两次以上的二手车交易中”2.关联分析:如“两个人多次同时入住同一旅馆”、“犯罪嫌疑人是否可能是受害人认识的人”、“犯罪嫌疑人A是否与B认识”等。在具体技术实现方面,系统借鉴了大数据处理平台中Map+Reduce的实现方案,将所有采集的信息归结为键值或者序列中。1)“名称/值”对的集合(Acollectionofname/valuepairs)。不同的语言中,它被理解为对象(object),纪录(record),结构(struct),字典(dictionary),哈希表(hashtable),有键列表(keyedlist),或者关联数组(associativearray)。2)值的有序列表(Anorderedlistofvalues)。以异常交易为例,后台服务搜索所有数据库中的数据,以身份证为键,交易次数为值,每次后台搜索匹配到了数据,就将值增加1,当交易次数达到了指定的阈值后,则所有关联到的交易则作为异常交易数据,进入到线索信息库中。此外,分析预警服务提供了基于实时短信平台的预警服务功能。实时短信平台中提供了定时短信触发的功能,提醒工作人员应在什么时刻使用什么功能,或者查看报警数据。12万方数据 第二章相关理论与设计图2-3短信通知架构2.6线索信息服务线索信息服务用于实现本系统中通过研判比对和分析预警产生的线索信息通知到第三方系统中,通知可以以主动推送或者被动查询的方式来实现。如图(2-4:线索信息服务)所示。图2-4线索信息服务13万方数据 电子科技大学硕士学位论文在技术实现上,采用了基于SOA的消息通信机制,包括传统的消息传递范例(松耦合和异步集成),也包含Web服务范例(包含丰富的自我描述的元数据,以及以服务为中心的集成方法)。服务表现为一组WebService服务,并根据可配置的SLA设置界限和警告,也支持策略驱动的路由和安全服务。2.7本章小结本章主要阐述了基于SOA服务架构的相关理论,使得构建在不同硬件平台、操作系统和编程语言服务可以封装成通用的接口和服务,从而实现社会信息管理系统的总体技术路线和设计框架。14万方数据 第三章系统需求分析第三章系统需求分析3.1总体需求公安社会信息管理系统的总体需求可以归纳为“一库、一网、四系统”。一库是指统一浙江省的公安社会信息库;一网是指建立公安内外安全接入网;四系统是指外网采集子系统、数据同步子系统、内网监控子系统、信息服务子系统。外网采集子系统部署在社会互联网虚拟专网环境,首先实现包括娱乐场所、二手机收购业、车辆维修业、内保单位等特殊行业的信息采集,并逐步扩展采集行业的范围。外网采集子系统的核心采用SOA体系进行设计,实现了信息采集服务的服务提供者。数据同步子系统将外网采集的数据,通过内外网交换进入到内网监控子系统中。数据同步子系统由基于SOA体系的数据同步服务提供者和外围配置管理、监控等模块组成。内网监控子系统部署在公安专网,该子系统负责接收来自外网采集子系统的数据,并对数据进行校验、核对、比对、分析,统计,并对可能有用的案件线索,及时向管辖民警进行信息预警,同时提取线索信息进入到信息服务子系统中。内网监控子系统实现了研判比对服务和分析预警服务,是本系统的业务核心。信息服务子系统为公安其它部门,如刑侦、经侦、禁毒等业务部门提供有效的线索信息服务,使得纷杂的社会性信息能够在全公安的信息化系统中共享。信息服务子系统实现了线索信息的SOA服务,主要为其它部门的业务系统提供相关信息。3.2功能需求整个系统由四个子系统组成,分为七个业务功能模块,包括信息采集、数据同步、研判比对、线索分析、信息预警、线索服务、系统管理。其中信息采集子系统实现了信息采集功能;数据同步子系统实现了数据同步功能;内网监控子系统实现了研判比对、线索分析、信息预警和系统管理功能;信息服务子系统实现了线索服务功能。系统整体用例图如图(3-1:系统整体用例图)外网用户为社会单位和企业用户,通过信息采集、数据同步子系统实现社会信息数据的采集,内网用户为公安干警,通过应用所有子系统实现对社会信息的管理和应用,研判人员为公安专业人员,通过应用线索服务子系统实现对专业线15万方数据 电子科技大学硕士学位论文索的分析和研究,服务公安现实斗争。图3-1:系统整体用例3.2.1信息采集信息采集功能实现各种治安管理的社会行业基础信息、交易信息的采集,信息采集的范围包括二手机交易行业、车辆维修行业、废旧物品收购业、典当业、旧货寄售业、金银饰品加工业、出租车行业等特殊行业。(见表3-1:信息采集)表3-1信息采集功能模块功能说明二手机信息管理二手机信息采集二手机信息查询二手机信息维护16万方数据 第三章系统需求分析二手机信息导入二手车信息管理二手车信息采集二手车信息查询二手车信息维护二手车信息导入车辆维修信息管理车辆维修信息采集车辆维修信息查询车辆维修信息维护车辆维修信息导入废旧物品收购信息管理废旧物品收购信息采集废旧物品收购信息查询废旧物品收购信息维护废旧物品收购信息导入典当信息管理典当信息采集典当信息查询典当信息维护典当信息倒入旧货寄售信息管理旧货寄售信息采集旧货寄售信息查询旧货寄售信息维护旧货寄售信息导入金银饰品加工信息管理金银饰品加工信息采集金银饰品加工信息查询金银饰品加工信息维护金银饰品加工信息导入非机动车信息管理非机动车信息采集非机动车信息查询非机动车信息维护非机动车信息导入非机动车报案非机动车查或登记非机动车查或查询17万方数据 电子科技大学硕士学位论文出租车辆管理出租车辆信息采集出租车辆信息维护出租车辆信息倒入车辆出租信息采集车辆出租信息导入车辆出租信息统计3.2.2数据同步数据同步实现公安外网采集的社会性信息到公安专网社会信息采集库的同步,同时也实现部、省、市三级相关信息的同步。具体功能如下表。(见表3-2:数据同步)表3-2数据同步功能模块功能描述全国在逃人员信息;全国被盗机动车辆;公安部部级常住人口信息;公安部部级逃犯信息;全国犯罪人员信息,全国吸毒人员信息。被盗摩托车、电动车信息(仅浙江,打防控数据库)被盗手机(仅浙江,打防控数据库)同步内容浙江省全省常住人口信息,浙江省全省暂住人口信息,浙江省全省案事件信息,浙江省全省执法办案信息,浙江省全省监管对象信息,浙江省全省出入境签证信息,浙江省全省旅馆业登记信息,浙江省全省边防船舶及船民信息,浙江省全省组织机构及警员库信息提供基于WebServices的服务接口,实现与各个业务系统之间的交换提供基于数据库之间的同步接口同步服务提供实时同步、定时同步等多种同步方式支持SqlServer,Oracle,MySql,Sybase,DB2之间的数据同步支持数据同步之间的代码自动转换同步源与同步目标的配置同步配置与监控同步方式的配置18万方数据 第三章系统需求分析同步扩展,提供数据同步的二次开发接口,实现同步的扩展性同步过程的实时监控同步数据流的实时监控同步性能指标的监控人信息反向比对3.2.3研判比对研判比对是对海量行业信息的第一层过滤,重点对二手机、维修车辆、从业人员与违法犯罪信息、被盗信息之间进行即时或定时的比对和报警,具体功能如下。(见表3-3:研判比对)表3-3研判比对功能模块功能说明比对源配置比对内容配置比对配置管理模块比对参数配置手机短信通知配置通用比对服务接口新增二手机信息比对新增二手车信息比对新增车辆维修信息比对新增废旧物品收购信息比对定时比对新增典当信息比对新增旧货寄售信息比对新增非机动车信息比对新增非机动车报案信息比对二手机采集保存时比对二手车采集保存时比对车辆维修信息保存时比对实时比对废旧物品收购信息保存时比对典当信息保存时比对旧货寄售信息保存时比对19万方数据 电子科技大学硕士学位论文金银饰品加工信息保存时比对非机动车信息保存时比对非机动车报案信息保存时比对人信息反向比对车辆反向比对手机反向比对反向比对物品反向比对报警信息发送直接报警站内短消息通知报警信息自动接收报警管理手机短信通知报警信息查询报警信息处理被盗通讯工具布控管理手机布控管理车辆布控管理布控信息管理家电布控管理电脑布控管理人员布控管理3.2.4线索分析线索分析重点实现对海量行业信息的第二层过滤,通过对可疑物品异常的自动分析发现,可疑物品,并完成行业信息的日常统计,具体如下。(见表3-4:线索分析)20万方数据 第三章系统需求分析表3-4线索分析功能模块功能说明业务统计二手机信息统计二手车信息统计车辆维修信息统计典当信息统计旧货寄售信息统计金银饰品加工信息统计非机动车信息统计出租车辆统计日常统计被盗物品分-行政区划-统计手机商店录入身份证号差错统计物品、报警数、案件认定数分类统计物品、报警数、案件认定数按-行政区划-分-辖区-统计分-行政区划--辖区的商店数统计物品、报警数、案件认定数按-行政区划-辖区-分-商店-统计报案单位、物品店列表异常交易分析交易人员按-姓名证号异地-交易次数分析交易物品异常分析交易人员交易规律分析参数配置各类异常次数配置分析周期参数配置输入输出Excel输出报表Excel数据输入启动分析3.2.5信息预警信息预警实现对比对、统计分析、安全异常信息的预警,预警通过手机、PC常驻终端通知到所在辖区民警、巡逻民警,以0保障民警的及时出警。具体包括以下功能。(如表3-5信息预警)21万方数据 电子科技大学硕士学位论文表3-5信息预警功能模块功能说明比对信息预警分析异常信息预警预警内容系统服务器、webservices访问服务、数据库服务、账号访问异常的预警支持预警工作流,可以统一发送到指挥中心,并进行二次分派预警方式支持多数据流预警,支持向指挥中心、派出所、值班民警的同时预警支持短信预警、客户端预警、WEB查询等多种方式预警内容配置预警方式配置配置管理预警过程监控预警日志管理3.2.6线索服务线索信息服务的主要作用在于打通社会信息管理系统与公安其它系统之间的信息服务渠道,这些信息服务渠道体现在两个方面,一个是用于实现本系统中潜在有用的线索信息提供给其它系统使用;另一个方面在于实现其它公安部门的社会信息在本系统中的汇聚。具体包括以下功能。(见表3-6:线索服务)表3-6线索服务功能模块功能说明服务总线配置管理服务总线配置服务插件启动管理信息通信组件线索综合查询线索发布线索推送服务线索效益反馈系统接入服务社会信息汇聚社会行业信息注册信息汇聚管理22万方数据 第三章系统需求分析3.2.7系统管理系统管理功能提供系统的后台管理能力,具体包括以下功能。(见表3-7系统管理)表3-7系统管理功能模块功能说明权限相关菜单管理角色管理用户管理个人信息修改系统相关代码管理管辖单位管理相关单位管理牌名管理规格管理日志管理界面相关系统首页登录后主界面站内段信站内短信发送站内短信接收、查看站内短信维护3.3其它业务需求3.3.1扩展性需求1.信息采集扩展通过配置模块实现新兴行业的信息采集扩展,即允许所采集的社会行业信息能够持续扩展,形成全省统一的社会信息库。2.比对配置扩展信息比对的数据项、比对方式、比对预警对象能够根据实际情况在不停机的情况下通过配置方式进行扩展和维护。3.线索分析扩展目前线索分析主要来自于日常巡查,以及海量行业交易信息和业务信息中的异23万方数据 电子科技大学硕士学位论文常分析,线索分析的具体方式和内容可以通过插件服务的方式进行扩展。3.3.2操作性需求3.3.2.1用户界面界面的主要作用是为了承载信息,所以界面的首要要求应该是合理、方便的表达信息,其次是符合公安的工作习惯和实际需要。各窗口界面设计风格保持一致;界面操作方便,能够适应民警的日常工作习惯;3.3.2.2稳定性要求1)系统容错性。应用系统不应出现系统报错,所有应用系统发生错误应是可捕获的,同时为用户提供明确的错误提示信息和错误解决方法。2)正确性测试。对于正确的输入数据,能根据“功能要求”所规定的各项功能进行正确的数据处理和数据输出。3)边界性测试。对于非规范输入数据,能根据“功能要求”所规定的容错性要求进行的容错性处理。4)无故障时间。平均无故障时间应大于7*24小时。3.3.2.3易用性要求1)快捷方式。实现常用功能的快捷键开发。2)操作安全性。对国内外重点岗位从业人员登记的增、删、改操作应提供数据保护功能,在切换到单位操作界面或退出前应有明确的是否进行数据保存提示。3)在线帮助。用户可操作的所有应用功能必须有相应操作的详细在线帮助。4)常见问题解决办法。对系统可捕获错误在“在线帮助”中提供详细的“常见问题解决”帮助。3.3.3性能指标3.3.3.1稳定性指标:应用系统有效工作时间:全天候应用系统服务中止故障恢复时间:≤24小时24万方数据 第三章系统需求分析应用系统服务中止故障指标:≤4次/年3.3.3.2吞吐量指标:外网web在线访问用户数:≥14000个,并发用户数:≥100个外网web在线访问用户数:≥3000个,并发用户数:≥50个3.3.3.3系统统计、查询指标:各类统计表单张平均形成时间:≤15分钟有索引的业务查询响应时间:≤10S3.3.3.4性能要求:首次打开登录界面用时不大于10秒;下次打开登录界面用时不大于3秒用户新增记录、修改记录时,数据项间切换在1秒内完成,无延时感觉。文件下载不低于:200kbps/s,即2M字节的文件传输时间不高于80秒3.4本章小结本章节主要是对公安社会信息管理系统的功能需求进行了设计,以及对系统的扩展性可行性、易用性、安全性等等需求进行研究和分析。25万方数据 电子科技大学硕士学位论文第四章总体架构设计4.1系统运行环境浙江省公安社会信息管理系统采取省、市二级统一部署方案,以保证浙江省公安社会信息管理系统在部级总局、省级总队、市级支队的一致性,业务组件的复用性,开发的快速性和修改的灵活性。其总体运行部署如图(4-1:系统运行环境)所示:省厅治安总队治安总队综合平台社会信息管理系统省厅社会信息数据交换平台金盾工程基础平台数据库市局治安支队治安支队综合平台社会信息管理系统市局社会信息数据交换平台金盾工程基础平台数据库图4-1系统运行环境4.2系统框架结构系统应用框架结构如图(4-2:系统框架结构)所示。26万方数据 第四章总体架构设计图4-2系统框架结构可以将整个系统应用架构分为五个层次,分别是信息采集层、安全隔离层(数据通信层)、数据处理层、综合应用层、信息资源数据库层,它们的主要作用如下:1、信息采集层:指分布于各种行业、企业的信息采集前台,部署在外网,由企业、商户完成规定的信息采集和维护。2、安全隔离层:将外网记录的数据通过隔离设备实时交换到公安专网的公安社会信息管理服务平台中,同时,公安专网上发布的一些协查信息、预警信息,发布到外网系统中来。3、数据处理层:在外网记录汇聚到专网平台中后,数据处理层对数据进行过滤,无效数据被过滤,并进行无效数据统计,有效数据入库,同时进行即时信息比对和定时的归类分析。4、综合应用层:为民警的主要应用层,实现社会信息的比对定制、人员物品的布控信息维护、社会信息综合查询、比对和分析结果的预警处理,以及分类统计功能。27万方数据 电子科技大学硕士学位论文5、信息资源数据库层:采用ORACLE数据库,实现采集数据、处理数据、配置数据的存储和应用。在系统的技术实现方面,系统的数据通信层、处理层和应用层采用统一的面向服务的体系结构。而在本系统涉及中,SOA架构的核心服务设计和数据设计是重点。4.3业务数据设计从系统数据流转方向来看,系统数据层采用了分布式的设计方案,如图(4-3:数据层)所示:打防控主干系统预警缉控执法办案系统。。。比对平台市局金线索信息库盾工程统行业信息库一接分局口内外交换平台派出所比对库常口暂口在逃汽车租赁店二手物品交易店图4-3数据层28万方数据 第四章总体架构设计系统数据首先由外网的各种交易站录入,经公安内外网交换平台进入本系统数据库。同时所需的比对源经同步服务从常口、暂口、在逃等系统进入本系统数据库,两者进行碰撞比对、分析,生成对民警工作有实际意义的线索信息库。数据的存储设计采用了常规的基于关系数据库的设计方案,重点需要解决的是历史业务数据的转储和代码同步更新。以往建设的行业信息属于遗留的历史数据,必须考虑对这些数据的转储,随着这些数据量的增加,会导致业务功能的执行性能明显降低。为了避免这个问题,在系统的设计中增加了分区自动生成、自动删除和自动备份功能。定时的将几个月或者上年的数据存储到历史数据库中。行业信息库在设计中分为以下几类:1.业务代码设计系统码表类参数表共有4张,其中1张为共用类码表结构(系统参数表),3张为单一类码表结构(行政区划表,单位信息表,经营单位信息表)管辖单位用于标志该数据属于哪个区域管辖,原则上,管辖单位即为派出所,所以管辖单位代码可以和派出所雷同。管辖单位字段长度为9位,采用6+3的方式,前面6位代表该管辖单位所属的行政区划,后3位为管辖单位序列号。经营单位字段长度为14位,采用6+3+5的方式,前面6位属于行政区划,中间3位属于管辖单位,再后面5位才是经营单位的序列号。2.控制参数设计包括用户权限设计、系统控制参数设计。每一个用户都有一个用户类别,用于标志该用户的类别,包括:公安用户,非公安可信任用户和非公安不可信任用户。对于公安用户,必须属于一个管辖单位。指定了管辖单位,则该用户只能操作该管辖单位内的数据。如果是通过PKI登录的公安用户,则其管辖单位就用该用户的PKI中返回的单位。对于非公安用户根据经营单位来限制该用户能操作的数据范围,一个用户只可以拥有一个经营单位。系统控制参数存放系统内部各类参数,需要被中间层事前加载。其分配原则如下。(如表4-1:参数分类表)系统参数表的主键(CSID)为11位数字,组成方式为4位参数类别(CSLB)+N*0+参数代码(CSDM),N代表11-4-参数代码的长度。29万方数据 电子科技大学硕士学位论文表4-1参数分类表参数描述参数类别段自定义业务参数1000-1999国、部标参数2000-4999其他可配置业务参数5000-8999控制类参数9000-9998业务参数总参照表99993.业务数据的设计针对每一个行业,所产生的交易信息、物品信息、人员信息存储在单独的逻辑业务信息库中。目前包括了娱乐场所、二手机收购业、车辆维修业、内保单位四个业务信息库4.线索信息库的设计基于研判比对服务、分析预警服务的需要,建立了物理独立的线索信息库,线索信息库包括比对配置、分析配置、线索索引、线索四类信息。系统中所有的表均设置了ID字段(同时该字段值为表中主键,每个ID值均需要从对应表名的SEQUENCES中取),该ID字段的值由系统统一按照一定的规则进行分配。其分配规则如下:所有的ID字段为NUMBER型值,长度为11位。11位中前1位为DBID值,后10位为系统流水值。DBID是在同一个地市采用多个数据库的时候使用,比如需要用到内外网交互平台。针对每个数据库分配一个ID值。原则是1-4用于外网的数据库,5-9用于内网的数据库。10位系统流水值能够保证系统单张表的实际增长,即平均每天在产生100万条记录的情况。4.4本章小结本章节针对系统业务需求,对数据库建库层次、软硬件运行环境以及业务数据流程进行总体规划和设计。30万方数据 第五章详细设计与实现第五章详细设计与实现5.1信息采集子系统5.1.1实现方案信息采集子系统负责采集信息,该子系统面向的用户是各经营户和派出所采集人员以及能成批倒入采集信息的系统管理员。需要采集的信息包括:二手机信息、二手车信息、车辆维修信息、废旧物品收购信息、典当信息、旧货寄售信息、金银饰品加工信息、非机动车信息和出租车辆等信息管理子系统可以分为三个模块:经营户采集模块:该模块负责在外网提供给经营户,由经营户输入相关的业务信息,该模块要求界面简洁、易操作,屏蔽所有业务管理相关的功能,以实现采集功能为主。派出所管理模块:该模块负责在公安内部网络提供给派出所和公安用户管理使用,该模块要求能和比对、报警等平台无缝结合,以实现信息应用为主。系统管理员数据倒入模块:该模块给系统管理员使用,用于对不使用本系统的兄弟单位提供的业务信息,批量倒入系统中,最终产生对这些业务信息的比对的报警结果。系统实现的各模块组成框图如图(5-1模块组成)所示:由于存在内外网交互的问题,系统必须在公安内部网络和外部网络分别建立数据库,通过内外网交互平台实现数据的同步。经营户采集系统只负责将经营户的信息采集到外网数据库,被采集的信息通过内外网交换平台交换到公安内网。公安内网数据库存储业务信息以及比对源信息比如全国逃犯信息、被盗手机信息等。这些比对源信息由于过于敏感,不允许存放在外网。研判比对子系统通过配置信息在后台进行比对,并产生报警信息。这些报警信息一方面通过警用管理模块的报警接口进行报警,另一方面,通过交换平台交换给外网,如果采集信息的经营户属于可信任经营户,则可以通过报警接口以站内提醒的方式告知经营户。警用管理系统用于对外网采集的信息进行综合应用,包括检索、统计分析、数据碰撞等。同时也提供对业务信息的采集,针对部分无法在经营场所采集的信31万方数据 电子科技大学硕士学位论文息,可以由相关的民警通过公安进行采集录入。警用管理系统是公安用户与物品管理平台交互的主要途径,研判比对、统计分析、报警等子系统都需要有与之的接口。通过这些接口,能将平台产生的信息经过筛选推送给公安用户。管理员倒入系统专门针对兄弟单位的相关业务数据,通过该模块将这些信息倒入到管理平台,被倒入的信息同样被用于研判比对、统计分析等使用。研判比对子系统警用管理内外经营户采公安内外网数系统网交集系统网数据据库换平库台报警接口报警接口管理员数据倒入系统图5-1模块组成5.1.2关键技术系统提供了对九种业务的管理功能,管理功能包括增加、删除、修改、查询等。对非机动车业务还提供了报案和查或登记等功能。对出租车辆提供租车、还车等功能。尽管针对不同的行业,系统要求的功能不同,但是都可以规约为各类对数据库的操作,因此,本系统设计了一种MIS生成器,可以半自动化的生成固定的界面,同时完成增删改操作。MIS生成器由基础构件、元数据配置构件、数据插件、代码管理构件组成,其中基础构件由一些接口组成,定义了数据库数据源、界面元素等基本信息;元数据配置构件由一组XML构成,用于描述数据库中的数据表、组件、界面元素之间的关联关系;数据插件则实现了数据序列化、用户交互、数据操作的过程代码。32万方数据 第五章详细设计与实现5.1.2.1基础构件基础构件的核心是数据源的管理,数据源实现为抽象接口,封装了OR映射相关的方法。如下所示,所有的数据操作都将数据库中的记录映射为bean对象或者bean对象的集合来表示。publicinterfaceIDataSourceextendsCloneable{ObjectqueryForObject(Stringcmd,Object[]params,IMappingconvert)throwsException;CollectionQueryForObjectList(Stringcmd,Object[]params,IMappingconvert)throwsException;intupdate(Stringcmd,Object[]params)throwsException;Object[]add(Stringcmd,Object[]params)throwsException;intdelete(Stringcmd,Object[]params)throwsException;booleanstartTransaction()throwsException;booleancommit()throwsException;booleanrollback()throwsException;Objectclone()throwsException;voidclose()throwsException;}5.1.2.2元数据配置元数据配置是该模块的核心,主要分成界面(这里称为menu),以及数据(这里称为table)之间的映射关系。根据这映射关系,自动能够显示相应的界面,并完成界面相关的操作。如下所示,menu编码为A1B1,描述了允许的查询项目,以及查询项的SQL模板,即初始sql。T.OPERATORID=O.OPERATORIDT.CREATETIME,T.TOTAL,T.OPERATORID,O.NAME,O.SEX另外一个元数据描述为数据序列化数据的元信息描述,如下所示,显示了“交易商品”的元信息描述,系统能够根据这些元数据描述,动态生成查询、更新的SQL语句。5.1.2.3数据插件数据插件根据元数据配置,并调用基础构件,实现界面元素的数据内容显示,以及界面元素中保存数据的序列化操作。因此,其核心内容是完成SQL语句的动态组装。由于实现的具有针对性,不能支持聚集函数的动态生成。publicclassSearchSQL{privateStringsql="";privateStringselect="";//select子句privateStringfrom="";//from子句privateStringwhere="";//where子句privateStringgroupBy="";//privateStringorderBy="";privateStringhaving="";//having子句privateListgroupItems=newArrayList();//privateListcolumns=newArrayList();//查询的列(不包括聚集函数)publicSearchSQL(){}publicStringgetSql(){sql="select"+select;sql+=" from"+from;if(where!=null&&!where.equals(""))sql+=" where"+where;if(groupBy!=null&&!groupBy.equals("")){sql+=" groupby"+groupBy;//把所有查询字段放入group中for(Strings:columns){if(!groupItems.contains(s))sql+=","+s;}if(having!=null&&!having.equals(""))sql+=" having"+having;36万方数据 第五章详细设计与实现}if(orderBy!=null&&!orderBy.equals(""))sql+=" orderby"+orderBy;returnsql;}/***合并为AND条件*@paramconditions*@return*/publicstaticStringmergeAndCondition(String...conditions){Stringcondition="";for(Strings:conditions){if(s.equals(""))continue;if(condition.equals(""))condition=s;elsecondition="("+condition+")AND("+s+")";}returncondition;}5.1.3用户接口本接口向其它服务系统(以下简称请求方)提供嵌入“浙江省社会信息管理信息系统”公安端的功能服务。调用过程将通过以下几个步骤实现:“请求方”调用本系统登录接口Login();登录成功后,“请求方”调用本系统获取用户权限以及相关链接GetUserRights();“请求方”根据GetUserRights()结果自行组织功能导航,并加载本系统相关业务链接;用户在“请求方”系统上点击本系统功能链接,直接嵌入本系统相应功能Web页面,嵌入方式:新Web页面或Frame。“请求方”系统退出时调用LoginOut()退出本系统。具体的流程如图(图5-2:用户接口请求顺序)。37万方数据 电子科技大学硕士学位论文图5-2用户接口请求顺序5.2数据同步子系统5.2.1实现方案本系统的数据同步重点需完成以下任务:1)数据需求:完成7类全国人员信息,3类全省物品信息,12类全省相关数据。2)服务需求:既提供基于WebServices的数据同步服务车接口,也实现数据库直接同步服务接口;支持定时、实时等多种同步方式;支持sqlserver、oracle、mysql、sybase、db2多种数据库;支持业务代码自动转换服务。38万方数据 第五章详细设计与实现3)管理需求:能够支持同步过程、过程数据流和性能指标上的实时监控。4)扩展需求:能够对同步源和同步目标、同步方式进行配置,使得同步内容不限于以上数据需求,能够进行二次开发。5)其它需求:本系统作为比对服务的支撑系统,应能实现省厅人口系统的实时访问接口,并能实现部分数据的抽取;能实现打防控数据访问接口,并提供打防控数据的抽取功能;访问接口应能够适应打防控系统升级和改造的变化。并支持实现相关物品的比对与反向比对。可以说,本系统实现了两种数据同步的方式,如果同步源和同步目标的业务系统的数据库因为安全性等原因不能开放,则采用WebServices的数据同步服务接口的形式完成同步功能;在少数情况下,则实现了两个数据库之间的直接同步操作。无论是哪一种同步方式,本子系统的功能都是将任意的数据库中数据从一台计算机传递到网络上的另外一台计算机上,而传递过程是高效的、自动化的,并且提供基于PKI等技术的安全保障。另外,该软件提供了灵活的软件接口,能够很好的为其它应用软件服务,让所有安装该软件的计算机设备和数据库系统之间,形成了一个提供网络化服务的层次,该层次构成一个相对完整的数据交换分层体系,其实质是将网络数据问题本地化,这让用户感到使用网络数据服务,就像使用本地数据一样简单,即实现用户的透明性。根据以上需求分析,我们将数据同步子系统实现为一个基于消息中间件和数据交易中间件的软件服务系统。系统的逻辑架构图如下图(图5-3:逻辑架构图)数据交换服务通过各类公共网络平台,在各种业务系统和业务数据库之间同步数据,如果同步过程面向的是业务系统,则通过WebServices接口实现;如果面向的是业务数据库,则通过实时触发、管道通信、定时扫描方式实现。数据交换服务向下屏蔽各种数据库的差异,向上为客户系统提供统一的服务,服务分为两种方式:向需要的核心业务系统提供一致的数据库数据查询和维护服务,用户不需要关心数据的来源和具体更新技术;向需要的资源数据库提供数据发布、导入和导出服务。在具体实现的技术路线上,统一采用J2EE中间件的方式进行,包括了消息中间件和交易中间件两类。针对不同用户的需求,各中间件主要在满足下述客户需求方面各有特色。1.消息中间件主要实现基于消息的通信。消息中间件由消息通信管道、消息定义接口、消息队列、通信控制四个部分组成。消息通信管理提供了基于socket、WebService的对于消息传输基本通道,确保通道的稳定性、自动连接、39万方数据 电子科技大学硕士学位论文超时管理、缓存控制等;消息定义接口为上层提供统一的消息格式定义,使得开发者不需要关心消息传输的具体细节;消息队列提供消息中间件传输过程中的缓存、优先级控制、断点续传等功能;通信控制实现消息的异步和同步发送和接收、流量控制、预连接和连接池管理等。核心业务系统资源库应用系统数据交换平台业务数据同步资源共享与发布集成信息(服务)系统系统资源库数据同步平台管理系统公共网络平台各级具体各级业务业务系统数据库图5-3逻辑架构图2.交易中间件主要实现批量数据的传输,以及传输前后的可信控制协议;由于各级信息化系统既有横向连接,也会存在纵向连接,在数据交换时机上既需要实时交换,也需要后台交换;在交换方式上既需要注入式交换,又需要不对原有业务产生干扰,采用交易中间件便于实现。消息传输中间件的安全性和可管理性已经比较成熟,便于开发和扩展,具备可行性。异步性、异构性、动态性和松耦合性是在分布式系统之间进行数据同步的本质特征和关键技术。系统核心技术模块组织如下:1.消息数据通信接口。消息中间件的主要内容是消息数据通信接口(MI),MI基于插件机制设计,为保障系统的灵活性和扩展性,MI往往只定义了接入消息的基本接口,以及一系列扩展包;基于多个MI接口开发的消息数据包可以以集群的方式进行通信,开发者不需要关心通信的细节,异步通信和同步通信都可以很好的支持。还可以通过集群灵活地组织成更大的消息传输网络。40万方数据 第五章详细设计与实现2.消息/交易数据注册模块消息注册机制是指消息订阅者向消息代理指定需求的机制,它通常对系统的表达能力和消息传递性能有直接的影响。在IB中,多采用基于主题或XPath的消息注册机制。3.消息/数据路由模块消息路由是为了使应用之间的消息交换处于一种可控的状态,能按照一定的规则将消息从发送者传送到目标应用。4.队列管理模块队列管理实现消息在内存的缓存、内存信息的物理序列化和恢复操作,以及各种消息缓存控制策略,一般采用先进先出的队列管理策略。5.数据源适配模块数据源适配层有时候又称为数据抽取层,主要解决数据源和目标数据格式不一致的转换,包括数据清洗、合并、过滤、类型转换等操作。6.发布/订阅机制模块消息的发送方和接收方采用订阅和发布模式进行通信,订阅者通过特定的消息名称订阅消息,发布者在发布信息的时候指定相应的名称,由消息注册模块和消息路由模块功能完成消息的转发过程。以上体系结构允许用户依据业务需求灵活地表示节点(存储业务数据的主机)之间的数据流关系,并有效地完成数据的传输,从而形成能够满足业务需求的、平面或树状结构模式的数据交换平台。体系结构设计中重点考虑了数据同步系统具有可扩展性,通过名字解析功能及数据自动复制技术实现平台扩展的分布式管理,以及管理的自动化。具体实现了以下功能要素:1.数据传输控制数据可靠传输与断点续传,将用户数据完整、准确、及时地从一个节点传递到远端的另一个节点。对于用户应用来说,数据传输过程是异步的、自动的,不需要用户关心。当因系统故障造成数据传输失败时,从传输失败点接续发送该数据而不是将整个数据重新传输,这将大大提高网络带宽的利用率以及传输效率。数据传输时候根据优先级自动排序,排序是在数据类型中定义了每一种类型的优先级比例,以及在编程接口中提供的优先级定义项来完成。数据加密与压缩,用户数据在交予数据交换平台处理时,可选择提供的加密/解密、压缩/解压缩功能。资源控制,软件的资源控制功能为用户提供了依据自己所拥有的硬件与网络资源定制传输平台传输效率的手段。41万方数据 电子科技大学硕士学位论文配置管理,通常情况下,在初始安装时完成节点的配置定义。随着系统的网络应用逻辑关系上的变化,需要系统管理员更新本地节点的配置。参数配置涉及到系统进程、平台网络逻辑关系、数据安全、日志和特殊应用等。提供在系统进程不停止运行的情况下,更新系统配置,并使其生效的能力。该功能满足了用户对7X24小时数据传输的需要。2.系统监控管理提供一套完整的监控和管理手段,来保证系统的正常运行和数据传输功能的实现,包括系统进程和任务队列的监控与管理。系统进程的监控包括查看进程是否正在运行、或是处于故障状态。通过提交标准测试任务,检测系统进程是否正常工作。当系统进程存在故障时,系统提供管理命令终止和重新启动系统核心进程。任务队列的监控包括检查队列文件本身的状况和队列内容。系统提供检查、修改任务项和删除无效任务的队列管理工具。3.日志记录提供了完整的日志功能,包括日志信息的采集、查询,以及日志子系统的配置与管理。日志信息采集,日志信息由系统进程自动产生,并保存到日志数据库中。日志信息分为系统日志,数据传输日志和系统应用日志,用以记录系统的运行历史状态、数据传输的历史信息和系统应用程序执行的结果。采用ORACLE数据库软件存储和管理日志信息。日志查询,提供了对日志数据库内容进行分类查询的功能。查询内容经格式化后在控制台上输出。日志子系统的配置管理,HIEP提供了日志子系统的配置功能,以此控制日志信息采集、日志数据库的大小、备份等选项。4.数据安全为保证用户数据能安全可靠的传递到目的地,提供了一系列的安全措施,主要包括:节点认证、用户认证和数据加密。节点认证,通过数字签名实现节点身份的认证,只有通过节点身份认证的节点才能够在整个数据传输平台内传输数据,保证数据从合法的节点中发出并被合法的节点接收。用户认证,系统采取最有效同时也是最简单的访问控制措施——利用口令技术的用户身份验证。节点服务器记录用户每一次认证的时间,防止了非法用户的数据重传攻击。42万方数据 第五章详细设计与实现数据加密传输,用户可以采用数据加密和数据压缩的方法以确保用户数据的安全性。5.应用代码节选///检查配置的路径是一个相对路径还是绝对路径//////如果是相对路径返回真,否则返回假privatestaticboolIsPathRelative(stringpath){Regexregex=newRegex(@"w:\");return!regex.Match(path).Success;}//////返回可执行程序集的位置///Returnsthelocationoftheexcutingassembly//////可执行程序集所处位置的本地表示privatestaticstringGetExecutingAssemblyPath(){Uriuri=newUri(Path.GetDirectoryName(Assembly.GetExecutingAssembly().GetName().CodeBase));returnuri.LocalPath;}#endregion#regionPublicProperties//////设置或者获取当前ftp名称///publicstringFtpName{get{returnmName;}set{mName=value;}}43万方数据 电子科技大学硕士学位论文publicvoidUpload(stringfileName,stringremoteFileName){FileStreamfileStream=null;StreamuploadStream=null;//MarkthebeginningofthetransferDateTimestartTime=DateTime.Now;//Checktoseeifwehavearelativeorabsolutepathtothefiletotransferif(IsPathRelative(fileName))fileName=Path.Combine(GetLocalDirectoryName(),fileName);FileInfof=newFileInfo(fileName);if(!f.Exists)return;stringremotePath=mHost+"/"+mRemoteDirectory+"/"+remoteFileName;//stringremotePath=mHost+"/"+mRemoteDirectory+"/"+remoteFileName+"tmp";stringremoteDic="<"+mHost+mRemoteDirectory+">";stringstrTime=DateTime.Now.ToString("yyyy-MM-ddHH:mm:ss");OnMessageReceived(string.Format("["+strTime+"]{0}文件开始发送往{1}",remoteFileName,FtpName+remoteDic));//stringstrErr=DataExchangeFtp.clsLogDB.Insert2DB(strTime,remoteFileName,"日志",FtpName,mHost+mRemoteDirectory,"开始上传");//if(strErr!="")//OnMessageReceived("err"+string.Format("["+strTime+"]写日志发生错误,错误原因:{0}",strErr));//CreatearequestfortheuploadFtpWebRequestftpWebRequest=CreateWebRequest(WebRequestMethods.Ftp.UploadFile,remotePath);//Getareferencetotheuploadstream44万方数据 第五章详细设计与实现try{uploadStream=ftpWebRequest.GetRequestStream();//CreateafilestreamforthelocalfiletouploadfileStream=newFileStream(fileName,FileMode.Open,FileAccess.Read);byte[]buffer=newbyte[1024];intbytesRead;intbytesTotalWritten=0;//Startuploadingwhile(true){bytesRead=fileStream.Read(buffer,0,buffer.Length);if(bytesRead==0)break;uploadStream.Write(buffer,0,bytesRead);bytesTotalWritten+=bytesRead;}//ClosetheuploadstreamuploadStream.Close();uploadStream.Dispose();//ClosethelocalfilestreamfileStream.Close();fileStream.Dispose();//GettheresponefromtheserverFtpWebResponseftpWebResponse=(FtpWebResponse)ftpWebRequest.GetResponse();//OnMessageReceived(string.Format("Status:{0}{1}",ftpWebResponse.StatusCode,ftpWebResponse.StatusDescription));//Reportthenumberofbytestransferred45万方数据 电子科技大学硕士学位论文strTime=DateTime.Now.ToString("yyyy-MM-ddHH:mm:ss");OnMessageReceived(string.Format("["+strTime+"]{0}文件发送到{1}成功,文件大小:{2}字节",remoteFileName,FtpName+remoteDic,bytesTotalWritten.ToString()));//更改文件名//RenameFile(remoteFileName+"tmp",remoteFileName);}catch(WebExceptionex){strTime=DateTime.Now.ToString("yyyy-MM-ddHH:mm:ss");OnMessageReceived("err"+string.Format("["+strTime+"]{0}文件发送到{1}失败,错误原因(1):{2}",remoteFileName,FtpName+remoteDic,ex.Message));throwex;}catch(Exceptionex){OnMessageReceived("err"+string.Format("["+strTime+"]{0}文件发送到{1}失败,错误原因(2):{2}",remoteFileName,FtpName+remoteDic,ex.Message));throwex;}finally{if(uploadStream!=null){uploadStream.Close();46万方数据 第五章详细设计与实现uploadStream.Dispose();}if(fileStream!=null){fileStream.Close();fileStream.Dispose();}}}5.2.2数据同步(服务)模块为了实现分布式机构数据之间的透明,传统的各个单位之间通过定期拷贝、编写专用导入导出程序等方式或者开放业务系统访问权限的方式,在业务流转的实时性、有效性方面急需改善和提高,不能满足本项目的需求。数据交换服务子系统的实现就是要解决该部分信息如何通过网络直接将数据在对业务系统透明的情况下实现。且需要在不改造或者不改动原有系统物理网络整体架构的基础上实现。考虑到不同单位在内部信息化程度、技术水平、业务特性等方面存在的差异,设计时重点考虑的是如何使数据交换和监控管理的过程尽可能简单、方便、经济地,从而带动系统之间的共享和连接。根据上述需求,具体实现方式可采用直联模式。建立业务数据交换系统,接入单位通过内网或者内外网交换系统,由数据同步平台对数据进行集中处理和转发。数据信息以标准的XML方式进行描述,各级分层的单位可以根据各单位业务系统的实际情况将允许的信息导出,在内部的业务系统中进行流转,并可以实现配置一次,长期有效。实现示意图如图(图5-4:数据同步)所示:子系统实现的核心是业务同步服务,具体功能包括了接收数据、验证数据、分析流程定义、根据流程进行数据交互过程、日志管理和交换数据存储、权限控制。在实际业务中,纵向的数据交换和横向的业务数据交换的需求是普遍存在的,现就较为典型的业务应用举例如下:(1)原始业务信息同步通过数据交换实现,各级单位之间,以及各级单位与上级单位之间,形成间断的数据自动同步,相当于拓宽了信息采集的渠道,不仅提高了信息的时效性,47万方数据 电子科技大学硕士学位论文也避免了编辑时信息的再次输入,使得工作人员可以将更多的时间投入到信息的深入研究中去。业务系统和业务数据库数据交换平台业务数据同步服务WebServicesHttpServer数据标准(XML)区域网络平台HTTPXML浏览器资源库各级单位图5-4数据同步(2)统计型信息和报表报送在日常工作中,各级单位和各级业务系统之间经常需要递交统计型信息和分析报表,通过数据交换实现,可以使各将需要报送的信息以XML、DOC、XLS等形式通过网络进行传递,报送的报表等统计性数据自动进入上级单位核心业务系统中进行流转,这样在提高了公文报送速度的同时也提高了报送的处理效率。(3)日常发布信息流转在业务流转的过程中,经常会出现将重点的、实时的信息通知下发到相关的各级单位去,有时候需要层层下达,有时候需要一次性下达;下级单位对于重点情况、重点信息,也可以进行实时通知,上级单位进行确认和获取反馈。实际工作中存在联系确认过程繁琐、工作效率不高的问题。通过数据交换使得通知可以通过业务数据交换系统实时传递。这样可以大幅度提高数据交换效率。本项目重点实现第一类数据同步,并为后两种留有接口。48万方数据 第五章详细设计与实现5.2.3同步管理模块数据同步研发过程中还需制定统一的数据交换规范或标准,由数据交换平台管理系统完成。具体功能模块包括:(1)元数据管理元数据管理定义数据同步的数据项,数据项的定义分成两步进行,包括抽象数据结构定义和数据格式定义两个部分。(2)流程管理流程管理定义指定的数据类型一旦进入同步系统,将经过哪些同步节点,并由哪些适配器处理。(3)系统接入处理对于需要接入数据同步平台的共享资源系统,可以根据不同系统构架采用不同的方案。对于采用J2EE架构的新系统,可以通过HTTPServer进行数据交换;对于老系统,可以采用相应的接口直接对其数据库进行联接,实现数据交互。因此,将根据接入系统的实际情况,考虑是否开发处理模块,实现接入端处理过程。5.3研判比对子系统5.3.1方案设计对子系统应重点实现以下要求:1.功能上,实现对具体数据的定时比对、实时比对、反向比对、比对报警,这些数据具体包括新增二手机、新增二手车、新增车辆维修、新增废旧物品、新增典当信息、新增旧货、新增非机动车等。2.在设计上,需要实现比对系统的通用性设计,分析系统的通用性,能够不受限制的对在各类数据库之间比对,并支持统一访问服务接口。3.系统比对服务应能在技术架构上与其它比对服务系统兼容,既能向第三方比对服务系统提交比对请求,也能作为独立服务运行。系统也应能够与其他地市的比对系统兼容。根据以上需求要点,我们对当前已经存在的比对系统进行如下的划分:第一类:单一业务系统内数据比对,某业务系统自己内部数据的比对。一般通过单一数据库上的触发器、过程即可以完成。早期的比对系统都属于这类。第二类:特定业务系统间数据库数据比对,在几个业务系统之间的数据库之间互联,完成业务系统之间的数据比对任务。各个业务系统数据库的数49万方数据 电子科技大学硕士学位论文据内容、存储形式、数据结构是已经的,并且相对稳定不变。系统能够提供一定的配置灵活性,但是灵活性限于特定业务数据。本系统的一期比对系统属于此类。第三类:综合比对系统,完成可扩展的几个业务系统之间的数据比对、通过建立各个业务数据库数据结构的元信息配置,实现比对目标、比对源的随意性;同时比对方式、比对周期也可以通过配置实现灵活性。理想的这类系统既能作为服务向第三方提供比对信息,同时自身也能够作为客户访问其他比对服务。宁波公安比对系统采用这种方式,但是缺乏与第三方比对系统的交互。第四类:综合比对扩展服务平台,综合比对+联机分析+数据挖掘。除了综合比对服务以外,还能完成诸如“两个人多次同时入住同一旅馆”、“犯罪嫌疑人是否可能是受害人认识的人”、“犯罪嫌疑人A是否与B认识”、“两抢案发案率在各管辖派出所的时空分布规律”等联机分析和数据挖掘方面的功能。综上所述,物品管理平台二期中研判比对子系统的建设任务是实现第三类比对服务,并支持向第四类比对的扩展接口。系统逻辑组织结构图如图(5-6:比对逻辑)所示:图5-6比对逻辑50万方数据 第五章详细设计与实现上图表明系统有以下几个部分组成:1)核心比对服务核心比对服务是系统主要的运行部件,由三个部分组成:核心运行时刻库;可嵌入第三方中间件服务器的独立比对服务,该服务以多线程任务的形式不间断运行;以及WebServices服务系统。2)比对中心库比对中心库是指比对配置信息的数据库,而非比对内容库,事实上比对数据内容可以分散在多个库中。因此比对中心库是指比对配置中心库,中心库允许有两种形式,关系数据库或XML数据库。3)管理模块管理模块包括了服务管理、报警管理、配置管理子系统和比比对监控管理。比对系统作为独立的服务系统,实现任意两个数据库之间的信息比对,并能够记录比对结果,将指定的比对结果主动报送、预警。比对系统分为以下模块:1)比对配置管理模块,包含比对数据库信息、比对源和目的实体信息、实体属性信息、比对项目、比对内容、预警方式的配置;2)比对跟踪查询模块,包括比对结果的查询、比对状态跟踪等功能3)比对服务模块,完成实际的比对功能4)比对服务接口模块,提供多种客户端操作接口,包括基于数据库的接口、基于浏览器的接口,基于客户端的接口,基于WebServices的开发接口。比对系统应支持的数据库类型包括:Oralce9及以上、Sqlserver2000及以上、Access、Excel、规定格式的文本文件,并能持续扩展。比对的内容、比对信息的项目、比对的条件可以灵活配置,配置过程应尽量采用中文操作系统,内部支持中文名与字段名之间的转换。比对的方式应支持实时比对和定时比对、反向比对;根据需要可以配置新增比对、更新比对。比对结果能够通过短信、信息查询、WS服务接口向多个管理主体报警。比对系统的用户、角色管理应能够与第三方结合。比对系统软件各模块功能如表5-1所示。为这些功能的设计中,我们将通用性和多样性和灵活性放在了第一位。这种实现的最大的特点在于能够通过配置支持不同的数据来源、不同数据格式、不同存储方式的数据进行比对。下图列出了比对中允许的数据源和数据目标,共四种数据,组合成为16种比对数据组合。具体如图(图5-7:比对架构)。51万方数据 电子科技大学硕士学位论文表5-1功能类功能项目1.修改比对服务需要的系统参数的存储形式、比对所需要的缺省系统参数配置参数2.系统参数丢失情况下的恢复缺省能力1.比对数据库链接信息的增加、修改、删除比对参数配置2.比对类型信息的增加、修改、删除3.比对项目信息的增加、删除、修改比对服务管理1.启动、暂停、重启比对服务比对状态查询1.实时显示某个比对项目的运行情况1.按照比对源、目的、比对项目、内容、用户、必中时间段、比比对结果查询对字段进行组合模糊查询2.比对结果的删除、修改功能1.比对报警的实时显示比对报警信息查询2.比对报警按照比对、源、目的、比对项目、内容、用户、必中时间段、比对字段、报警时间段组合模糊查询比对处理结果管理1.比对处理结果的查询、增加、修改、删除功能1.比对异常结果按照类型、时间、所属比对项目、所属比对任务比对异常记录查询查询2.比对异常记录的删除和修改功能比对日志管理1.系统比对日志(文件)记录1.所有功能提供WEBSERVICES服务接口比对标准服务接口2.临时提交信息的比对服务接口1、用户信息的查询、修改、增加、删除功能用户权限管理2、角色的查询、修改、增加、删除功能3、比对类型、比对项目、比对结果、比对任务的分角色查询功能图5-7比对架构52万方数据 第五章详细设计与实现5.3.2比对配置管理模块比对配置管理模块用于实现动态配置的信息,为了实现比对的灵活性,比对配置管理模块按照实现的细节粒度层次不同,分为比对数据源、比对类型集、比对属性集合、比对项目、比对服务提供者、比对结果项目构成。比对数据源目前只支持两种类型,即数据库类型的数据源和WebService类型的数据源,其实现代码如下所示。publicclassBDConnectionInfoimplementsILockedCollectionItem{publiclongid;//idpublicStringname;//名称publicStringdbType;//类型publicStringdbVersion;//版本publicbooleanisTemp;//是否临时publicStringurl;//urlpublicStringdriverName;//驱动publicintinitConnNum;//初始连接数publicintmaxConnNum;//最大链接数publicintretryNum;//重试次数publicStringserviceName;//服务名publicStringserviceAddress;//地址publicintport;//端口publicStringuserAccount;//账号publicStringuserPassword;//密码publicStringadminAccount;//管理员账号publicStringadminPassword;//管理员密码publicbooleanmainConn;//是否主链接}该模块的关键在于比对项目的实现,比对项目内容比较复杂,大致可以分为以下几个部分:比对模式,确定比对是比对预案和目标之间是单独进行比对,还是批量数据直接进行比对;实时比对模式数用于定义实时比对的方式,目前实现了基于数据库表触发器进行比对、触发器临时比对是指通过触发器将实时变化数据触发至临时变动表,53万方数据 电子科技大学硕士学位论文再由临时变动表进行比对的过程,直接表扫描比对是比对过程最简单的方式,主要用于表内数据只增长不会删除或修改的情况。定时扫描方式,则定义了定时器的工作方式,其基本原则为固定间隔、固定时间、固定周期和时间三种方式,基本上涵盖了所有的定时器工作特点。publicclassBDItemimplementsILockedCollectionItem{//比对模式@IAnnUserCase(id=500,type=1024,description="ignoretoJson")publicfinalstaticintBDMODE_SINGLE=1;//单条记录比对@IAnnUserCase(id=501,type=1024,description="ignoretoJson")publicfinalstaticintBDMODE_LINK=2;//表连接批量比对//实时比对模式@IAnnUserCase(id=502,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_NUM=5;//实时比对模式数@IAnnUserCase(id=503,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_NONE=0;//无@IAnnUserCase(id=503,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_TRIGGERBD=1;//触发器直接比对()@IAnnUserCase(id=504,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_TRIGGERLINK=2;//触发器建立链接比对@IAnnUserCase(id=506,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_TRIGGERTMP=3;//触发器临时表比对@IAnnUserCase(id=507,type=1024,description="ignoretoJson")publicfinalstaticintSCANMODE_SCAN=4;//直接表扫描比对//定时扫描方式//1.每隔(ontimeCycleValue)[天周月](ontimeDateVal)的[ontimeDateTime]54万方数据 第五章详细设计与实现点钟扫描一次//2.每隔(ontimeCycleValue)分钟扫描一次//3.每(ontimeCycleValue)[周,月]的[周一,周二....][1日,2日...](ontimeDateVal)的(ontimeDateTime)点钟扫描一次@IAnnUserCase(id=509,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_BDMODE_SCAN_PERIOD=1;//周期方式@IAnnUserCase(id=510,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_BDMODE_SCAN_CYCLE=2;//循环方式@IAnnUserCase(id=511,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_BDMODE_SCAN_CONST=3;//固定方式//定时扫描周期方式publicfinalstaticintONTIME_CYCLE_MINUTH=1;//分钟@IAnnUserCase(id=512,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_CYCLE_HOUR=2;//小时@IAnnUserCase(id=513,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_CYCLE_DAY=3;//天@IAnnUserCase(id=514,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_CYCLE_WEEK=4;//周@IAnnUserCase(id=515,type=1024,description="ignoretoJson")publicfinalstaticintONTIME_CYCLE_MONTH=5;//月//数据来源类型@IAnnUserCase(id=516,type=1024,description="ignoretoJson")publicfinalstaticintDATA_DEST=0;//固定@IAnnUserCase(id=517,type=1024,description="ignoretoJson")publicfinalstaticintDATA_SRC=1;//动态publicint[]dataAddMode=newint[2];//新增数据的扫描方式publicint[]dataUpdateMode=newint[2];//更新数据的比对方式publicboolean[]enableUpdateMonitor=newboolean[2];//启用更新监控publicString[]updateAttribute=newString[2];//更新监控55万方数据 电子科技大学硕士学位论文属性//结果查询权限设置方式@IAnnUserCase(id=518,type=1024,description="ignoretoJson")publicfinalstaticintRESULT_RIGHT_CONST=1;//固定值@IAnnUserCase(id=519,type=1024,description="ignoretoJson")publicfinalstaticintRESULT_RIGHT_ATTR=2;//属性意义@IAnnUserCase(id=520,type=1024,description="ignoretoJson")publicfinalstaticintRESULT_RIGHT_UNIT=3;//固定单位publicint[]resultQueryRightMode=newint[3];//结果查询权限设置方式publicString[]resultQueryRightValue=newString[3];//结果查询权限设置值}5.3.3比对运行服务模块比对运行服务模块是不间断运行的多线程任务部件,在比对运行服务模块的部署上,既可以独立运行,也可以嵌入到Tomcat、WebSphere、WebLogic中。比对运行模块由下面几个模块组成:比对信息模块复杂提取配置数据;比对服务接口模块负责与第三方服务之间的通信;比对数据链接管理负责各种数据库管理;比对控制模块负责比对时机和比对表达式的形成。此外,系统提供了统一的WebServices接口服务,任何经注册的第三方可以向该接口提交比对目标数据,与本系统已经有的比对源进行比对,比对可以是同步的,即比对请求提交后阻塞直到比对结果返回;也可以是异步的,即比对请求提交后立即返回,不等结果。比对运行服务模块实现了比对代码的自动生成,系统根据比对配置信息动态生成存储过程,对于已经生成的过程,则检查是否与配置一致。logger.write(logger.LOG_CLASS_NOTIFY,"",item.name+"开始实时比对","","");//目标新增数据if(item.dataAddMode[item.DATA_DEST]==item.SCANMODE_TRIGGERTMP){56万方数据 第五章详细设计与实现returnNum=ecuteTempTableBD(item.DATA_DEST,item.DATA_SRC,item.intimeDestNewValue,1,BD_INTIME,SCAN_VALUE_TYPE_DEST_NEW);}elseif(item.dataAddMode[item.DATA_DEST]==item.SCANMODE_SCAN){returnNum=executeDirectBD(item.DATA_DEST,item.DATA_SRC,bdType[item.DATA_DEST].getNewFlagAttribute(),item.intimeDestNewValue,BD_INTIME,SCAN_VALUE_TYPE_DEST_NEW);}//目标更新数据if(item.enableUpdateMonitor[item.DATA_DEST]){if(item.dataUpdateMode[item.DATA_DEST]==item.SCANMODE_TRIGGERTMP){returnNum=executeTempTableBD(item.DATA_DEST,item.DATA_SRC,item.intimeDestUpdateValue,2,BD_INTIME,SCAN_VALUE_TYPE_DEST_UPDATE);}elseif(item.dataUpdateMode[item.DATA_DEST]==item.SCANMODE_SCAN){returnNum=executeDirectBD(item.DATA_DEST,item.DATA_SRC,bdType[item.DATA_DEST].getUpdateFlagAttribute(),item.intimeDestUpdateValue,BD_INTIME,SCAN_VALUE_TYPE_DEST_UPDATE);}recordOntimeStart();executeDirectBD(item.DATA_DEST,item.DATA_SRC,bdType[item.DATA_DEST].getUpdateFlagAttribute(),item.ontimeDestUpdateValue,BD_ONTIME,SCAN_VALUE_TYPE_DEST_UPDATE);5.3.4比对处理比对处理主要负责将要比对的对象(人对象、物对象)与待比对数据源进行比对分析,它是情报信息的重要来源。如图(5-8:比对数据源)。社会信息管理平台存在很多公安要监管的社会面的信息,其中涉及大量的人信息、物信息;另外,在公安内网,有大量的待比对数据源需要与之比对,因此,必须考虑一个通用的比对办法,为以后加入人对象以及待比对数据源提供方便。57万方数据 电子科技大学硕士学位论文需要解决增加一个人对象、物对象时无需再编程就能完成相应的比对;也需要在增加一个待比对源时,所有与其相关的对象能够自动调用。图5-8比对数据源社会信息管理平台存在大量相关对象,现在先解决人对象、物对象的比对,基于要解决上述的问题,建议使用集中比对的原则,将集中的对象数据源简称为数据源A,将待比对数据源简称为数据源B。人对象以及物对象存在于社会信息管理平台业务中,如旅馆业中入住旅客、娱乐场所的从业人员、典当物品的典当人等等,要实现数据源集中的设计,需要使用ETL数据增量提取功能,使用ETL工具或自行编写程序实现都可以,重点是能够增量提取指定业务中指定对象。数据源A形成时,约定形成数据源A的相关属性。考虑的数据源A的通用性,要注意,数据源A只记录对象的相关属性以及来源,不得记录业务上的其它属性。数据源A与数据源B比对分析,通过编写相应程序代码实现,在比对过程中,需要以多线程的方式实现。为什么要选用复杂的多线程方式呢?主要考虑到以下几点因素:一是数据源B有很多种,比对的方式多种多样,数据存储的格式多种多样,这样比对起来的效率有快有慢,如果采用单个线程的方式,必然会造成排队现象,导致比对快的快不了,比对引擎的效率就成问题;二是比对过程中可能58万方数据 第五章详细设计与实现会存在某一类数据源B不能访问的问题或访问处理过程中存在异常,会导致整个比对引擎停止工作;三是数据源B存在很多种,比对规则与实现方式可能会有所区别,将各种比对分别封装到不同代码中,便于以后维护;四是方便以后增加新的比对规则。比对分析结果命中后,需要根据数据源A表中的业务主键信息寻找数据源业务相关信息,并根据业务需求组织好情报概要信息,写入到情报信息表中。下面就分几个重要环节,提出具体要求:5.3.4.1数据源A获取数据源A获取是指通过编程或ETL工具实现从业务数据中的人对象、物对象增量更新的功能。理论上所有变更的人对象、物对象也要增量更新,需要重新比对,但在实际系统中可能比较难实现,如果能实现更好。数据源A提取效率指标:<2分钟;数据源A提取方式:增量;人对象提取内容:姓名、身份证号、业务表名称、业务表主键1、业务表主键2、提取时间。物对象提取内容:物品名称、物品规格、业务表名称、业务表主键1、业务表主键2、提取时间。5.3.4.2多线程比对比对分析引擎采用多线程比对技术,存在一个工作线程即主线程,若干个比对线程。采用多线程技术来进行比对处理,必然需要解决并发比对现场环境的保存与恢复问题,由一个主工作线程来从数据源A中取对象信息,加入到各线程的待比对队列中;各线程在比对时从队列中取出对象,进行比对分析,并将比对结果写入相应表中,比对完成后需要将队列中的对象移出;因此比对线程比对队列中因各线程比对速度不同,必然存在待比对数量不同的情况,在关闭分析引擎时,必须要做好比对线程队列中的比对对象的保存工作,以便与在下次启动引擎时能够将未比对的对象加载到相应线程的比对队列中。在程序设计时,还要考虑到比对线程队列的容量问题,在极端情况下,当数据源B无法访问,该比对队列将随着主工作线程的添加而越来越大,做好防范与处理工作。多线程比对过程中需要注意以下问题:1)每个线程对应一种比对业务;每个线程间业务代码需要保持独立;2)主线程负责启用维护比对线程,分配待比对数据源A的数据;59万方数据 电子科技大学硕士学位论文3)比对线程因实现方式差异,在比对速度上会存在快慢问题,建议使用比对线程队列机制,采用先进先出规则;4)比对线程队列会因比对业务快慢或异常导致数据量过多的转存问题,需要限制队列中的对象数量,对于超出部分需要考虑转存到数据库中,在队列处理完毕后,需要首先从数据库中加载,请考虑清楚此细节,确保先来先处理;5)比对线程要求有级别差异,对于时效性要求高的业务,必须优先处理,例如旅馆业数据;对于时效性要求低的数据,优先级设为低,比如,娱乐场所从业人员信息。6)比对线程比对日志需记载;7)比对结果命中后,需要反查业务数据,形成情报摘要信息,写入情报信息表中;8)比对线程异常的处理以及重新加载的问题;9)分析引擎关闭的环境保护与恢复(重点是在比对线程队列中的对象数据),要考虑断电造成比对线程队列中对象数据丢失的问题;10)数据源A比对分配完毕,需要清理的问题;11)要考虑多台机器并行处理的情况。5.3.4.3数据源A清理数据源A的对象数据由分析引擎系统的主工作线程来调度,在推送到各比对线程后,需要完成数据源A中对象的清理工作。要求达到如下目标:1)已经推送到各比对队列中的对象数据进行清理,不得再次重新推送;2)推送过程中,因机器异常等原因导致未完全推送成功的需要重新推送;3)数据源A清理批量清理的功能;要考虑清理的性能与频率的关系;4)数据源A清理前需要转存到备份表中。5.3.4.4比对系统监控比对引擎是一个后台程序,需要通过一定的输出,便于维护人员监控系统运行情况。现提出如下要求,请在比对监控中实现:1)比对系统启用时间;2)比对系统运行时间;3)比对数据源A待处理记录数;60万方数据 第五章详细设计与实现4)已发送到比对队列的记录数(总数),本次分析引擎启动后的发送数量;5)各比对业务线程工作状态(包括1,2,3,4,5)以及当前处理对象或异常情况;6)各线程异常次数以及重新启动次数。除以上监控内容外,还需要注意以下事项:1)监控只是对外提供观察系统运行的方式,无论监控程序是否开启,均不得影响比对分析系统的运行;2)监控数据提取的时间间隔可设定,默认值1S;3)系统监控的方式:C/S。5.3.4.5比对业务分析人对象、物对象与比对源进行比对分析时,会有多种方式,涉及到本库可以访问的表,一般我们用SQL语句实现;涉及到其它可以访问的库(各种各样类型的数据库),我们也可以通过建立连接后,使用SQL语句实现;还有一部分是我们不能直接通过访问数据库方式实现的,例如WebService接口、Web页面解析、文件访问等。但无论是通过哪种方式实现,我们都需要将资源性的信息保存在资源xml文件中,以后因数据库服务、Web服务、文件位置调整不需要在修改程序,而是通过修改资源xml文件就可以实现。对象与比对源进行比对,在比对命中后需要将相应信息写入“情报信息表”,在摘要组织时需要根据业务表以及业务表主键反查业务表记录,以便于将使用其他信息来组织摘要。比对命中需要写入“情报信息表”,我们对情报信息分为四类,其处理的方式存在差别,分别为:抓捕、经营、核实、管控。抓捕:直接到现场将嫌疑人抓捕;经营:需要掌握人对象行踪的,无需对其亮明身份的,有一定隐秘性;核实:通过其它渠道或情报线人了解人对象的情况;管控:可以上门表明身份,对其进行检查摘要的描述规则:对象属性(人对象:姓名,身份证号;物对象:物品名称、规格),发生时间,发生地点与位置,比对源描述,比对源关键字,情报分类。5.3.4.6其它信息记载比对命中后,除摘要信息需要写入情报信息表外,还需要写入战法类别、比对时间、推送级别、原业务名称、源表名称、源表主键、源表主键值、管辖单位(所61万方数据 电子科技大学硕士学位论文在地公安机关)、比对源类型、目标表名称、目标表主键、目标表主键值、源数据AID、是否处理=0等信息。为什么需要记载源表名称、源表主键以及值,主要考虑在情报分析人员人工甄别时需要调取原有业务数据核对与分析,此处也要考虑多主键的情况,也可不使用这种描述,而直接使用调取接口描述。所在地公安机关是GA380标准的,是作为治安指令发布时能够接受该指令的公安机关。因比对方式存在多种,常用的是数据库比对,我们可以知道相关表,但也要考虑不同库的表访问的问题,此处没有考虑,在比对分析业务中一定要考虑比对源数据访问的问题;也有使用WebService接口或文件等其他方式的;有的数据没有应用,无法通过Web服务来调用,因此,在目标表名称、目标表主键、目标表主键值等内容只有是SQL访问到的表这种模式下才可用。5.4分析预警子系统5.4.1实现方案分析预警主要实现各种行业出现的异常交易的分析和预警。1.交易次数异常预警1)与同时支持多种异常交易参数同时进行预警。如下图所示,配置了二手机卖家、二手车卖家、金银首饰加工、以及任意交易四种参数配置,每一种的执行周期、最大异常交易次数等可以分别配置。2)支持设置异常交易单位、异常交易地区等参数。3)在运行方式上,提供两种方式供选择,一种是由后台job定时启动,对于特定的数据,则可以通过触发器即时执行。在技术实现方案上,分析的灵活性使得复杂性持续增加,传统的体系结构已经不能满足其需求,比如需要对新的业务需求进行快速的反应。在面向服务的体系结构(SOA)提供联机分析方法可以解决这些问题,它通过动态发布的可发现的接口为其它的应用程序提供服务,而其中的服务可以通过网络进行调用,从而可以最大程度地减少系统间的耦合,从而提高可重用性。系统通过对分析源、分析规则、分析输出结果、分析方式、报警方案的动态配置、自动生成应用程序实现个业务系统数据库信息之间的全库分析、批量分析、增量分析等多种分析方式,并根据需要返回分析结果或报警。实现灵活定义需要进行分析的源数据库和规则,可同时提供多个数据库并62万方数据 第五章详细设计与实现发。实现灵活定义分析规则,根据用户需要对需要分析的数据库表、字段、分析条件、结果内容等信息进行比对。实现全库分析、增量分析、批量分析等分析方式。实现一般分析、模糊分析、条件分析等功能。一般分析是指对信息数据的某一个字段的等值分析;模糊分析是指对信息的某一个字段的部分匹配或模糊分析(如同音字)。条件分析是指可设置非、与、或等多种条件进行分析。实现分析周期和时间设置。分析技术的核心为后台服务,主要包括数据访问服务DAS、信息分析服务COMPARE、模型解析服务MPC等,采用SOA架构和J2EE技术标准来实现。系统的数据层实现了数据源设计、数据缓存分配,以及布控人员、布控物品的日常管理等。数据源涵盖了人员、案件、在逃、手机、机动车等关键性的信息,缓存中用来存储分析过程的中间性质数据,布控库中则记录了民警办案过程中需要监控的人员或者物品信息。信息分析利用分析模型,调用信息分析服务,提供了分析解析、分析日志处理、分析结果处理、分析反馈等模块,通过信息分析模型控制组件,触发各类分析引擎,实现完成的数据分析流程。5.4.2关键技术为了提高分析的性能,分析全部实现为数据库存储过程,由JAVA定时器驱动或者数据库JOB驱动。根据实现代码不同,总体来说可以分为人的分析和物品分析两类,下面以人的分析说明其实现,该存储过程对指定类型的交易(所有二手物品)中四个月的重复出现次数进行统计,若出现次数大于民警设定的阈值,则该人员及其所有的相关交易则成为异常交易线索向民警报警。promptpromptCreatingprocedureP_FX_BY_RXXprompt==============================promptCREATEORREPLACEPROCEDUREBDADMIN.P_FX_BY_RXX(IDNUMBER,63万方数据 电子科技大学硕士学位论文XMVARCHAR2,SFZHVARCHAR2,JYLXVARCHAR2,QHDMVARCHAR2,JYDWVARCHAR2,CJSJVARCHAR2,ALARMNUMOUTINT)ISNUMINT;JYCSINT;KSSJVARCHAR2(14);JSSJVARCHAR2(14);CURSORC_PZ(V_JYLXVARCHAR2,V_QHDMVARCHAR2,V_JYDWVARCHAR2)ISSELECT*FROMFX_PZWHERESFQY=1AND(NRLXISNULLORINSTR(NRLX,V_JYLX)>0)AND(DQDMISNULLORINSTR(DQDM,V_QHDM)>0)AND(JYDWISNULLORINSTR(JYDW,V_JYDW)>0);R_PZFX_PZ%rowtype;BEGINALARMNUM:=0;OPENC_PZ(JYLX,QHDM,JYDW);LOOPFETCHC_PZINTOR_PZ;EXITWHENC_PZ%NOTFOUND;P_FX_BY_RECORD(R_PZ.ID,R_PZ.FXLB,XM,SFZH,CJSJ,R_PZ.NRLX,R_PZ.DQDM,R_PZ.JYDW,R_PZ.ZJTS,R_PZ.JICS,JYCS,KSSJ,JSSJ);IFJYCS>=R_PZ.JICSTHENALARMNUM:=ALARMNUM+1;ENDIF;ENDLOOP;CLOSEC_PZ;END;64万方数据 第五章详细设计与实现系统为每种分析实现了一个专有存储过程,这势必会带来系统的不稳定,当增加新的分析需求时候,则需要专门设计存储过程,并插入到系统中,为了解决由于快速变动带来的这种稳定性问题,通过SOA服务总线来管理这些存储过程,实现存储过程的动态配置和启动。下面显示了分析模块的动态配置,配置以SOAP形式进行描述,可以对外提供基于WebService的分析模块管理服务。-----如上所示,该文件描述了三类WebService服务,实现对各类分析存储过程的管理。分别是:1.getNbdwFxByResponse实现对分析存储过程执行情况的统计性结果反馈。输入:分析名称。输出:对于异常交易物品分析存储过程执行情况,统计每日的异常报警数量、65万方数据 电子科技大学硕士学位论文以及每个月内各类物品出现在异常报警中的数量信息。对于异常人员分析存储过程中,反馈当月内异常分析人员的姓名、身份证号以及出现次数统计。2.getServerTimeRequest实现对分析存储过程执行时间的统计。输入:分析项目名称输出:返回分析存储过程的最后一次执行时间、执行频率、执行平均时长、最后报错时间等信息。3.uploadFxRequest实现对分析存储过程参数设置功能。输入:请求参数JSON格式串,如修改异常交易人员分析存储过程的交易频率,则JSON格式串为{“Id”:”异常交易人员”,”Frequency”:”7:3”},表示7天内完成3次以上同类交易的为异常交易人员。输出:无。5.5本章小结本章节主要完成了公安社会信息管理系统信息采集、数据同步、研判比对、分析预警等子系统的详细设计,并重点阐述了即时比对报警、分析预警等关键技术的实现。66万方数据 第六章系统测试与应用第六章系统测试与应用6.1系统测试6.1.1测试环境测试硬件环境如下表6-1:表6-1硬件配置测试环境需求环境定义环境比差异影响名称配置名称配置较说明Intel2.4GHz/4G外网web2.66GHz/600GRAID1外网web应用B/800G/Windows应用服务/8G低于无服务器2008器Intel2.4GHz/4G2.66GHz/600GRAID1无数据库服数据库服务器B/800G/Windows/8G低于务器20086.1.2测试方法表6-3功能测试页面名称测试重点设计方法备注1.测试重点为公安端可以添加企业初始单位管理(企业化信息用于开通企业账户信息集成、系统端、公安端)2.企业用户登录后可以添加人员和单位测试等基本信息治安管理(企业1.用户可以上报情报信息,公安端可以集成、系统端、公安端)收到后可以进行反馈测试监督检查管理1.针对在人员检查信息在公安端均可正确集成、系统(企业端、公安查询测试端)1.在公安端添加的通告信息,人员可正常通知通告(企业集成、系统的查看端、公安端)测试统计分析(公安公安能够对重点分类,案事件排名、情报集成、系统端)上报等数据进行统计分析测试6.2系统应用情况系统目前已在杭州、绍兴、金华、台州等地市开始使用。该系统是多业务信息采集、共享的统一开发应用平台,可实现治安对旅馆,洗浴、娱乐、重点单位、典当、印章、出租房屋、废旧金属收购、二手手机交易、汽车租赁、出租汽车、67万方数据 电子科技大学硕士学位论文机修、拆解、委托寄卖、保安、印刷、经济类中介机构、上网服务机构、开锁等行业场所单位信息的统一管理。得益于良好的体系结构、技术路线及设计,在实际应用中系统体现了以下技术特点:综合性:实现了“企业”、“传输”、“地市”、“省厅”四大功能集;实现业务调整和新功能开发无需编程;实现多行业信息采集,做到信息有效整合及应用关联。方便性:彻底解决一次性录入问题,系统自带通用录入接口及多种智能信息采集设备减轻了企业录入的工作量,达到了信息采集快、准、全的目的。实战性:实用的关联分析及信息研判工具帮助公安深挖线索、发现隐情,有效防范、主动出击。全面性:可同时采用有线(拨号、ADSL、宽带)、无线(4G、3G、GRPS、CDMA)等多种信息传输方式,除传统的信息采集系统外,具有短信、一体化终端等多种解决中小型企业信息采集手段,解决了系统全面覆盖的问题。6.3本章小结本章主要通过实际试运行公安社会信息管理系统,完成对系统的功能性测试,在实际应用中检验理论成果。68万方数据 第七章结论与展望第七章结论与展望7.1全文总结随着金盾工程的深入实施和推进,信息化技术的发展,信息化技术对公安社会管理的辅助作用越来越重要。如何能够利用信息化手段简化民警的信息采集工作,扩大信息利用的效率,是当前公安信息化的重要课题。本课题研究基于SOA的公安社会信息管理系统,梳理现有的业务系统,定义标准的业务元数据和数据交换协议等规范,改造原有的业务系统使其适应SOA架构未来扩展需要,同时方便新业务功能的整合开发。论文从需求分析入手,分别进行了总体架构设计、详细设计和开发测试工作。本课题主要有以下技术特点:1.对原有分散的公安社会信息管理系统的各类数据进行了融合,建立了统一的社会信息元数据管理。2.系统涉及了十几个数据库之间的数据交换,系统涉及了通用的数据访问组件,大大提高了数据访问的效率。3.基于SOA架构涉及系统,使得系统的服务不仅仅提供给本系统使用,也提供给公安打防控相关系统使用。7.2展望按照金盾工程的建设规划,浙江省公安厅会逐步扩大管理范畴,将印刷业、拍卖业等行业纳入到平台中。同时在技术实现上,应考虑进一步结合大数据处理和联机分析技术,分析各类社会信息的潜在关联,从而扩大数据利用的价值。69万方数据 电子科技大学硕士学位论文致谢本研究及学位论文是在我的导师卢光辉副教授的细心关怀和悉心指导下完成的。他严肃的治学态度,严谨的科学精神,精益求精的工作作风,深深地影响和激励着我。卢光辉副教授不仅在学术上给我以精心指导,同时还在为人处事、工作和生活等方面给我教导和关怀,在此谨向卢光辉副教授致以诚挚的谢意和崇高的敬意。我还要感谢我的企业方导师胡建高级工程师,给我技术实现和业务工作方面的指导和建议,还要感谢一起进行公安社会信息管理系统建设的同事们,正是由于你们的帮助和支持,我才能克服一个一个的困难和疑惑,直至本文的顺利完成。在论文即将完成之际,我的心情无法平静,从开始进入课题到论文的顺利完成,有多少可敬的师长、同学、朋友给了我许多的帮助,在这里请接受我诚挚的谢意!我还要感谢含辛茹苦培养我长大的父母,一直默默地关心我、支持我,谢谢你们!最后,再次对关心、帮助我的所有人、特别卢光辉老师表示衷心地感谢!70万方数据 参考文献参考文献[1]罗革新,吴建平,丁闫,等.面向服务体系架构软件平台及其应用[J].信息技术,2012,(2):109-113.DOI:10.3969/j.issn.1009-2552.2012.02.032.[2]肖家立.企业级应用架构研究:SOA架构融合SaaS模式[J].价值工程,2011,30(33):149.DOI:10.3969/j.issn.1006-4311.2011.33.111.[3]罗铁军.基于SOA架构的区域政务信息交换体系的设计与实现[J].计算机与现代化,2012,(12):93-95.DOI:10.3969/j.issn.1006-2475.2012.12.024.[4]段翰聪,李童星,李林,等.基于面向服务架构的分布式业务部署平台[J].计算机应用,2012,32(8):2342-2345.DOI:10.372A/SP.J.1087.2012.02342.[5]管红杰,王珂,江海峰,等.SOA架构的工作流管理系统的研究与应用[J].计算机工程与设计,2011,32(5):1654-1657.[6]樊程,蒋静,戴洪等.基于SOA的服务动态扩展机制研究[J].电信科学,2012,28(9):52-57.[7]王育宾,王育欣.SOA架构在警务系统中的应用与实践[J].硅谷,2012,(7):127-127,92.DOI:10.3969/j.issn.1671-7597.2012.07.107.[8]崔峰,程长建,王飞跃等.基于SOA架构的平行管理信息系统设计[J].计算机与应用化学,2010,27(9):1171-1176.DOI:10.3969/j.issn.1001-4160.2010.09.003.[9]PaweiSWIATEK,PawelSTELMACH,AgnieszkaPRUSIEWICZetal.ServiceCompositioninKnowledge-basedSOASystems[J].Newgenerationcomputing,2012,30(2/3):165-188.[10]TomaszSZYDLO,KrzysztofZIELINSKI.AdaptiveEnterpriseServiceBus[J].Newgenerationcomputing,2012,30(2/3):189-214.[11]StephenLane,AntonioBucchiarone,ItaRichardsonetal.SOAdapt:Aprocessreferencemodelfordevelopingadaptableservice-basedapplications[J].Informationandsoftwaretechnology,2012,54(3):299-316.[12]R.I.Mackie.Applicationofserviceorientedarchitecturetofiniteelementanalysis[J].Advancesinengineeringsoftware,2012,52:72-80.[13]P.Anbalagan,V.Ramachandran.Service-orientedarchitecturalmodelforgeneratingsystemadequacyevaluation[J].Electricalengineering,2012,94(1):19-25.[14]AlirezaHassanzadeh,LeilaNamdarian,Sha'banElahietal.Developingaframeworkforevaluatingserviceorientedarchitecturegovernance(SOAG)[J].Knowledge-basedsystems,2011,24(5):716-730.[15]关雅方.基于Struts框架的流动人员出租屋信息管理系统的设计与实现[J].软件导刊,71万方数据 电子科技大学硕士学位论文2010,09(8):73-74.[16]岳世平.当代西方发达国家构建应急管理体系的经验及其启示[C].//2010年应急管理国际研讨会论文集.2010:783-786.[17]孔维鹏.特定行业社会信息综合应用系统的设计[D].南京信息工程大学,2011.[18]黄星午.公安派出所综合管理信息系统分析与设计[D].云南大学,2009.[19]贾锦程.吕梁市公安局民用爆炸物品管理信息系统的设计与实现[D].北京工业大学,2006.[20]罗菁,李靖.手机业治安防范综合信息管理系统的研究[J].数字通信世界,2006,(1):31-33.DOI:10.3969/j.issn.1672-7274.2006.01.011.[21]范权.论天津市机动车和驾驶人信息管理系统[D].天津大学,2010.[22]李圆媛.公安基层综合信息管理系统[D].武汉大学,2005.[23]闫彦明.典当行业建立分级管理制度的国际借鉴[J].商业研究,2012,(9):120-124.DOI:10.3969/j.issn.1001-148X.2012.09.021.[24]苏冬娜,李天阳,王志刚,等.基于元数据的通用异构数据交换工具[J].科学技术与工程,2012,12(22):5634-5637.[25]刘国义,张鹏,李涓子,等.基于用户规则的数据交换总线的设计与实现[J].计算机应用,2011,31(z2):143-146.[26]李艳春,李新,焦文彬,等.分布式信息系统中数据交换平台设计与实现[J].计算机工程与设计,2012,33(7):2640-2645.[27]石彦华,李蜀瑜.动态服务的数据交换模型研究[J].计算机应用研究,2011,28(12):4576-4580.DOI:10.3969/j.issn.1001-3695.2011.12.047.[28]刘胜,杨岳湘,邓劲生,等.基于关键属性分析的增量数据抽取方法[J].计算机工程与应用,2012,48(4):115-117.DOI:10.3778/j.issn.1002-8331.2012.04.034.[29]马安香,张斌,高克宁,等.基于结果模式的DeepWeb数据抽取[J].计算机研究与发展,2009,46(2):280-288.[30]黄淑芹.基于XML的WEB数据抽取模型研究[J].通化师范学院学报,2012,33(2):31-33.DOI:10.3969/j.issn.1008-7974.2012.02.014.[31]张玉峰,何超,李琳等.基于联机分析挖掘的动态竞争情报多维语义分析研究[J].情报学报,2012,31(2):166-173.DOI:10.3772/j.issn.1000-0135.2012.02.007.[32]蒲晓湘,刘文才.联机分析挖掘(OLAM)技术的现状与发展[J].重庆大学学报(自然科学版),2004,27(3):36-40.DOI:10.3969/j.issn.1000-582X.2004.03.009.[33]陈旭辉,刘东坡,武玉杰,等.中间存储的联机分析关联规则挖掘方法[J].厦门理工学院学报,2012,20(2):57-61.DOI:10.3969/j.issn.1673-4432.2012.02.016.72万方数据 参考文献[34]张立斌,潘伟.基于位编码的联机分析处理及数据挖掘算法[J].信息技术,2010,34(8):36-41.DOI:10.3969/j.issn.1009-2552.2010.08.010.[35]吴珅.基于SOA的公安信息分析系统设计与实现[D].上海交通大学,2008.[36]金碧芳,薛质,宋涛,等.基于SOA的信息分析系统的研究与实现[J].信息安全与通信保密,2010,(6):42-44.DOI:10.3969/j.issn.1009-8054.2010.06.026.[37]杨令省.利用分布式技术构建信息分析服务中心[J].计算机时代,2010,(3):66-67.DOI:10.3969/j.issn.1006-8228.2010.03.027.[38]董爱静.淄博公安案事件信息分析报警系统的设计与实现[D].北京大学,2009.[39]TomaszSZYDLO,KrzysztofZIELINSKI.AdaptiveEnterpriseServiceBus[J].Newgenerationcomputing,2012,30(2/3):189-214.[40]SerdalBayram,OEzalpVayvay,SueleymanSerdarYoerueketal.AConceptualModelofSOA-EnabledBusinessProcessanditsEmpiricalStudy[J].Internationaljournalofwebportals,2012,4(1):16-32.[41]Hu,Juqi.DesignandimplementationofpolicecomprehensiveinformationplatformbasedonSOA[C].//20127thIEEEConferenceonIndustrialElectronicsandApplications.2012:1395-1398.[42]HUANGWei-li,WANGFang.ResearchofE-govemmentsystemarchitecturebasedonSOA-ESB[C].//AdvancedMechanicalDesign.Part2.2012:1137-1140.73万方数据

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
大家都在看
近期热门
关闭