浅谈可扩展的数据质量分析系统及其软件实现研究

《浅谈可扩展的数据质量分析系统及其软件实现研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号UDCTP391密级786856学校代码：10561学号：200235300201025华南理工大学学位论文可扩展的数据质量分析系统及其软件实现研究张传坤指导教师：塑痘缝熬援主上簋扭型堂皇王猩堂瞳申请学位级别：亟±专业名称：让筵扭丕红结掏论文提交日期：!QQ!：§：!Q论文答辩日期：坐!：垒：兰学位授予单位和日期：些直堡王盍堂答辩委员会主席：丝蕉；趄寺鱼论文评阅人：熬墨璺壹j整遂盘鱼丛丛亟摘要随着时代的不断发展，信息技术在各行各业都得到了越来越深入的应用，在信息社会的今天，信息作为一种战略资源和生产要素已成为社会运转的基础，成

2、为当今企业生存发展的重要依赖之一。然而，信息质量以及数据质量的现状并不乐观，全球每年花费大量的人力和物力来检查和解决数据质量问题以及数据质量所引起的相关问题。正因为由于数据质量所带来的问题越来越显著，它已经引起包括政府，研究机构，特别是企业的重视。本文先后讨论了数据质量的产生过程及其影响要素、数据质量问题的表现和分类，以及数据集质量分析的一般方法，研究了当前有关数据质量分析理论并且引入规则库这一概念，在此基础上提出了一套基于规则库的数据质量分析模型，这一模型能清晰的为分析人员从规则建立到指标的计算等分析阶段提供指导。在前面介绍的理论

3、基础上，我们设计和实现了一个基于这一评价模型的评价系统DataQualityAnalyser(DQA)。考虑到当前网络、多操作系统应用普及的大环境，因此本系统采用了XML、WebService等技术并使用C／S模式，为用户提供了一个跨平台、多用户分布式质量分析平台。本文所提出的质量评估模型是对数据质量研究有益的探讨，具有一定的理论意义，在我们设计的数据质量分析平台上对该模型进行了实现，在日后的研究过程中也有其启发意义。数据质量分析系统DQA，向用户提供了一个容易使用，界面友好的分析流程，增加了系统的实用性，这些都是对数据质量技术的应

4、用很有意义的研究。关键词数据质量(DataQualityDQ)；规则：规则库；评估模型华南理工大学硕士学位论文AbStractWearet30wiilagreatneweraofirlformation．TheapPlicati0rloftheii"1formettiOrltechnologYbe．comes1110repopularinmanYi13duStriesthartthepast，theirlformation，akind0fStrategicresourcesandcFeatiVeelement：laYthefound

5、ati0rlforthewholesocietY，1lrithOUtthat，OUFlifewillbecoNeurlbearableandallenterpriSesc19,nrlotopei"atetheirbUSinesshealthilY．BUtthe13,CtLtatcondition0fthedataqualitYisseriousandwoI"Fyill．g，EVerYYea．rlotS0fmoneYwereusedt0accouiqtfordiffereFItproblemsresultfromdataquality

6、，andtheseproblemslookSmoreandmoFeseriOUS．S0thegoVernmentS、researchirlstitUtionS、esPeciallyenterprisesbeginattachimportancet0datE1．一qualitYproblems，ThereforeinthethesiS．wewillargueforaCOncel3tualization0fdataqualitythatinClUdesthiscontext，a1s0therewillShOWhowth0SeDQprob

7、lemscomea,FSe，whattheDQcategotiesanddiillertsi013SiS，andhowt0clasSifytheDQProblems．YheFtPUtfol"WO,rdaitlodel0fDOevalLLatiOnthatiSbaseollRulesWarehoUse，thiS【fIodelcO,rtdirecttheo,na．1Ysert0evalltatethedata—qualitYmeasU．FablY，easilYandCle[11-1Y．Additi0nallY，wehaVedesigne

8、dasYStemrlamedDQA(dataqUalitYanalYSeF)t0implE：mentthatlIlOdel．TheDQAadoptedl0tS0ftechn0109iessuchasWebService，XML，Jav