基于水利普查数据的函数依赖关系算法-论文.pdf

《基于水利普查数据的函数依赖关系算法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机与现代化2014年第8期JISUANJIYUXIANDAIHUA总第228期文章编号：1006—2475(2014)08-0096-05基于水利普查数据的函数依赖关系算法钱振兴，万定生，李士进，程习锋(河海大学计算机与信息学院，江苏南京210098)摘要：条件函数依赖(ConditionalFunctionalDependencies，CFDs)在数据库一致性的检测上应用广泛。为检测水利普查数据的一致性，本文针对水利普查数据特点，将普查数据分为度量、维度2部分，并对度量数据进行聚类，引入条件函数依赖的概念，同时重新定义条

2、件函数依赖，改进发现条件函数依赖的算法(即CTANE算法)；以水库工程数据为例，验证本文改进的算法能准确高效地发现水利普查数据中的条件函数依赖，为检测数据一致性做好准备。关键词：水利普查数据；条件函数依赖；度量；维度；CTANE算法中图分类号：TP3l1．131文献标识码：Adoi：10．3969／j．issn．1006—2475．2014．08．021FunctionDependenceAlgorithmBasedonWaterCensusDataQIANZhen-xing，WANDing-sheng，LIShi-jin，C

3、HENGXi—feng(CollegeofComputerandInformation，HohaiUniversity，Nanjing210098，China)Abstract：ConditionalFunctionalDependencies(CFDs)canbemadeextensiveuseofdatainconsistencyanddatacleaning．Inordertochecktheconsistencyofwaterconservancysurveydata，thispaper，accordingtothec

4、haracteristicsofthedata，dividedthedataintotwoparts，includingmeasurementanddimensions，andclusteredthemeasurementdata，importedtheconceptofConditionalFunctionalDependencies(CFDs)，redefinedtheConditionalFunctionalDependencies，improvedCTANEalgorithmwhichfindsthefunctiona

5、ldependencies；takingreservoirengineeringdataforexample，thispaperverifiedthattheimprovedalgo—rithmcouldaccuratelyfindtheConditionalFunctionalDependenciesofwaterconservancysurveydata，whichisgoodforthede-tectionofdataconsistency．Keywords：watercensusdata；conditionalfunc

6、tionaldependencies；measure；dimensions；CTANEalgorithm0引言间的条件函数依赖。1相关理论随着信息处理技术的不断发展，各行各业已建立了很多计算机信息系统，积累了大量的数据。数据是信1．1数据质量息的载体，好的数据质量能反应现实世界的状况。因此数据质量通常被定义成数据“适合使用”的程度，文数据质量已经被公认为数据管理的首要问题。献[3]认为数据质量主要指一个信息系统实现模式与数数据质量研究领域已达成一个共识，即完整性约据实例一致f生的程度，以及模式和数据实例在此系统上束应作为提高数

7、据质量的主要方法，而在水利普查中的实现正确性、一致性、完整性、最小性的程度。普查对象的度量信息决定了该对象的维度信息，即度目前，主要从检测重复对象、处理缺失数据、检测量和维度之间存在函数依赖，本文将根据数据特点，逻辑错误以及处理不一致数据几个方面控制数据质对度量值进行一维聚类，并重新定义条件函数依赖，量J。基于约束提高数据质量的方法通常是在关系改进搜索条件函数依赖的方法，优化发现条件函数依数据库中指定一组完整性约束规则，数据库出现不一赖算法CTANE，挖掘水利普查数据中度量与维度之收稿日期：2014-04—24基金项目：国家自

8、然科学基金资助项目(51079040)；水利部948项目(201016)作者简介：钱振兴(1989-)，男，江苏泰兴人，河海大学计算机与信息学院硕士研究生，研究方向：数据挖掘与信息系统；万定生(1963一)，男，江苏溧阳人，教授，CCF会员，研究方向：信息处理与信息系统；李士