数据清洗方法研究及工具设计

《数据清洗方法研究及工具设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、上海交通大学硕士学位论文数据清洗方法研究及工具设计姓名：王武申请学位级别：硕士专业：计算机技术指导教师：张忠能;于明义20090101数据清洗方法研究及工具设计摘要随着信息技术发展和企业信息化建设的进行，企业自身积累了大量的业务数据,这些数据对于企业非常珍贵，是企业了解自身经营状况及进行正确决策的基础。由于用户录入错误、系统集成及企业环境变化等因素，都会影响到数据质量。为此研究企业信息系统中数据清洗问题具有很强的理论性和实用性。论文通过对企业信息系统中存在的数据质量问题及数据清洗方法的分析与研究，详细论述了数据质量的概念、问题种类及影响数据质量的

2、因素，并提出了自己对数据质量的定义及数据清洗的一般过程。在数据清洗方血，分析了当前对数据清洗方法的研究。提出了基于业务逻辑的数据清洗方法；在基本临近排序算法的基础上提出了改进的相似重复记录匹配算法,对其中的关键步骤进行了改进，提高了相似重复记录的匹配度和检测效率。在通用数据清理工具的设计开发上，提出了一种通用可扩展的数据清洗工具平台，文中详细论述了该平台的设计、开发和实现过程。通用可扩展数据清洗工具平台具有开放的算法库和规则库，并可以进行扩展。清洗工具平台的扩展管理模块，可以配置管理定制化的清洗方法，并且无缝的加载扩展模块到清洗工具平台中。通过在

3、规则库中定义清洗规则以及从算法库中选择合适的清洗算法，可使该软件平台适用于不同的数据源，从而使其具有较强的通用性和适应性。本文所设计开发的通用可扩展数据清洗工具平台已经成功的应用到某世界五百强电子消费品生产企业的集成客户管理系统中，有效的提高了企业的客户数据质量。关键词：数据质量，数据清洗，相似重复记录，数据清洗工具ResearchonDataCleansingandToolDesigningABSTRACTAlongwiththedevelopmentofinformationtechnologyandenterprisesinformatio

4、nsystem,enterpriseshaveaccumulatedalotofdata・Thesedataareveryvaluabletoenterprises.Agoodqualitydataisthebasisformakingagooddecision.However,dataqualityisinfluencedbysomefactorssuchasuserinputerror,enterprisesincorporation,changesofenterprisesenvironmentandsoon.Inordertomakein

5、formationsystemsmoreuseful,theirdataqualityneedbeimproved.Therefore,thestudyondatacleaninghasgaineditstheoreticalandpracticalvalue.Regardingthissubject,themaincontributionsofthispaperareasfollows:Basedonthestudyofdataqualityissuesandvarietiesofdataquality,thispaperprovidesano

6、wndefinitionofdataqualityandacommondatacleansingprocess・Throughthestudyofcurrentresearchesandtechnologiesfordatacleansing,thispaperproposesanewcleansingmethodbasedonbusinesslogic.BasedontheexperienceofrealprojectsandSNMcleansingalgorithm,thepaperpresentsanimprovedapproximatel

7、yduplicatedrecordscleansingmethod・Theimprovedapproximatelyduplicatedrecordcleansingmethodhighlyincreasesthematchrateandaccuracy.Anextendeddatacleaningtoolplatform(EDCT)isdesignedanddeveloped.Thecleansingtoolplatformhasopenruleslibraryandalgorithmslibrary,whichallowuserconfigu

8、rethecleansingalgorithmsandrules.EDCThasanextendedcleansingmodule・Th