基于本体的数据清洗系统框架研究

《基于本体的数据清洗系统框架研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京航空航天大学硕士学位论文基于本体的数据清洗系统框架研究姓名：张联超申请学位级别：硕士专业：计算机应用技术指导教师：黄志球20080101南京航空航天大学硕士学位论文摘要随着数据库技术的飞速发展以及数据获取手段的多样化，数据资源日益丰富，数据量急剧增加。数据的价值在于其自身的质量，基于劣质数据的决策支持具有不可信性，目前数量巨大而且零乱的劣质数据成为制约数据应用的“瓶颈”。因此，作为数据质量问题的主要解决技术，数据清洗成为研究的热点。然而现有数据清洗技术的研究大多是从数据文本取值的层面进行清洗处理，往往忽略

2、了数据自身蕴含的语义信息。因此，如何在现有数据清洗研究中引入语义特性成为该领域一个新的研究点。针对这一研究课题，本文主要开展了如下几个方面的研究工作：首先，基于信息化建设的背景，对数据质量问题和数据清洗问题进行了研究。通过对该领域在国内外研究现状的分析，归纳了现有数据清洗研究中存在的不足，并论证了利用本体及相关技术解决上述不足的可行性。其次，针对知识表示及其常规性的方法，本体及相关技术的研究进行了总结，作为支撑论文研究的理论基础。然后，基于本体提出了一个数据清洗系统框架。按照资源描述的特性，将系统框架划分为描

3、述静态语义信息的本体表达模型和描述过程语义信息的动态处理模型，并分别给出了模型中各组成部分的形式化描述和主要模块在处理过程中的工作原理和实现机制。最后，在对课题研究中的两个语义模型进行分析介绍的基础上，设计并实现了基于本体的数据清洗系统框架，并使用UML对框架的静态结构设计和动态行为语义进行了建模，解决了现有数据清洗研究中缺乏语义约束和不能支持自动推理的问题。关键词：数据质量，数据清洗，本体，清洗规则，任务结构，系统框架i基于本体的数据清洗系统框架研究ABSTRACTWiththerapiddevelopme

4、ntofdatabasetechnologyandthediversificationofwaysforgettingdata,thecategoriesofdataareincreasingrapidlyandtheamountofdataisincreasingdramatically.Thevalueofdataliesinthequalityratherthanthequantity,andthedecisionbasedonbaddataisunbelievable.Thehugeandchaoti

5、cpoordatahasbecomea"bottleneck"indataapplication.Asaprimarymethod,datacleaninghasbecomeahotspottoresolvethedataqualityproblem.However,mostofthecurrentresearchesarebasedonthetextvaluebutthelatentsemanticofthedata.Howtointroducethesemantictothecurrentresearch

6、esisbecominganewhotspot.Datacleaninganditssemanticarestudiedinthisdissertation,andthemaincontributionsareasfollows:Firstly,thedataqualityanddatacleaningunderthebackgroundoftheinformationconstructionareresearchedinthisdissertation.Accordingtotheanalysisofthe

7、domesticandforeignresearchesinthisfield,theweaknessesofcurrentresearchesaresummarized.Thentheontologyanditscriticaltechnologyareintroducedtoresolvethem,meanwhiletheargumentationofthismethodisgiven.Secondly,theresearchesofknowledgeanditsexpressionmethod,onto

8、logyanditscriticaltechnology,aresummarizedinthisdissertationandusedasthetheoreticalprincipleofourresearch.Thirdly,adatacleaningsystemframeworkbasedonontologyisproposedinthisdissertation.Accordingtothec