基于hadoop的关系表非冗余键集合识别技术研究

《基于hadoop的关系表非冗余键集合识别技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：UDC：学校代码：10055密级：公开高越大法硕士学位论文基于Hadoop的关系表非冗余键集合识别技术研究ResearchonHadoopbasedNon—redundantKeysDiscoveryoverRealationalTables申请学位工堂亟±答辩委员会主席杨愚鲁教授指导教师重瞳澶熬援南开大学研究生院二。一三年五月南开大学学位论文使用授权书根据《南开大学关于研究生学位论文收藏和利用管理办法》，我校的博士、硕士学位获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在《著作权法》规定范围

2、内的学位论文使用权，即：(1)学位获得者必须按规定提交学位论文(包括纸质印刷本及电子版)，学校可以采用影印、缩印或其他复制手段保存研究生学位论文，并编入《南开大学博硕士学位论文全文数据库》；(2)为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文摘以及论文全文浏览、下载等免费信息服务；(3)根据教育部有关规定，南开大学向教育部指定单位提交公开的学位论文；(4)学位论文作者授权学校向中国科技信息研究所及其万方数据电子出版社和中国学术期刊(光盘)电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库，通过其相关网站对外

3、进行信息服务。同时本人保留在其他媒体发表论文的权利。非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。论文电子版提交至校图书馆网站：http：／／202．113．20．163：8001／paper／index．isp。本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并己通过论文答辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。作者暨授权人签字：墓蚕童2013年5月23日南开大学研究生学位论文作者信息论文题目基于Hadoop的关系表非冗余键集合识别技术研

4、究姓名莫云音学号2120100333答辩日期2013年5月14日论文类别博士口学历硕士·硕士专业学位口高校教师口同等学力硕士口院／系／所信息技术科学学院专业计算机软件与理论专业联系电话l3920775748Emailmoyunyin@dbis．nankai．edu．ca通信地址(邮编)：天津市南开大学西区公寓1号楼2f601室I备注：是否批准为非公开论文否注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写(一式两份)签字后交校图书馆，非公开学位论文须附《南开大学研究生申请非公开学位论文审批表》。南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研

5、究工作所取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：墓亟壹2013年5月23日非公开学位论文标注说明(本页表中填写内容须打印)根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级口限制(≤2年)口秘密(≤10年)口机密(≤20年)保密期限20年月同至20年月日审批表编

6、号批准日期20年月日南开大学学位评定委员会办公室盖章(有效)注：限制★2年(可少于2年)：秘密★10年(可少于lO年)：机密★20年(可少于20年)摘要摘要随着计算机的普及和网络技术的飞速发展，互联网上出现了海量数据可供人们利用，关系型数据是其中最主要的数据组织形式之一。在关系数据库中，键集合信息是理解数据库结构和特征的基础，对数据建模、数据集成、异常检测、查询优化、数据索引等大量数据库任务具有至关重要作用。然而，在现实应用场景中的大型、复杂数据库中，键集合信息通常并不完整。数据库管理员和开发者迫切需要有效的键集合信息识别方法，辅助完成数据库优化、分析、维护等繁重任务。因此，如何高效自动

7、发现关系表的键集合具有重要理论意义和应用价值。目前，键集合自动识别相关研究较少，代表性工作有BruteForce算法和GORDIAN算法。受到内存容量等因素的限制，现有工作无法在大型数据表上完成键集合识别任务。Hadoop是以HDFS和MapReduce为核心的开源分布式计算平台，可高效完成大数据集处理工作。本文针对大数据集特征，提出一种基于Hadoop分布式处理平台的大型关系表非冗余键集合自动识别方法，为数据库键集合信息维护提供有