基于spark的大数据清洗框架设计与实现

《基于spark的大数据清洗框架设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．＇－／．／１？ｆ＇＇＇ｆ／ｔ．＇，．／．＼勉＂．ＩＩ＇娘ｌｆ《＾密级；：ｉ；＂＂ｋ＾．．．－滅硕壬学位论文＇：冰＇．＊？：＊？？＊‘＞，＇’．．沪：．．＂－＾．ＵＶ／，＇＾＂＾；讀玄．．．．／戀＇■？＇；■：＇．，：论文题目基于Ｓｐａｒｋ的大数搪清洗框架设计与实现’－抑＊－如１‘ＩＶ／：．＇皆＼＇ｉｉ＾ｉ／＇‘ＵＩ作ＶＶ＇威‘＇．．＊作者姓名仓

2、翰伟乡＼．．＼戸指导教师王新宇副教授Ｉ＇（李伟博击＇－、学科专业计當机技术、．一（）＼（所在学院计貧机科学与技术学院一１！＼Ａ＇ｔ＂？２０５－－２２１０１提交日期ｆ只ｆｓ＃■／‘，＼＇／＇＇／／．／／巧站严，，．Ｉｆ／ＶＩ＇一喔、Ａ挪：Ｖ＇■＜，Ｖｉ一、括如－＇；４％／Ｘ＼／ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＺｈｅｉａｎｊｇＵｎｉｖｅｒｓｉｔｆｏ

3、ｒｔｈｅＤｅｒｅｅｏｆｙｇＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇ雜ＴＩＴＬＥ：ＢｉｇｄａｔａＣｌｅａｎｉｎｇＦｒａｍｅｗｏｒｋＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎＢａｓｅｄＯｎＳｐａｒｋＡ。化ｏｒ：ＨａｎｗｅｉＪｉｎＳｕｅｒｖｉｓｏｒ：ＸｉｎｖｕＷａｎｇｐＷｅｉＬｉＳｕｂｅｃｔＣｏｍｕ化ｒＴｅｃｈｎｏｌｏｓｖ：ｊｐＣｏｌｌｅｅｏｍｐｕｔｅｒｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｇ：ＣＳ２０－－Ｓｕ

4、ｂｍｉＵｅｄＤａｔｅ：１５０１２２独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的。，除了文中特别加Ｗ标注和致谢的地方外研究成果据我所知，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研巧所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：乂ｆ爲签字日期：之年＞月＼Ｔ日午学位论文版权使用授权书本学位论文作者完全了解浙江大学有关保

5、留、使用学位论文的规定，有权俱留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授极浙江大学可从将学化论文的全部或部分肉容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描＃复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：＜￡导师签名签字日期，ｊ月日签字日：之／占年期：年月日学位论文作者毕业后去向：工作单位：电话：通讯地址：邮编浙江大学硕壬学位论文摘要搞要大数据技术之中核々是数据分析，但在

6、真正解决大数据问题之时，王分之二的工作量都是在大数据清洗，大数据清洗是开始大数据处理的基础，所Ｗ，高效的大数据清洗技术不仅能有效地提高大数据质量，化可Ｗ加快整体大数据处理的流程。一本论文设计实现了套基于Ｓｐａｒｋ的大数据清洗框架，原理是充分利用Ｓｐａｒｋ（ＲｅｓｔＤｔｒｉｔｅＤａｔａｓｅｔｓＲＤＤｓ分布式计算能力，将弹性分布式数据集ｉｌｉｅｎｉｓｂｕｄ），的操作，，封装成大数据清洗的任务单元，通过组合串联成完整的大数据清洗流水。线，实现大数据清洗。同时提出了多叉树计算流结

7、构，优化大数据清洗流程该框架能够重用大数据清洗功能组件，ａｒｋ，灵活配置清洗流程充分利用Ｓｐ的高速，满足实际环境中复杂的大数据清洗需求计算性能，实现高可扩展性，彻底解决大数据清洗问题，加快整体大数据处理流程。实验证明，利，基于该大数据清洗框架，能够极大降低清洗流稽的褐合性用已有的清洗单元，灵活地实现复杂的大数据清洗，极大降低了大数据清洗的成本，ａ一最关键的是，利用Ｓｐｒｋ将大数据清洗提升到了个新的性能水平，促进了大数据处理应用技术的发展。ｒ关键谓：大数据框架Ｓｐａｋ，流水线

8、，清洗，，１浙江大学硕去学位论文ＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＷｈｅｎ＊ｉｔｃｏｍｅｓＵ＞ｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｐｒｏｂｌｅｍ，ｂｉｇｄａｔａｃｌｅａ打ｉｎｇｔａｋｅｓｍｏｒｅｔｈａｎ－ｔｗｏｔｈｉｒｄｓｐａｒｔｏｆｗｏｒｋ．Ｔｈｏｕｇｈｔｈｅｃｏｒｅｏｆｂｉｇｄａｔａｒｏｃｅｓｓｉ打ｂｅｌｏ打ｇｓｔｏｂｉｄａｔａｐｇｇａｎａｌｓｉｓｂ