职位信息并行抽取系统设计与实现

《职位信息并行抽取系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP311.1密级公开UDC004.4编号10299Z1308025专业硕士学位论文职位信息并行抽取系统设计与实现DesignandImplementationofRecruitmentInformationParallelExtraction指导教师薛安荣教授作者姓名王丹申请学位级别工程硕士专业名称计算机技术论文提交日期2016年04月论文答辩日期2016年06月学位授予单位和日期江苏大学2016年06月答辩委员会主席______________评阅人______________学位论文版权使用授权书江苏大学、中国

2、科学技术信息研究所、国家图书馆、中国学术期刊(光盘版)电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致，允许论文被查阅和借阅，同时授权中国科学技术信息研究所将本论文编入《中国学位论文全文数据库》并向社会提供查询，授权中国学术期刊(光盘版)电子杂志社将本论文编入《中国优秀博硕士学位论文全文数据库》并向社会提供查询。论文的公布(包括刊登)授权江苏大学研究生处办理。本学位论文属于不保密□。学位论文作者签名：指导教师签名：年月日年月日独创性声

3、明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不包含任何其它个人或集体已经发表或撰写过的作品成果，也不包含为获得江苏大学或其它教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月江苏大学专业硕士学位论文摘要随着招聘网站不断的增多，通过网络查找招聘信息已成为目前求职者的主要求职方式。每天都会有成千上万的职位信息发布在不同的招聘网站上，这

4、些职位信息量大且冗杂。求职者想要准确而全面地获取所需职位信息，就不得不在各大网站间查询或者通过搜索工具搜寻。在各大网站间查询，存在难以全面获取所需职位信息和切换网站查询工作量大等问题。而使用通用搜索工具，虽然获得的信息相较于前者更加丰富全面，但又会存在信息冗余度大和选择困难等问题。文中通过研究分布式系统并行化抽取职位信息的结构与方法解决职位信息的快速抽取问题；通过研究基于正则化的提取方法解决职位信息分布散且杂的问题；通过研究一种高效地去除冗余信息的方法解决职位信息冗杂的问题。最终达到抽取的职位信息全而重复信息量少的目的，为

5、用户提供友好的交互接口，方便用户快捷方便地获取所需要的职位信息。论文主要工作如下：（1）职位信息并行抽取系统的总体设计。为定位信息抽取的数据来源，需对各站点的职位信息链接进行爬取；为获取具体的职位信息，需根据链接相对应页面中的职位信息进行抽取；由于抽取的职位信息中存在冗余，需对抽取的信息去重后方可入库；为方便用户获取职位信息，需提供信息搜索服务。因此，系统主要包括职位信息爬虫模块、抽取模块、去重模块和搜索模块。（2）职位信息并行抽取系统的详细设计与实现。针对职位信息分散且量大的问题，在爬虫模块采用分布式Nutch进行网络爬

6、虫以达到职位信息链接快速爬取的目的。为获得结构化的职位信息，采用基于正则化的抽取方法抽取职位信息，该方法能准确解析复杂的信息结构，同时为了提高职位信息抽取效率，采用具有高效性的并行计算框架实现职位信息并行化抽取，从而达到准确高效地抽取信息的目的。为了解决职位信息存在冗余的问题，在去重模块中采用MD5算法结合Spark进行职位信息迭代去重，由于Spark的内存计算方式优化了迭代工作负载，从而提高职位信息去重时间上的效率。此外，对去重的职位信息创建索引，提供搜索功能。（3）对职位信息并行抽取系统进行相关功能及性能测试。职位信息

7、抽取的召回率和准确率的综合评价F达到97.6%，去重率达到100%。测试结果表明职位信息抽取准确率，并行化职位信息抽取时间效率以及职位去重率可以满足用户I江苏大学专业硕士学位论文需求。最后根据测试结果探讨系统的不足和缺陷，探索系统的下一步优化的方向。关键字：Nutch爬虫，分布式系统，正则化信息抽取，HBase数据库，MD5算法II江苏大学专业硕士学位论文ABSTRACTWiththeincreaseinthenumberofrecruitmentwebsite,ithasbeenbecominganimportantme

8、thodforthejobseekerstofindjobs.Everydaytherearethousandsofrecruitmentinformationwhichareenormousandmiscellaneous,postedondifferentrecruitmentwebsite.Job