面向大数据的基于top-k的服务排序优化方法研究

《面向大数据的基于top-k的服务排序优化方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、—；Ｖｆｔ＇—跑：公开位代码：１０２９３密级，ＩＡ１ｔ、Ｉ幽識＾卿：：芋遷若著Ｉ■Ｌ■＊＇—．乂—■，毒皮營像硕去讼戈．．．．．．．‘＇一＇哪？－；：｜，＇＇＇；；＾、；，少／，一＞４；／■；７－、，‘＇ｆ．；？？面向大数据的基于咕色ｋ－论文题目；＿＿＿林；：：Ｗ的服务排序优化方法研究－—．学号１２１３０４３１２４姓名盜量．Ｖ心导师干海艳教授每八专业学位类别工程硕±．类型ａ＿＿＿全

2、Ｍ苦专业（领域）软件工程论文提交日期２０１６年５月■■■—？＝；－－Ｖ．？Ｕ、Ｌ南京邮电大学学位论女原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研巧成果。尽我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含真他人己经发表或撰写过的研究成果。，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料一与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一本人学位论文及涉及相关资料若有不实。，愿意承担切相关的法律责任知ＬＵ？

3、研究生签名：祷扛日期：南京邮电大学学位论文使用授权声明本人授权南京邮电大学可１＾保留并向国家有关部口或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索；可采用影印、缩印或杠描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文一的内容涉相致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。研密学位论文在解密后适用本授权书。究生签名：讀已导师签名；成日期；如ｂ．ｉ．！］Researchontop-kbasedServiceRankingOptimizat

4、ionforBigDataEnvironmentsThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByXuYuSupervisor：Prof.WangHaiyanMay2016摘要随着互联网用户数据量逐年猛增，储存于网络中的信息也以惊人的速度不断增长。如何在海量信息中，为用户快速准确地提供所需服务成为了新的挑战。top-k技术在用户服务筛选和信息检索中起到了重要作用。然而已有的top-k算法主要集中在单线程中解决to

5、p-k服务排序或者存在对并发控制不足，在面对海量数据处理时，往往会引发严重内存滞留。为解决以上问题，需要在top-k查询过程中进行数据预处理和完善服务排序算法。本文的主要工作如下：(1)根据MapReduce数据并行处理的工作原理，提出Core-C算法，利用标记本地缓存的子线程，来降低MapReduce工作过程中重复开启线程的数量。此外，本文以top-k查询特点作为基础展开研究，使用针对非确定性数据集查询的方法处理非top-k集合元素的剪枝操作。(2)提出一种基于分布式数据模型的数据划分和基于多目标的非支配top-k排序算法：计算单位服务器所需要分摊的数据

6、量，并且通过非支配排序方法将单位服务器计算得到的k个结果置于内存中，最终通过中央服务器从中计算出符合的k个结果再返回给用户。(3)在提出的top-k算法基础上，开发了一个基于用户偏好的top-k服务排序应用示范。根据相应的需求分析、概要设计和详细设计，完成了各个模块的实现，验证了本文方法的可行性和正确性。关键词：大数据；服务排序；top-k；性能优化；MapReduceIAbstractAstheamountofInternetusersincreasesyearafteryear,theinformationstoredinthenetworkisals

7、ogrowingatanoverwhelmingrate.Howmassiveinformationquicklyandaccuratelyprovidesuserswiththebestservicetomeettheirpreferencesbecomeanewchallenge.Top-ktechnologyplaysanimportantroleinfilteringforusers.However,existingtop-kalgorithmsmainlyfocusonsolvingtop-krankingserviceandthereislac

8、kofconcurrencycontrolinasinglethr