毕业论文-基于增量爬虫与微博的视频资源推广技术研究

《毕业论文-基于增量爬虫与微博的视频资源推广技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M200972449学校代码10487密级硕士学位论文基于增量爬虫与微博的视频资源推广技术研究学位申请人：刘慧学科专业：计算机应用技术指导教师：陆枫副教授答辩日期：2012年1月12日AThesisSubmittedinFullFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationofMicrobloggingSystemBasedonIncrementalCrawlerforVideoResourcesC

2、andidate:LiuHuiMajor:ComputerApplicationTechnologySupervisor:AssociateProf.LuFengHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaJanuary,2012华中科技大学硕士学位论文摘要近年来，互联网上的视频资源激增至了一个前所未有的水平。巨量增长的视频资源耗费着大量的服务器存储与带宽资源。然而，在线视频资源的利用率依然不高，视频资源提供商回报率低。对于无目的用户浏览，新兴的社交网络能

3、发挥显著作用，具有一定热度的视频资源均能通过群体智慧得到传播。通过充分利用增量爬虫、微博模型、微博标注等一系列互联网资源的采集与推广技术，研制相应的视频资源推广策略，尽可能多地将各类视频推送给用户，满足时新性、多样性、热门等技术要求，提高视频资源的利用率。首先，为提供最新最热的视频资源，针对现有爬虫技术普遍存在的刷新代价大和数据冗余等问题，研制了适用于视频资源采集的刷新策略，基于信息周期理论,利用效用值上下边界确定该刷新策略，以较小刷新代价获得较好的视频资源时新度，也就是保障能以最小的刷新次数尽快获取最新的视频资源。其次，通过整

4、合视频播放服务与微博模式，利用微博基于信任的传播链帮助增加用户粘性，并借助群体智慧采集视频精彩时间点标注信息，形成良性循环。最后，基于研制的推广策略，开发了一套基于微博的视频资源推广网站——微亮点。实验证明，经过改进的基于效用值上下边界方法更适用于视频资源的采集，能很好的平衡时新度以及刷新代价。微亮点在上线后，运行稳定，获得较好的用户体验。通过视频统计证实其确实能在页面的首页推荐最热视频，从而帮助进行微博分享传播，增加视频资源的利用率。关键词：微博，爬虫，刷新策略，群体智慧I华中科技大学硕士学位论文AbstractDrivenb

5、ytheageofinternetgenerationandtheadventofnear-ubiquitousbroadbandinternetaccess,onlinedeliveryofvideocontenthavesurgedtoanunprecedentedlevel.Theexplosivegrowthincontenthasgivenrisetotheneedofdevelopingeffectiveinformationretrievalservicewhichcanhelpusersdiscovermeani

6、ngfulandinterestingvideos.Assearchenginesprimarilyrelyonthequeryinputs,webbasedpushtechnologycanhelptoprovideactiveinformationservices.The'one-to-many'broadcastingofferedbymicrobloggingisthoughttoincreasevideocoverage.Inthispaper,wedesignapromotionstrategyinvolvingin

7、crementalcrawlers,microbloggingtoincreasetheutilizationratioofvideoresources.Crawlinghasbecomeapromisingmethodtoachieveonlineinformation.Besideshowpageschange,incrementalcrawlersoftenintegratechangefrequency,changeextent,anddocumentqualityforeachpagetodetermineitsrel

8、ativeorderaswellasitsdownloadfrequency.Buttherearerarelydedicatedcrawlersfocusedonvideocollection.Inordertoprovidefreshvideos,wedev