网络视频爬虫的缓存和更新策略

《网络视频爬虫的缓存和更新策略》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、摘要随着视频技术在互联网上的应用，网络视频成为互联网越来越重要的组成部分。传统的文本搜索引擎已经不能满足人们对视频搜索的需要，如何查找这些网络视频内容成为近年来的研究热点。基于图像的视频搜索引擎G02View通过对网络视频进行下载、分析并提取出可视化特征，为用户建立起新的基于图像的视频搜索途径。相比于传统的文本搜索引擎，基于图像的视频搜索引擎在很多方面都还不完善，尤其是在内容获取和内容更新上，如不突破将成为视频搜索引擎发展的瓶颈。本文针对这两点提出了网络视频爬虫缓存算法的设计和更新策略的改进。论文首先介绍了基于图像的视频搜索引擎G02View和其视频爬虫InfoGathe

2、r的架构和特点，接着从网络视频爬虫的工作方式入手，详细讨论了缓存算法和更新策略的设计。在缓存设计方面，通过对比分析几种不同缓存算法在普通网络爬虫中的应用，结合网络视频爬虫的特点，提出了网络视频爬虫的LRU改进算法。文章给出了该算法的详细设计方案，并对实现LRU缓存的双链表结构进行了阐述，还给出了该算法在Java中的实现方式。通过分组对比实验验证了该算法在网络视频爬虫中的有效性。在更新策略方面，详细分析和x,：tLk了现存的几种不同更新策略，并充分考虑了网络视频爬虫的现有硬件基础，提出了网络视频爬虫的分类更新策略。文章详细叙述了网络视频爬虫更新模块的设计和运行机制，并抽取现

3、实网页进行对比试验，通过计算和实验分析，证明了分类更新策略比网络视频爬虫现采用的统一更新方式能更好的维护数据更新。关键词视频搜索引擎；网络视频爬虫：缓存；LRU；更新策略AbstractWitlltheapplicationofvideotechnologyinInternet．netvideoisbecomingtheimportantpartofWWW：Thetraditionaltextsearchenginehasbeenunabletomeetpeople’Sneedsinvideosearching．AvideosearchengineG02Viewwhich

4、isbasedonimagehasgoodperformanceinfindingvideoresourceinInternetforpeople．Throughdownloadingandanalyzingvideos，videosearchenginecanextractvideo’Svisualfeaturestoestablishafeaturesdatabasewhichareusedtoimagematching．G02Viewgivesusersnewexperienceinvideosearchthroughuploadingimages．Butthene

5、wsearchengineisstillimperfectcomparingtothetraditionalsearchengine，especiallyincontentfetchingandrefreshing．Theseproblemswillbecomebottleneckifwecouldn’tfindsolutions．Toresolvethetwoproblems，areformedcachealgorithmandrefreshpolicyarepresentedinthisarticle．Atfirst，thepaperdemonstratesthear

6、chitecturesandfeaturesofvideosearchengineG02viewandnetvideocrawlerInfoGather．Thenthroughanalyzingnetvideocrawler’Sworkingmethod，thedesignsofcachealgorithmandrefreshpolicyarediscussedindetails．Incachedesigning，areformedLRUalgorithmusedfornetvideocrawlerispresentedaftercomparingsomedifferen

7、tcachingalgorithmsusedfortextcrawlerandconsideringtheworkingfeaturesofnetvideocrawler．ThepaperpresentsdetaileddesignoptionsandintroducestheworkingmechanismofdoublecircularchainingusedforLRUdatastructure．TheimplementationofLRUinJavaisalsogiven．Atlast，thereformedLRU’S