资源描述：
《Web智能代理的预取技术和缓存技术.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、天津大学学报第34卷第5期2001年9月JOURNALOFTIANJINUNIVERSITYVol.34No.5Sep.2001Web智能代理的预取技术和缓存技术赵政,张钢,杨洁,王松,舒炎泰(天津大学电子信息工程学院,天津300072)摘要:针对同一个工作组中成员可能对Web有相似的兴趣点和访问习惯问题,研究了主要包括缓存和预取两个部分的智能代理技术;研究了代理缓存三种替换算法:LRU和LRU的两种变种.仿真试验表明,LRU算法的命中率极差,将LRU的两种变种相结合则是一种较好的方案.通过引入预测算法和门限算法,代理服务器可以预测最近将要访问到的页面,并在客户实际请
2、求提出之前有选择地下载.因为单个客户访问某个页面的历史次数往往不够多,将预测算法放在代理服务器上比放在客户端的预测概率更准确.通过在代理服务器上实现缓存和预取技术,可减少用户访问Web的响应时间,还可减少实际访问Web服务器的总次数.并提出了一个为发展中国家用户缩减Web访问代价的有效方法.关键词:万维网;智能代理;预取;缓存;门限中图分类号:TP393.4文献标识码:A文章编号:0493-2137(2001)05-0563-05用图1可确定成员兴趣的相似程度.在图中,观1工作组成员访问兴趣分布分析察到三个不同工作组在qn=5%时的Xn值是介于10%～20%,表明这三个
3、工作组成员的Web访问有着为了证实同一个工作组成员可能有相同的兴趣足够的相似度.进而访问相似的页面,该课题通过对三个工作小组长达3个月的Web访问日志文件的分析,统计出全部访2缓存替换算法的改进问的URL和相应访问频度.定义:特定页面的访问次数如果Web页面在第1次被访问时存放于CacheQn=全部页面的访问次数中,则该页面下次被该成员或其他同组成员访问时会达到某个Qn的页面数Pn=获得很高的效率.由于采用了预取技术,某一Web页所访问过的页面总数面在首次被访问时可能已经被预取到Cache中,从而Xn=∑PnQ>qnn减少Web服务器的负载和用户访问的延迟,提高了代Xn
4、和Qn的关系如图1所示.理Cache的性能.提高代理服务器Cache的命中率很困难,首先,Cache命中需要被一个用户请求多次或被不同用户多次使用;其次,由于大多数浏览器具有内部缓存,因此用户在一次会话中很少对同一个页面向代理服务器提出多次请求.这些因素都减少了代理服务器Cache的命中率.对于具有无限大磁盘空间的代理Cache,缓存页面不会因为空间缺乏而被替换,由此得到了真实代理图1工作组成员Web访问兴趣分布Cache的命中率上界.在对积累的3个月的真实WebFig.1Distributionofgroupinterests访问记录进行仿真后,得到了30%～50%的
5、命中率.收稿日期:2000-01-15;修回日期:2001-04-03.基金项目:国家自然科学基金资助项目(69672031).作者简介:赵政(1948-),男,硕士,教授.·564·天津大学学报2001年第34卷第5期实际代理服务器只具有有限的磁盘空间,缓存页面将LRU-THOLD算法需要计算域值,因此LRU-MIN是会因为磁盘空间不足而被替换.作者比较了传统其中最好的策略.这种策略不需要参数并且在大数情LRU和两种LRU变种等三种Cache替换算法.传统况下性能良好.另一方面,LRU-THOLD算法需要较LRU算法对于WebCache有先天不足,因为不仅需要少的磁
6、盘空间,并且命中率随Cache空间减小,下降较考虑时间因素,还需要考虑文件大小,文件类型以及其为缓慢(相对于LRU-MIN),该算法较好.另外,表1他的网络性能参数.因为Web文件通常是大小不同中缓存文件的生存期在不同的算法中差别很大,的,当WebCache的大小有限时,应决定选择Cache替LRU-THOLD算法中生存期几乎比LRU的长10倍.换策略,是否因一个大文件而替换掉许多的小文件(理这是由于文件替换的次数太频繁,LRU算法中文件生论上,减少Cache中的文件总数导致命中率下降),保存期最短.存较少的大文件还是保存较多的小文件.为此采用了一种适应性的策略,先使用
7、比较仿真结果表明,传统LRU算法的命中率极LRU-MIN算法,当Cache大小接近可用磁盘空间时[1]差,而LRU-MIN和LRU-THOLD算法的结果基本改用LRU-THOLD算法,LRU-THOLD使用的域值相同.所以选择LRU-MIN和LRU-THOLD算法的逐渐减小直至Cache减小到较低水平.结合作为该研究缓存的替换算法.2.1Cache替换策略3预测算法假定新请求文件的大小是s,而且不在WebCache之中.预测算法是收集所有用户的访问历史记录并预传统的LRU算法是,当WebCache的磁盘自由测用户将要访问的页面.代理服务器
