一种基于失效概率排序的网站封堵解除方法

《一种基于失效概率排序的网站封堵解除方法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、一种基于失效概率排序的网站封堵解除方法艾华贾晓舟贾素华中国移动通信集团设计院有限公司本文提出Y棊于网站失效概率排序的不良网站封堵解除方法，该方法建立丫解封探测优先级的量化评估模型，并充分考虑了对封堵清单奔重和归并操作的影响，解决了不易失效的网站URL拥塞解封探测队列导致死循环的问题。测试结果表明，该方法能充分利旧现有的封堵有效性验证系统的空闲资源，大幅度提高探测命中率，显著减少封堵工作量，降低封堵系统建设和长期运营成本。关键词：网站封堵;解封;URL;2017-08-02Amethodofwebsitepluggingremovalbasedonrankingoffailureprob

2、abilityAIHuaJIAXiao-zhouJIASu-huaChinaMobileGroupDesignInstituteCo.，Ltd.;Abstract：Thispaperproposesamethodstoremovalpluggingpornwebsitebasedonthesitefailureprobabilityranking.Themethodestablishthequantitativeevaluationmodelofdetectionpriority.Theimpactofcheckingandmergingoperationsisconsidered.T

3、hemethodsolvedeadloopproblemcausedbydetectionqueuecongestion.Testresultsshowthatthemethodcanmakefulluseofidleresources,greatlyimprovethehitrate,significantlyreducetheamountofpluggingwork,reduceconstructionandlongtermoperatingcosts.Keyword：websiteplugging;removalplugging;URL;Received：2017-08-021引

4、言电信运营商现冇的不良网站封堵系统缺乏对被封堵网站的解封机制，尽管采用UDP53的DNS阻断方式在一定程度上缓解丫系统压力，但棊于IP地址访问量的快速增涨和封堵清单“只进不出”的模式使得封堵系统运行压力和建设成本难以控制。由于不良网站经常更换网址，封堵清单中大量URL实际已经弃用失效。对于失效的URL继续进行持续不断封堵操作是对封堵系统资源的严重浪费，也对网络运行效率产生不必要的影响。利用现有封堵有效性验证系统的空闲资源，实现对已经失效URL的确认和解封堵是一种边际成本较低的解决方案。但封堵有效性验证系统要确认一个UKL己经失效需调集多类探针资源进行有计划的测试，并排除网络延迟、间歇性

5、故障、网段差异等因素，由于封堵清单数量庞大，现有封堵有效性验证系统的空闲资源有限，无法实现对全量封堵清单进行轮询式探测。本文设计一种解封探测优先级量化评估模型，建立对URL失效概率的排名机制，仅需对失效概率较大的URL进行探测，实现对封堵有效性验证系统资源的最大化利用。2模型设计和实验通过封堵冇效性验证系统网络探针对封堵清单中随机抽取的1000个样本网站进行丫超过23个月的持续探测发现，网站有效率与封堵持续时间、域名级别、服务器地域等不同维度之间都存在着一定的联系，其中与封堵持续时间的关系最为明显，尤其是占总量98%以上的境外网站，封堵12个月后有效网站比例已经降至40%以下，封堵20

6、个月以后的有效网站己经低于10%(如图1所示)。2.1模型设计定义一个全量封堵数据库屮某URL的服刑期为P(Prisonterm),其值为距离解封探测操作的剩余天数，用来评估一个URL的解封探测优先级。对于现有系统P=-,在“服刑期”模型中，通过D-R参数对P的值进行量化评估，从而产生解封探测优先级排序。D参数（Days）:是封堵清单中每个URL距离标准封堵时长的剩余天数，是该URL按照标准封堵时长计算可释放解封的倒计时。每一个进入封堵清单的URL其默认D参数值为％（即标准封堵时长），每过一自然天D参数值减1。D0可以按照数据库屮URL从列入封堵到平均有效访问率降至预设阈值（例如40%

7、）以K的天数来设置，也可以依据封堵系统和解封探测系统的整体性能进行调整。某URL的D参数值与其被重复封堵的次数无关，即使该URL解封堵后又被重新列入封堵清单，其初始值仍为队。R参数（Release）:用于标识每个URL的解封探测次数，首次进入全量封堵数据库的URL其R值默认为0，每解封堵一次，R参数值加1。在全量封堵数裾库URL解封探测优先级排名中，R参数值是对D参数值的修正。由于实际系统部署存在多个分布于不同网段的不良网站探测系统，全量封堵数