基于爬虫技术的web应用程序漏洞检测方法

《基于爬虫技术的web应用程序漏洞检测方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士学位论文MASTERALDISSERTATION论文题目：基于爬虫技术的Web应用程序漏洞检测方法论文作者：雷佳伟学科：计算机科学与技术指导教师：王全民论文提交日期:2016年6月UDC：004学校代码：10005中文图书分类号：TP391学号：S201307077密级：公开北京工业大学工学硕士学位论文题目：基于爬虫技术的Web应用程序漏洞检测方法英文题目：AWEBAPPLICATIONVULNERABILITYDETECTIONMETHODBASEDONWEBCRA

2、WLERTECHNOLOGY论文作者：雷佳伟学科专业：计算机科学与技术研究方向：信息安全申请学位：工学硕士指导教师：王全民副教授所在单位：计算机学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：雷佳伟日期：2016

3、年6月22日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：雷佳伟日期：2016年6月22日导师签名：王全民日期：2016年6月22日摘要摘要随着Web2.0时代的到来，Web技术高速发展，网站渐渐由原本的静态文档发展成为具有各种强大功能的动态页面。互联网用户可以通过网站轻松的完成很多业务。然而由于大量的个人信息暴露在互联网上，随之带来的安全问

4、题也逐年增加，跨站脚本攻击就是众多安全问题中的一个。在OWASP2015中国应用安全论坛会议中，跨站脚本攻击仍严重威胁着Web应用程序的安全。针对跨站脚本攻击带来的严重危害，国内外安全研究人员提出了包括黑盒测试和白盒测试的检测方法，使得这一问题的危害得到了一定程度上的缓解。但是随着Web技术的更新，Web支持的功能不断扩展，跨站脚本的攻击者不断的发现可以绕过安全监测过滤的方法。针对以上问题，论文提出一种基于爬虫技术的Web应用程序漏洞检测方法，改进爬虫爬取网页、解析页面的方法，并且研究了漏洞挖掘策略，从而解决了网页爬取的效率以及网页分析的性

5、能问题，提高了对漏洞检测的检测率，降低了漏洞的漏报率和误报率，并对其做了实验分析，结果证明研究方案具有良好的性能和准确性。论文主要工作如下：（1）研究了系统漏洞的成因以及当前主要的漏洞挖掘技术，分析了跨站脚本攻击的主要手段、检测方法以及研究现状，同时对当前主要的开源爬虫框架也进行了深入的学习和借鉴（2）针对目前开源的的某些爬虫技术存在爬取效率低、网页分析能力差的缺点，通过对Scrapy框架的研究，分析了页面爬取以及解析的具体过程，研究了URL的搜索和相似性去重，设计和实现了基于Scrapy框架的爬虫Libra，解决了系统爬取页面的效率以及解

6、析页面的性能问题。（3）针对目前的跨站脚本攻击检测方法存在攻击代码单一、存储在数据库中笨重等缺点，以基本跨站脚本攻击代码为基础，根据不同类型的攻击方式，按照挖掘策略对攻击代码进行变形，输出了更加全面的攻击代码，从而提高了跨站脚本攻击漏洞检测率，降低了漏报率和误报率。（4）实现了基于爬虫技术的Web应用程序漏洞检测方法，对该方法进行了测试，并对测试结果进行了分析。关键词：XSS；Web应用；Scrapy爬虫；攻击向量I北京工业大学工学硕士学位论文AbstractWiththeadventofWeb2.0era,Webtechnology

7、high-speeddeveloped,fromtheoriginalsitegraduallydevelopedintoadynamicpagewithavarietyofpowerfulfeatures.Peoplecaneasilycompletealotofbusinessthroughthewebsite.HoweveralotofpersonalinformationexposedontheInternet,thecorrespondingsecurityissuesincreasedyearbyyear.Cross-sites

8、criptingattacksareoneofmanysecurityproblems.IntheapplicationsecurityOWASP2015ChinaForum,c