WEB应用风险扫描的研究与应用

2. WEB应用风险扫描架构

WEB应用风险扫描技术架构主要分为URL获取层、检测层、取证与深度评估层三个层次，其中：

URL获取层：主要通过网络爬虫方式获取需要检测的所有URL，并提交至检测层进行风险检测;

风险检测层：对URL获取层所提交的所有URL页面进行SQL注入、跨站脚本、文件上传等主流WEB应用安全漏洞进行检测，并将存在安全漏洞的页面和漏洞类型提交至取证与深度评估层;

取证与深度评估层：针对存在安全漏洞的页面，进行深度测试，获取所对应安全漏洞的显性表现，(如风险检测层检测出该网站存在SQL注入漏洞，则至少需可获取该网站的数据库类型);作为该漏洞存在的证据。

3. 网络爬虫技术—URL获取

网络爬虫是一个自动提取网页的程序，它通过指定的域名，从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

网络爬虫的工作流程较为复杂，首先根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，根据搜索策略从队列中选择下一步要抓取的网页URL，并重复，直到达到预设的停止条件。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询、检索和取证及报表生成时做为源数据。

为了更加高速、有效地获取网站中所有的URL链接，在本WEB应用风险扫描技术研究中，所采用的网络爬虫技术着重解决以下三个问题：

(1) 对抓取目标的描述或定义;

(2) 对网页和数据的分析与过滤;

(3) 对URL的搜索策略。

3.1 网页抓取目标

网页弱点爬虫对抓取目标的描述或定义基于目标网页特征抓取、存储并索引，对象是网站的网页;通过用户行为确定的抓取目标样例，其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，以及网页代码的结构特征等。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友