WEB应用风险扫描的研究与应用

3.2 网页分析算法

基于网页内容的分析算法指的是利用网页内容(文本、数据等资源)特征进行的网页评价。该算法从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超链接为主的无结构或结构很简单的网页;第二种针对从结构化的数据源动态生成的页面，其数据不能直接批量访问;第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。

3.3 网页抓取策略

爬虫的抓取策略目前普遍的采用的方法有：深度优先、广度优先、最佳优先三种。由于深度优先在很多情况下会导致爬虫的陷入(trapped)问题，网页弱点爬虫目前采用的是深度优先和最佳优先方法组合方法。

深度优先搜索策略：指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。网页弱点爬虫采用深度优先搜索方法为覆盖指定网站存在弱点的网页。其基本思想是认为与初始URL在一定链接距离内的网页具有弱点相关性的概率很大;并采用将深度优先搜索与网页过滤技术结合使用，先用深度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低，因此网页弱点爬虫采用了最佳优先搜索策略来弥补这个缺点。

最佳优先搜索策略：最佳优先搜索策略采用基于网页内容的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。

4. 漏洞检测技术—风险检测

4.1 主要WEB应用漏洞

4.1.1 OWASP十大安全威胁

　　开放式WEB应用程序安全项目(OWASP，Open Web Application Security Project)是一个组织，它提供有关计算机和互联网应用程序的公正、实际、有成本效益的信息。其目的是协助个人、企业和机构来发现和使用可信赖软件。美国联邦贸易委员会(FTC)强烈建议所有企业需遵循OWASP所发布的十大Web弱点防护守则、美国国防部亦列为最佳实务，国际信用卡资料安全技术PCI标准更将其列为必须采用有效措施进行针对性防范。

Figure2 2010 The top 10 security threat of OWASP

编号漏洞名称产生原理

1注入漏洞应用程序未对用户输入的数据库查询语句进行合法性检验

2跨站脚本漏洞应用程序未对用户输入的执行代码进行合法性检验

3认证和会话管理隐患应用程序中的认证和会话管理功能未得到正确执行

4直接对象引用隐患应用程序直接引用外部对象时，未进行合法性检验

5跨站请求伪造WEB站点对用户浏览器进行认证而非用户本身

6安全配置错误应用程序、WEB服务器、中间件等未进行合理的安全配置

7限制URL访问失败隐藏页面访问控制失效

8尚未认证的访问重定向URL重定向未进行合法性检验

9密码存储不当应用程序未使用恰当的加密算法保护敏感数据

10传输层保护不足未使用恰当的加密算法保护传输过程中的敏感数据

表1 2010 OWASP十大安全威胁原理介绍

Table 1 The principle of OWASP top 10 security threat

4.1.2 CWE/SANS 25大危险编程错误

一般弱点列举(Common Weakness Enumeration CWE)是由美国国家安全局首先倡议的战略行动，该行动的组织最近发布了《2010年CWE/SANS最危险的程序设计错误(PDF)》一文，其中列举了作者认为最严重的25种代码错误，同时也是软件最容易受到攻击的点。OWASP Top 10，所关注的是WEB应用程序的安全风险，而CWE的Top 25的覆盖范围更广，包括著名的缓冲区溢出缺陷。CWE还为程序员提供了编写更安全的代码所需要的更详细的内容。

4.2 WEB应用漏洞规则库

我们经过多年WEB应用安全领域的研究，结合国内外优秀组织的经典总结、描述以及验证，建立起一套几乎涵盖所有可能带来安全威胁的WEB应用安全漏洞的丰富的WEB应用漏洞规则库，包括各个安全漏洞的产生原理、检测规则、可能危害、漏洞验证等等，通过自动化手段，对网络爬虫所获取到的网站页面进行逐一检测。随着安全漏洞的不断产生、攻击手段的不断演变，WEB应用漏洞规则库也不断获得充实和改进。