1.检测技术现状分析

　　如果要为2010年代以来的网络安全检测领域选择一个关键词，我们相信“APT” （高级持续性威胁）入选的概率颇高。从数字来看，近年来被曝光的APT攻击事件绝对数量并不高，但每一起攻击事件所针对的目标都是大众耳熟能详的业界巨头，其中不乏网络安全行业的领跑者RSA、互联网行业领头羊谷歌、安全防范措施完备的韩国银行业，甚至是与互联网物理隔离的伊朗核设施系统。人们不禁要问，为什么这些技术领先、防范严密的组织机构，仍然无法躲避APT攻击？

　　要回答这个问题，我们需要分析一下APT攻击的特点。不同于普通黑客散兵游勇式的攻击，APT是一种为获取经济或政治利益而进行的有针对性的定向攻击，其背后往往隐藏着庞大的组织，甚至是国家力量的支持。正如其名称所体现出来的含义，APT具有两方面的典型特点：

　　(1)攻击手段先进：相比传统攻击手法，APT攻击具有隐蔽能力强、攻击空间路径不确定、攻击渠道不确定等特点，在攻击过程中往往采用0Day漏洞进行渗透、采用特种木马进行远程控制。

　　(2)攻击持续时间长：为了避免攻击过程引起流量上的明显异常，典型的APT攻击为达到目的都不惜时间成本，一旦入侵成功则长期潜伏，寻找合适的机会以隐蔽通道的方式外传敏感信息，在单个时间点上无明显异常。

　　反观当前主流安全防御技术，如入侵检测、防病毒、防火墙等，大都采用以特征匹配、实时检测、实时阻断为主的技术手段，在应对APT方面存在以下不足：

　　(1)不能检测未知攻击：传统特征匹配技术是建立在对攻击样本分析的基础之上的，总要先获取恶意代码的样本、提取其特征、对特征进行编码描述，才能在检测设备上实现有效检测。因此当APT攻击中采用未知的漏洞利用方法进行渗透，或新型木马进行远程控制时，现有的检测设备将无法识别。

　　(2)不能进行异步检测：传统检测方法是以实时检测、实时阻断为主的同步检测，如果攻击行为未能被实时检测出，或者以物理摆渡的方式绕过了边界，那么就失去了对该攻击进行二次分析的能力。

　　(3)不支持对攻击行为的溯源分析：传统检测设备只记录攻击行为的报警事件，不记录攻击过程的原始数据。但在真实网络环境中检测到一起可疑攻击行为后，往往需要结合该可疑行为相关的上下文原始数据来评估攻击的真实性和造成的后果，从传统的安全设备中很难获取这些对后续分析有用的数据。

　　从上述分析中可以看到，传统的检测工具在检测技术和检测对象这两方面都比较单一。这在对抗常规网络攻击时尚能发挥一定作用，在新兴的APT威胁前面却无能为力。这就是那些因为具备高度经济价值或特殊政治地位而成为APT目标的组织机构，虽然采用传统的防御措施进行了严密防范，却仍然无法对抗APT攻击的根本原因。为了解决这个问题，我们必须在检测思路上进行创新，全范式检测框架就应运而生了。

2.什么是全范式检测

　　本文提到的全范式检测中的“范式”特指安全检测分析方法，这里借鉴了已故著名数据库专家、图灵奖获得者詹姆士·格雷的理论。詹姆士·格雷将人类科研模式的发展历程划分为4个阶段，如图1所示：

　　(1)第一范式：数千年前，科学研究最初只有实验科学，科学家通过经验来解释自然现象。

　　(2)第二范式：数百年来，科学研究出现了理论科学，运用了各种定律和定理，如开普勒定律，牛顿运动定律，麦克斯韦方程等。

　　(3)第三范式：近几十年来，对于许多问题，理论分析方法变得非常复杂以至于难以解决，人们开始寻求模拟的方法，这就产生了计算科学。

　　(4)第四范式：当前，出现了将实验、理论和仿真统一的科研方法，称为数据密集型计算模式。在这种模式中，由软件处理由各种仪器或模拟实验产生的大量数据，并将得到信息或知识存储在计算机中，科研人员只需从这些计算机中分析感兴趣的数据。

图1：詹姆士·格雷描述的科研范式

　　我们把科研方法的发展历程，同安全检测分析的发展历程做个对比，就会发现二者存在惊人的相似性：

　　(1)在网络应用尚未大规模普及、网络安全还未成为突出问题的时候，市场上还没有培育出成熟的安全工具和产品，安全检测分析主要依赖于安全管理人员的经验。目前仍然广泛采用的渗透测试、安全咨询服务等，仍然是以这种模式运行的。

　　(2)随着安全问题的日益普遍，单凭安全管理人员的经验已经无法应对，迫切需要自动化的检测分析工具，由此产生了入侵检测系统、防病毒系统和防火墙等安全产品。这些安全产品的共同点就是对网络攻击行为进行分析，提取不同层面的特征（如网络层连接特征用于防火墙制定ACL规则；应用层内容特征用于提取IDS的匹配规则；文件级特征用于病毒扫描），对网络流量进行实时自动化分析。这类安全产品的关键是对攻击特征的提取和描述，其本质是对攻击行为的建模。

　　(3)随着APT的出现，攻击变得越来越复杂、特征变化越来越快，以攻击行为建模为基础的检测方式渐渐难以应对，从而出现了以虚拟执行技术为代表的新型检测。这种技术的本质是模拟被攻击者在遭受攻击后的反应，这样无需对攻击行为建模也能检测未知的攻击。

　　(4)大数据技术的出现，将安全检测分析提升到了新的阶段。有了大数据平台的支撑，安全分析人员可以将各类不同类型的检测数据，如通过渗透测试得到的漏洞信息、通过传统检测设备产生的报警事件、通过虚拟执行得到的可疑攻击执行结果，进行大范围的汇总和关联。同时，通过长时间的关联，安全分析人员可挖掘某台主机、某个用户的行为异常，从而实现不基于签名的未知攻击检测。对于每一条可疑报警，分析人员可以查询与该报警相关的各类数据，从而确定报警真实性、攻击源，评估攻击造成的危害。

　　从上述分析中可以看到，安全检测分析方法的发展历程，与詹姆士?格雷概括的科学研究范式间存在着一一对应的关系。本文所述的全范式检测框架，是以大数据平台为基础，综合采用包括渗透测试、特征匹配、虚拟执行、异常检测等技术在内的各类检测范式，实现从发现可疑点，到确认攻击行为，再到攻击溯源和攻击后果评估的完整检测分析过程。

3.分档安全策略与全范式检测框架

　　在讨论完检测技术后，我们再来看一下检测对象。目前主流的检测产品中，所针对的检测对象都是数据包（Packet）内容。例如对于IDS系统，需要从数据包中还原出应用数据后进行特征匹配；对于虚拟执行设备，需要从数据包中还原出具体的对象（文件或URL）并进行加载。那么除了数据包外，是否还存在其他尚待分析的检测对象呢？从更加抽象和更加具体两方面出发，还存在以下两类对象：

　　(1)网络流（Flow）：网络流是对数据包的抽象描述，它不关注一次网络连接的有效载荷，只关注网络连接的概要描述信息，如源地址、目的地址、源端口、目标端口、上行流量、下行流量、标志位等。传统的Netflow就是网络流的典型代表。

　　(2)应用（Application）：应用是数据包更具体的表现，它不仅关注网络连接的具体载荷，还需要按照连接所承载的应用类型对载荷进行细粒度解析。例如对于HTTP应用，需要解析出主机名、URI、Referer、请求方法、状态码、文件长度、MIME类型等，传统的应用审计就是基于这类对象实现的。

　　由于不同类型对象的结构、所包含的信息量存在较大的差异，所适用的检测技术也是不一样的。对网络流而言，其本身不包含有效负载信息，无法进行特征匹配检测，但流信息本身是高度结构化的统计数据，特别适合进行统计分析，因此可采用对象建模的方法进行异常检测。对于数据包而言，目前特征匹配的方法已经应用的非常广泛了，还出现了以虚拟执行为代表的新型检测方式。对于应用而言，其最大的特点是包含了上层业务信息，可实现结合业务规则的违规业务行为检测，例如对于数据库访问业务，可限制用户读取的表、字段，以及返回的记录条数。

　　除了检测技术的不同，这三类对象在处理开销、分析结果精度上面也存在较大差异。一般而言，对于同样的带宽，处理流的计算开销最小，处理应用的开销最大。但从检测准确度来看，对流的处理只能采用异常检测的方法，其漏报率和误报率都较高；对包的处理需要进行特征匹配，或提取出文件进行虚拟执行，在不考虑环境因素的条件下误报率较低；对应用数据的处理需要解析到具体的应用层协议内容，一旦匹配误报的概率最低，因此检测的准确度也最高。表1比较了这三类对象之间的差别。

表1 不同检测对象间的差异

　　本文把针对网络流、数据包和应用这三类对象的不同安全检测方案，称为分档安全策略。需要说明的是，基于不同对象的检测方案之间是互补的关系，而非竞争关系。基于流的检测虽然准确度不如另外两类检测方案高，但异常检测技术的采用却有可能实现对未知攻击的检测；基于应用的检测虽然成本高，却最有可能发现那些表面看似正常的违规操作，例如攻击者通过身份伪造访问业务系统。在实际环境中需要综合使用各类检测对象和检测方案，一个大的原则是用成本低的方案过滤大部分低级别攻击，而将开销大的方案用于少量高级别攻击的检测。

　　将检测技术和检测对象结合，我们可以得到全范式检测框架，如表2所示：

表2 全范式检测框架

　　网络流数据包应用

　　第四范式 数据密集型计算基于网络流的可疑网络连接检测基于数据包的取证和攻击溯源异常业务模式检测与挖掘

　　第三范式 模拟、仿真虚拟执行、 模拟仿真模拟业务访问

　　第二范式 模型、特征异常流量检测特征匹配、 敏感内容检测应用审计

　　第一范式 尝试、实验流量牵引和分析渗透测试、 事件响应分析源代码审计、 业务架构分析

4.全范式检测框架应用场景

　　全范式检测框架改变了当前以实时检测、实时阻断为主的防御机制，组成了全方位纵深防御体系。由于有了更丰富的检测方法和检测对象，安全分析人员不仅可以识别已知攻击，还能够通过异常检测发现未知攻击；不仅能够对一次攻击行为触发的各类报警事件进行关联分析，还能够进行攻击场景溯源和取证分析；这些仅凭单一的检测技术和检测对象是无法实现的。

　　下面以APT攻击检测为例，说明全范式框架的应用场景。典型的APT攻击可分为6个阶段，如图2所示。全范式检测在各个阶段中所发挥的作用如下：

图2 基于全范式框架的APT检测

　　(1)情报收集：如果攻击者采用通用的扫描工具进行漏洞发现，可基于特征匹配的方法进行检测；反之如果攻击者采用慢扫描等方式隐蔽其目的，可基于长时间的网络流进行异常流量检测，识别可疑网络扫描行为。

　　(2)获取入口：如果采用Nday的漏洞进行渗透，可用基于特征匹配的入侵检测设备进行检测；如果采用的是0day的漏洞，可采用基于虚拟执行的方式检测未知恶意代码。

　　(3)远程控制：如果采用的是已知木马后门程序，可基于特征匹配的方法进行C&C通道检测；如果采用未知的特种木马，可利用网络流基于木马C&C通道特征进行可疑连接检测。

　　(4)横向转移：如果攻击者猜测其它主机账号口令，会存在异常访问行为，可基于登录失败报警进行检测；如果通过跳板主机上已存储的账号口令直接访问业务系统，那么其业务操作与正常用户也会存在较大差异，可通过异常业务模式挖掘的方式进行检测；此外还可以通过设置蜜罐的方式对被保护的业务系统进行模拟仿真，吸引攻击者的注意，将其引入蜜罐后对后续入侵行为进行持续跟踪。

　　(5)发现目标：对于攻击者在目标主机上的攻击行为，如安装木马后门、遍历文件系统、数据打包等，可基于终端异常行为检测的模式进行识别；

　　(6)数据外传：如果攻击者未对传输的数据进行加密或编码，可基于数据包进行敏感内容检测；反之可基于传输通道的特征，例如是否存在可疑加密行为、是否进行了隧道封装、协议格式是否合规等，基于网络流进行可疑连接检测。

　　从上述分析可以看到，虽然APT攻击具备很强的隐蔽性，难以进行实时检测，但由于其整个攻击链环节众多、持续周期长，在每个步骤上都会有一些蛛丝马迹可供挖掘。如果检测人员基于全范式检测框架，采用特征检测和异常检测相结合的方式，对网络流、数据包和业务系统的访问信息进行全方面的审查，形成检测的闭环，并通过大数据平台对可疑行为进行上下文关联和取证溯源，是有可能实现APT攻击行为检测的。

5.总结

　　全范式检测框架的出现，在深度和广度两个层面上深刻影响了传统检测产品。从深度上看，以虚拟执行、模拟仿真、异常检测为代表的新型检测范式的出现，弥补了单一特征匹配的不足；从广度上看，网络流和应用这两类检测对象的引入，使得检测的覆盖面更为广泛。这些改进提升了传统检测产品的检测能力、分析能力和溯源能力，使得对抗APT攻击成为可能。

　　在实际网络环境中，要想充分发挥全范式检测的能力，形成检测的闭环，实现整合优势，需要关注不同检测方案间的联动和不同类型数据间的关联。这方面还有一系列技术有待优化，例如虚拟执行环境自动配置、虚拟资源调度、可疑行为建模分析、异构数据存储、异构报警关联等。相信随着技术的进一步完善，全范式检测框架将在APT对抗中发挥更为积极的作用。