一篇报告了解国内首个针对加密流量的检测引擎

全球互联网走向全面加密时代已经是大势所趋。但在加密访问可保障通讯安全的情况下，绝大多数网络设备对网络攻击、恶意软件等加密流量却无能为力。攻击者利用SSL加密通道完成恶意软件载荷和漏洞利用的投递和分发，以及受感染主机与命令和控制(C&C)服务器之间的通信。
Gartner预测：2019年，超过80%的企业网络流量将被加密，届时加密的流量中将隐藏超过一半以上的网络恶意软件。面对这一严峻形势，世界一流的安全厂商如思科、Redware，以及一些安全初创公司，纷纷开始研究针对加密流量的安全检测与防护手段，并先后发布了相应产品。但在国内，这一新型检测技术尚属稀缺。
近日，国内安全初创公司观成科技宣布，正式发布有效针对恶意加密流量的AI检测引擎。安全牛分析师第一时间与观成科技的研究人员沟通，并将其提供的技术资料整理如下：

一、 使用加密流量的恶意用途分析

通过对大量恶意加密流量的分析，加密通信中的恶意流量一般包括如下三大类：

1. 恶意代码使用加密通信

这一类主要是指恶意代码、恶意软件为逃避安全产品和人的检测，使用加密通信来伪装或隐藏明文流量特征。从对大量恶意软件监测分析的情况来看，使用加密协议进行通信的恶意软件几乎覆盖了所有类型，如：

  1. 特洛伊木马
  2. 勒索软件
  3. 感染式病毒
  4. 蠕虫病毒
  5. 下载器
  6. 其它

观成 - 国内首个针对加密流量的检测引擎 - 图1
通过对数以万计的使用加密通信的恶意样本深度分析发现，恶意样本在流量侧具备以下几个特点：

  1. 使用端口不固定，包括：443、446、447、448、449、465、843、990、8443等
  2. 加密协议使用广泛，以SSL为例，包括：SSLv2、SSLv3、TLSv1.0、TLSv1.1、TLSv1.2
  3. 大量恶意样本经常变换回连IP和域名
  4. 部分样本使用加密协议连接白站探测网络环境或利用白站中转通信
  5. 部分样本使用域前置等技术规避安全检测

下面针对几类典型恶意行为进行简单阐述：

  1. 频繁更换回联域名/IP

很多恶意家族样本为逃避检测，频繁更换回联域名和IP，并使用加密通信。如IcedID家族，在2018年7月至9月所使用的域名如下：
观成 - 国内首个针对加密流量的检测引擎 - 图2
与C&C连接采用SSL加密通信截图如下:
观成 - 国内首个针对加密流量的检测引擎 - 图3观成 - 国内首个针对加密流量的检测引擎 - 图4

  1. 利用白站进行中转通信

部分恶意样本，利用白站（如Google云、Amazon云等）进行中转通信，从下发恶意程序到更新回连地址均使用白站，从而达到规避检测、隐蔽通信的目的。
观成 - 国内首个针对加密流量的检测引擎 - 图5

  1. 使用“域前置”技术

域前置（Domain fronting），又译为域名幌子，是一种隐藏连接真实端点来规避互联网审查的技术。在应用层上运作时，域前置使用户能通过HTTPS连接到被屏蔽的服务，而表面上像在与另一个完全不同的站点通信。
如某恶意样本利用“域前置”技术，在DNS请求时向“allowed.cloudfront[.]net”发起一个合法请求，而真正连接C&C地址被转发到为“forbidden.cloudfront[.]net”，如图所示：
观成 - 国内首个针对加密流量的检测引擎 - 图6

2. 加密通道中的恶意攻击行为

加密通道中的恶意攻击行为，主要是指攻击者利用已建立好的加密通道发起攻击。攻击行为包括：

  1. 扫描探测
  2. 暴力破解
  3. 信息窃密
  4. CC攻击
  5. 其它

隐藏在加密通道后的攻击行为很难通过传统的方式进行检测，但攻击流量在IP、端口分布、TLS指纹、数据包间隔、数据包长度等方面还是有着明显特征的，下面是几类基于SSL通道的攻击流量。
基于SSL通道暴力破解攻击通信如下图所示：
观成 - 国内首个针对加密流量的检测引擎 - 图7
基于SSL通道Web扫描攻击通信如下图所示：
观成 - 国内首个针对加密流量的检测引擎 - 图8
基于SSL通道窃密行为如下图所示：
观成 - 国内首个针对加密流量的检测引擎 - 图9
基于SSL通道CC攻击通信如下图所示：
观成 - 国内首个针对加密流量的检测引擎 - 图10

3. 恶意或非法加密应用

该类是指使用加密通信的一些恶意、非法应用，如：

  1. Tor
  2. 翻墙软件
  3. 非法VPN

  4. 其它

    二、人工智能与恶意加密流量的对抗

    密码应用帮助大量用户保护其核心信息的存储及传输，但它同时也是一把双刃剑，正是因为难破解、难监测，密码技术也受到攻击者的青睐。攻击者同样可以用密码技术来保护自己的“核心信息”，隐藏自己的“行踪”。
    攻击者利用密码的方式，可以概括为以下四类：

  5. 加密正常文件，勒索钱财

  6. 加密恶意代码，绕过查杀
  7. 加密网络流量，逃避检测
  8. 嗅探破解密码，获取权限

当前，流量安全检测技术在应对恶意加密流量时面临严峻挑战。网络安全伴随攻防双方的博弈而诞生和发展。在这场博弈中，防守方处于劣势的被动状态。在识别、防护、检测、响应、恢复整个网络安全事件生命周期中，防守方通过攻击方在流量侧或终端侧留下的蛛丝马迹完成事件的发现尤为关键。因此攻击数据分析在网络安全工作中占据核心地位。
如前所述，传统流量安全检测技术在处理加密流量时遇到了困难，一直没有比较好的检测方法。随着人工智能技术的发展，通过大量的测试验证，人工智能用于加密流量安全检测，将是一种非常好的辅助手段。利用专家经验知识对大量加密流量进行统计、分析，通过人工智能算法赋予机器以专家的智慧。虽然机器不能完全取代人，但是经过训练，在自动化检出率、准确率、漏报率等方面，机器可以获得媲美专家的能力。

三、加密流量安全检测技术（ENS:Encrypted Network-threaten Sensor）剖析

通过对大量使用加密通信的恶意样本、各类加密通道的攻击行为、多种恶意或非法应用进行深度分析、数据观测，对多种检测手段进行探索、测试和验证，总结出了一套针对加密流量行之有效的安全检测方法，技术流程图如下：
观成 - 国内首个针对加密流量的检测引擎 - 图11
整个检测流程共分6个步骤：

1. 数据实时搜集

为保证检测引擎的准确性和时效性，数据搜集的准确度、覆盖面是关键。数据搜集包括：

3个来源途径

  1. 实际网络环境
  2. 模拟测试数据

  3. 跟踪最新样本和最新攻击方式

    搜集数据

  4. 使用加密通信的恶意样本，超过200个家族，覆盖各类恶意行为、SSL版本和加密算法；

  5. 可在加密通道发起攻击行为的各类攻击软件、以及实际环境的数据，攻击类型包括：扫描探测、暴力破解、CC攻击等；

  6. 各类恶意应用软件及实际环境数据，包括：Tor、自由门、无界浏览等。

    2. 数据分析与处理

    为确保数据集完整和无杂质，观成科技的分析团队对搜集的所有数据进行了深度分析和整理，确保后期输出给AI模型训练的数据质量。
    分析任务包括：深度分析恶意样本的功能、加密机制、通联方式、危害等；分析攻击和恶意软件的攻击类型、数据格式、加密方式等。
    数据处理包括两个步骤，一是通过沙箱、虚拟机获取样本通信数据，二是将数据进行格式化处理。（🤔🤔🤔）

    3. 数据分类

    恶意加密流量是一个宽泛的概念，里面包括的恶意行为成百上千种，每一类数据特征均有细微的差别，想要获取更高的准确率，就必须先弄清每一类加密流量的背景及特性。通过对海量恶意加密流量的分析，可以把它们分为三大类：

  7. 恶意代码使用加密通信的流量，其中包括超过200种家族

    1. 恶意代码类型包括：
      1. 特洛伊木马、勒索软件、感染式病毒、蠕虫病毒、下载器、其它；
    2. 其加密通联方式又包括六类：
      1. 连接C&C服务器
      2. 检测主机联网环境
      3. 母体程序正常通信
      4. 白站隐蔽中转
      5. 蠕虫传播通信
      6. 其它
  8. 加密通道中的恶意攻击流量，攻击类型包括：
    1. 探测扫描
    2. 暴力破解
    3. 信息窃取
    4. CC攻击
    5. 其它

  9. 恶意或非法加密应用的通信流量，应用包括：

    1. Tor
    2. 翻墙软件
    3. 非法VPN等

      4. 构建特征工程

      特征工程在机器学习中占有非常重要的作用，一般认为包括特征构建、特征提取、特征选择三个部分。为保证后期检测引擎准确率足够高，特征工程是关键，所以需要在特征工程上花费大量精力。
      构建、提取、选择特征工程的方法包括四步：先验知识验证、启发式搜索分析、降维可视化分析、综合工程测试。
      观成科技把加密流量的特征共分为四大类：时空特征、握手特征、背景特征、证书特征；在这四大类的基础上，又分为54个子类、超过1000种特征。这些特征足够细粒度地描述每一次加密会话，体现不同类加密流量中最细微的差别。
      构建特征工程阶段，同时进行深度特征抽取，通过CNN、RNN算法对部分特征进行训练，如下图为通过RNN训练得出的SSL证书信息正常度量化结果，从训练结果可看出特征区分非常明显。
      观成 - 国内首个针对加密流量的检测引擎 - 图12

      5. 检测模型训练

      模型训练使用的算法包括线性回归（LinReg）、随机森林（RandomForest）、决策树（DecTree）、神经网络（MLP）、支持向量机（SVM）、逻辑回归（LogReg）、卷积神经网络（CNN）。考虑到工程化的稳定性和成熟度，根据训练和测试结果，在不同的应用场景分别采用了不同的机器学习算法，横向比较中，随机森林的综合效果相对较好。
      通过初步训练，各类算法得到的正确率都高于99%。如图所示：
      观成 - 国内首个针对加密流量的检测引擎 - 图13

      6. 模型迭代与优化

      模型初步训练完成之后，接下来就是对模型进行不断优化，优化的方法包括对选定的模型进一步参数调优、验证和测试，实际网络流量数据测试与迭代训练。最终针对各类型的加密流量，根据实际测试结果，选用效果最佳的算法及参数，保证准确率。

      四、成果与展望

      经过大量数据验证和实际网络测试，目前在加密流量安全检测的检出率可达到99.95%，误报率可控制在5%以下；支持检测的网络协议包括SSL（HTTPS、POP3S、IMAPS、FTPS）、SSH、RDP等；支持检测的SSL版本包括SSLv2、SSLv3、TLSv1.0、TLSv1.1、TLSv1.2；支持检测的恶意加密流量包括：超过200种家族恶意代码通信（特洛伊木马、勒索软件、感染式病毒、蠕虫病毒、下载器等），加密通道中的扫描探测、暴力破解和CC攻击等，Tor（暗网）、翻墙软件、非法VPN等应用的通信。加密流量安全检测将是未来安全检测最重要的趋势之一，可应用的场景总结有三部分：
      一是监管单位对所监管网络中恶意加密威胁的检测；二是政企客户对网络中恶意加密威胁的检测与防御；三是对现有安全产品、安全平台进行能力补充。
      现在及将来，基于密码技术的攻击行为、攻击手法将层出不穷；基于加密流量的检测与防御也是网络空间安全博弈、对抗的核心焦点，是安全领域的一个长期研究课题。观成科技希望以此技术报告来呼吁用户和广大安全从业者重视加密流量的安全检测与防御，共同学习、探讨，营造良性网络生态。

      预告

      观成科技四月中旬将在安全牛课堂举办公开课《加密威胁事件检测与响应实战》，为网络安全爱好者分享相关技术知识与经验，具体开课日期敬请关注“安全牛”公众号的通知。公开课内容大纲见下：

      阶段一：原理篇

  10. 恶意程序的通信方式

  11. 从逆向的角度看恶意程序通信

    阶段二：进阶篇

  12. 蠕虫类安全事件的检测与响应实战

  13. 木马类安全事件的检测与响应实战
  14. 加密通信类恶意程序检测与响应实战

  15. 加密通道下的攻击行为检测与响应实战

    阶段三：高级篇

  16. 中转隐蔽加密类安全事件检测与响应实战

  17. 域前置加密类安全事件检测与响应实战
  18. 加密通信APT事件1检测与响应实战
  19. 加密通信APT事件2检测与响应实战