简介

TestNG是一个旨在简化各种测试需求的测试框架，从单元测试（将一个类与其他类隔离进行测试）到集成测试（对由多个类，几个程序包甚至几个外部框架组成的整个系统进行测试），例如应用程序服务器）。

编写测试通常分为三个步骤：
编写测试的业务逻辑，然后在代码中插入TestNG注解。
在testng.xml文件或build.xml中添加有关测试的信息（例如，类名，希望运行的组等）。
运行TestNG。

您可以在“欢迎”页面上找到一个简单的示例。本文档中使用的概念如下：
suite：suite集合由一个XML文件表示。它可以包含一个或多个tests集合，并由标签定义。
test：test集合由标签表示，并且可以包含一个或多个TestNG类。
TestNG class：TestNG类相当于一个Java类，其中包含至少一个TestNG注解。它由标签表示，可以包含一个或多个测试方法。
Test method：测试方法，是在源代码中由@Test注解的Java方法。

可以通过@BeforeXXX和@AfterXXX注解配置TestNG测试，该注解允许在特定点之前和之后执行一些相同的Java逻辑，这些点是上面列出的几个项之一。本手册的其余部分将说明以下内容：
所有注解的列表，并附有简要说明。
testng.xml文件的描述，其语法以及可以在其中指定的内容。
各种功能的详细列表，以及如何通过注解和testng.xml的结合来使用它们。

Maven

<dependency>
  <groupId>org.testng</groupId>
  <artifactId>testng</artifactId>
  <version>6.8</version>
  <scope>test</scope>
</dependency>

通过mvn执行测试集
添加maven插件

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>3.0.0-M7</version>
  <configuration>
    <suiteXmlFiles>
      <suiteXmlFile>src/test/resources/run.xml</suiteXmlFile>
    </suiteXmlFiles>
  </configuration>
</plugin>

执行命令

mvn clean test -D surefire.suiteXmlFiles=run.xml

报以下错误，因为testNg版本太高，需要把jdk升级到11 55.0 -> jdk11 52.0 -> jdk8

注解

testng.xml

可以通过几种不同的方式调用TestNG：
使用testng.xml文件
使用ant
通过命令行

本节描述了testng.xml的格式。当前testng.xml的DTD可以在主网站上找到： testng-1.0.dtd （为方便起见，您可能更喜欢浏览 HTML版本）。

<!DOCTYPE suite SYSTEM "https://testng.org/testng-1.0.dtd" >

<!-- 配置suite集合名称 -->
<suite name="Suite1" verbose="1" >
  <!-- 配置test集合名称 -->
  <test name="Nopackage" >
    <!-- 配置要执行的测试类的名称 -->
    <classes>
      <class name="NoPackageTest" />
    </classes>
  </test>

  <!-- 配置test集合名称 -->
  <test name="Regression1">
    <classes>
      <!-- 配置要执行的测试类名称，可以配置多个测试类 -->
      <class name="test.sample.ParameterSample"/>
      <class name="test.sample.ParameterTest"/>
    </classes>
  </test>
</suite>

也可以指定要运行的包名称：

<!DOCTYPE suite SYSTEM "https://testng.org/testng-1.0.dtd" >

<suite name="Suite1" verbose="1" >
  <test name="Regression1">
    <!-- 配置要执行的包的名称，将运行这个包下面的所有测试类 -->
    <packages>
      <package name="test.sample"/>
    </packages>
  </test>
</suite>

在此示例中，TestNG将查找test.sample包中具有TestNG注解的所有类。

还可以指定要包括和排除的测试组和方法：

<test name="Regression1">
  <!-- 配置要执行的组的名称 -->
  <groups>
    <run>
      <!-- 不执行所属brokenTests组的类或方法 -->
      <exclude name="brokenTests"  />
      <!-- 执行所属checkinTests组的类或方法 -->
      <include name="checkinTests"  />
    </run>
  </groups>

  <classes>
    <!-- 配置要执行的类的名称 -->
    <class name="test.IndividualMethodsTest">
      <!-- 执行方法名称为testMethod的测试方法 -->
      <methods>
        <include name="testMethod" />
      </methods>
    </class>
  </classes>
</test>

还可以在testng.xml内定义新的组，并在属性中指定其他详细信息，例如是否并发运行测试，使用多少线程，是否运行JUnit测试等。
默认情况下，TestNG将按照在XML文件中找到的顺序运行测试。如果要以不可预测的顺序运行此文件中列出的类和方法，请将preserve-order属性设置为false

<test name="Regression1" preserve-order="false">
  <classes>

    <class name="test.Test1">
      <methods>
        <include name="m1" />
        <include name="m2" />
      </methods>
    </class>

    <class name="test.Test2" />

  </classes>
</test>

TestNG.xml DTD

DTD介绍：文档类型定义（DTD）

<!--

这是此DTD主要部分的快速概述。更多信息，请查阅testng主页http://testng.org

suite 标签是由 tests 标签和 parameters 标签组成的。

test 标签是由三部分组成：
1、parameters 会覆盖 suite 标签中的 parameters；
2、groups 由2部分组成：
    2.1、Definitions，允许你将 groups 添加到更大的 groups 中
    2.2、Runs，定义了此 test集合 要运行的方法必须属于这个组
3.classes 定义了此test集合运行时包含的类。

-->


<!-- 标签是一个testng.xml文件中最高级的元素 -->
<!ELEMENT suite (listeners|packages|test|parameter|method-selectors|suite-files)* >(注释：声明suite元素，元素可出现0或多次)

<!-- 属性: -->
<!--
@attr  name        此suite集合的名称 (此名称将会出现在报告中)
@attr  junit       是否以 JUnit 模式运行。
@attr  verbose     控制台输出的完整程度。这个设置对于HTML报告没有影响。
@attr  parallel    TestNG将使用什么方式来并发运行测试（可能会减少运行时间）。
@attr  configfailurepolicy   在Before/After Class/Methods失败之后继续进行尝试或
                             者是跳过
@attr  thread-count   一个整型，如果你设置了并发，使用这个值来确定使用的线程池的大小。
@attr  annotations    如果是"javadoc", TestNG将会在你的资源中查找JavaDoc注解，
                      否则使用JDK5的注解。
@attr  time-out   在method（如果parallel="methods"）或test（如果parallel="te
                  sts"）结束前等待的毫秒数。
@attr  skipfailedinvocationcounts     是否跳过失败的调用。
@attr  data-provider-thread-count     一个整型，确定用于data providers并发的线程
                                      池大小。
@attr  object-factory     一个类，实现了IObjectFactory类，将用于实例化test对象。
-->

<!ATTLIST suite 
name CDATA #REQUIRED    （注释：#REQUIRED表示必填）
junit (true | false) "false"（注释：枚举值，可选：true|false，默认值"false"）
verbose CDATA #IMPLIED    （注释：#IMPLIED表示非必填）
parallel (false | methods | tests | classes) "false"
configfailurepolicy (skip | continue) "skip"
thread-count CDATA "5"
annotations CDATA #IMPLIED
time-out CDATA #IMPLIED
skipfailedinvocationCounts (true | false) "false"
data-provider-thread-count CDATA "10"
object-factory CDATA #IMPLIED
>


<!-- XML文件列表，包含了更多suite集合的说明 -->
<!ELEMENT suite-files (suite-file)* >

<!ELEMENT suite-file ANY > （注释：元素suite-file可以是任何内容）
<!ATTLIST suite-file
path CDATA #REQUIRED
>


<!--
Parameters可以在<suite>或者<test>级别定义，在<test>中定义的参数将覆盖<suite>中定义的同名参数

Parameters用于将Java方法参数链接到此处定义的实际值。
-->
<!ELEMENT parameter ANY>
<!ATTLIST parameter
name CDATA #REQUIRED
value CDATA #REQUIRED >


<!--
方法选择器定义用于选择要运行的方法的用户类。这些类需要实现org.testng.IMethodSelector接口。
-->
<!ELEMENT method-selectors (method-selector*) >

<!ELEMENT method-selector ((selector-class)*|script) >
<!ELEMENT selector-class ANY>
<!ATTLIST selector-class
name CDATA #REQUIRED
priority CDATA #IMPLIED
>
<!ELEMENT script ANY>
<!ATTLIST script
language CDATA #REQUIRED
>


<!--
一个test集合包含parameters和classes。此外，你可以定义额外的组（"groups的groups"） 
-->
<!ELEMENT test (method-selectors?,parameter*,groups?,packages?,classes?) >
（注释：子元素使用逗号（“，”）隔开，表示子元素需要按照相同的顺序出现在文档中）
<!--
@attr  name         此test的名称 (此名称将会出现在报告中)
@attr  junit        是否以 JUnit 模式运行。
@attr  verbose      控制台输出的完整程度。这个设置对于HTML报告没有影响。
                    默认值:suite中定义的verbose级别。
@attr  parallel     TestNG将使用什么方式来并发运行测试（可能会减少运行时间）。
@attr  thread-count 一个整型，如果使用并发模式以此确定使用的线程池大小。
                    覆盖suite中设置的值。
@attr  annotations  如果是"javadoc", TestNG将会在你的资源中查找JavaDoc注解，
                    否则使用JDK5的注解。
@attr  time-out     在method（如果parallel="methods"）或test（如果parallel=
                    "tests"）结束前等待的毫秒数。
@attr  enabled      当前test的启用/禁用标志。默认值是：true。
@attr  skipfailedinvocationCounts     是否跳过失败的调用.
-->
<!ATTLIST test
name CDATA #REQUIRED 
junit (true | false) "false"
verbose  CDATA #IMPLIED
parallel  CDATA #IMPLIED
thread-count CDATA #IMPLIED
annotations  CDATA #IMPLIED
time-out CDATA #IMPLIED
enabled CDATA #IMPLIED
skipfailedinvocationCounts (true | false) "false"
>


<!--
定义额外的组（"groups的groups"）并且指定此test集合运行时应包含哪些组。
-->
<!ELEMENT groups (define*,run?) >

<!ELEMENT define (include*)>

<!ATTLIST define 
name CDATA #REQUIRED>
<!-- 定义要包括在当前组中的组  -->
<!ELEMENT include ANY>
<!ATTLIST include
name CDATA #REQUIRED>
<!-- 定义要从当前组中排除的组  -->
<!ELEMENT exclude ANY>
<!ATTLIST exclude
name CDATA #REQUIRED>

<!-- 组的子标签，用于定义要运行的组  -->
<!ELEMENT run (include?,exclude?)* >

<!-- 此test中包含的类列表  -->
<!ELEMENT classes (class*) >
<!ELEMENT class (methods*) >
<!ATTLIST class
name CDATA #REQUIRED >

<!-- 此test中包含的包列表  -->
<!ELEMENT packages (package*) >
<!-- 包的说明。如果包名称以.* 结尾，则还将包含子程序包  -->
<!ELEMENT package (include?,exclude?)*>
<!ATTLIST package
name CDATA #REQUIRED >

<!-- 此测试包括/排除的方法列表 -->
<!ELEMENT methods (include?,exclude?)* >

<!-- 将传递给TestNG的监听器列表 -->
<!ELEMENT listeners (listener*) >

<!ELEMENT listener ANY>
<!ATTLIST listener
    class-name CDATA #REQUIRED >

运行TestNG

可以通过不同的方式调用TestNG：
命令行
Ant
Eclipse
IntelliJ’s IDEA

假设类路径中有TestNG，则调用TestNG的最简单方法如下： :::danger TODO 实际会报错找不到类 org.testng.TestNG，因为是通过maven导入的包，所以类路径下估计找不到 :::

java org.testng.TestNG testng1.xml [testng2.xml testng3.xml ...]

需要至少指定一个XML文件来描述要运行的TestNG suite。此外，可以使用以下命令行选项：
可以通过不带任何参数的TestNG调用来获取此文档

还可以将命令行参数放在文本文件中，例如c：\ command.txt，并告诉TestNG使用该文件来检索其参数：

此外，可以在Java虚拟机的命令行上传递TestNG属性，例如

这是TestNG可以理解的属性：

例子：

ant任务和testng.xml可以使用更多的参数来启动TestNG（包含的方法，包括指定参数，等…），所以只有当你了解TestNG或者想快速运行测试时才使用命令行。
重要提示：如果在testng.xml文件中指定了要运行的测试，则忽略命令行指定的那些测试，除了-includedgroups和-excludedgroups，它将覆盖所有testng.xml中发现的要包含/排除的组。

测试方法，测试类和测试组

测试方法

测试方法用@Test注解。除非在testng.xml中将allow-return-values设置为true，否则将忽略@Test注解方法的返回值：

测试组

TestNG允许对测试方法进行复杂的分组。不仅可以声明方法属于组，还可以指定组里面包含其他的组。然后可以指定包含特定组的集合（或正则表达式），来调用TestNG。如果想连续的运行2个不同的测试集合，这将提供最大的灵活性来划分测试方式，且不需要重新编译任何内容。

例如，至少有两类测试是很普遍的
冒烟测试。在提交新代码之前，应先运行这些测试。它们通常跑的很快，并且只需确保没有破坏任何基本功能即可。
功能测试。这些测试应涵盖软件的所有功能，并且每天至少要运行一次，尽管理想情况下，希望连续运行它们。
通常，冒烟测试是功能测试的子集。TestNG允许通过测试组以非常直观的方式进行指定。

例如，可以通过指定所有的测试类都应属于“ functest”组来构造测试，另外，还有几个方法属于“ checkintest”组：

TestNG.xml

将运行Test1类中的所有测试方法，如果使用“checkintest”组调用，将仅运行testMethod1（）和testMethod2（）。

这是另一个示例，这次使用正则表达式。假设某些测试方法不应在Linux上运行，则测试方法应如下所示：

可以使用以下testng.xml仅启动Windows方法：

注意：TestNG使用正则表达式，而不使用wildmats。注意区别（例如，“ anything”由“.”（点星号）而不是“ ”匹配）。

方法组

还可以排除或包括单个方法：

这可以方便地停用单个方法而无需重新编译任何东西，但是不建议过多使用此方式，因为如果开始重构Java代码，该测试框架很可能会被破坏（标签可能不再与方法匹配）。

小组分组

组也可以包括其他组。这些组称为“ MetaGroups”。例如，可能想定义一个包括“ checkintest”和“ functest”的“ all”组。“ functest”本身将包含“ windows”和“ linux”组，而“ checkintest将仅包含” windows”。这是在xml文件中定义的方式：

排除组

TestNG允许运行时包括或不包括组。
例如，由于最近的更改而使测试暂时中断，但是还没有时间对中断进行修复。但是需要其余功能测试能继续运行，因此需要停用这些出现问题的测试用例。（但是要记得将修复后的用例重新激活）
解决这个问题的一种简单方法是创建一个名为“broken”的组，并将这些有问题的测试方法标记属于这个组。例如，在上面的示例中，testMethod2() 现在出现问题，因此想禁用它：

现在要做的就是从运行的test集合中排除该组：

这样，将进行继续运行其余用例的测试，同时跟踪哪些测试出现问题并且后续进行修复。
注意：也可以通过使用@Test和@ Before / After注解的“ enabled”是否可用属性来禁用测试方法。

部分组

在此类中，method2（）是“ checkin-test”组的一部分，该组在类级别定义，而method1（）既属于“ checkin-test”组又属于“ func-test”组。

参数

测试方法不必是无参数的。可以在每个测试方法上使用任意数量的参数，并通过使用TestNG的@Parameters注解传递正确的参数。
设置这些参数的方法有两种：使用testng.xml或以代码方式设置。

来自testng.xml的参数

如果参数是简单的值，可以在testng.xml中指定：

在此代码中，指定testSingleString()方法的参数firstName接收名为first-name的XML参数的值。 此XML参数在testng.xml中通过定义：

同样适用于@ Before / After和@Factory注解：

这次，两个Java参数ds和driver将分别取属性datasource和jdbc-driver赋予的值。

可以使用Optional注解将参数声明为可选：

如果在testng.xml文件中找不到名为“ db”的参数，则测试方法将使用@Optional注解里指定的默认值：“ mysql”。
@Parameters 注解可以被放置在下列位置：
在任何已经具有@Test，@ Before / After或@Factory注解的方法上。
在测试类的最多一个构造函数上。在这种情况下，每当需要实例化测试类时，TestNG就会使用testng.xml中指定的参数的值来调用特定的构造函数。此功能可用于将类中的字段初始化为供测试方法使用的值。
XML参数将以它们在注解中发现的顺序映射到Java参数上，如果参数的数量不匹配，TestNG会报错。
参数是有作用域的。在testng.xml中，可以在或者标签下声明参数。如果两个参数具有相同的名称，则以中定义的优先。如果需要指定一个适用于所有测试的参数，并且仅对某些测试覆盖，这将非常方便。

数据驱动的参数

在testng.xml中指定参数可能不能够传递复杂的参数或需要由Java创建的参数（复杂对象，从属性文件或数据库读取的对象等）。在这种情况下，可以使用数据驱动来提供测试需要的值。数据驱动是类里的一种方法，它返回一个对象数组的数组。这个方法使用@DataProvider注解：

上面的程序将打印

@Test 方法通过dataProvider属性指定了使用的数据驱动方法。名称必须与同个类底下使用@DataProvider（name =“ …”）注解的方法一致。
默认情况下，会在当前测试类或它的父类中查找数据驱动方法。如果要将数据提供程序放在不同的类中，则必须是静态方法或是无参数构造函数的类，并在dataProviderClass属性中指定可被找到的类路径：

数据驱动也支持注入。TestNG将使用测试上下文进行注入。数据驱动方法可以返回以下类型之一：
对象数组的数组（Object [] []），第一维的数组是调用测试方法的次数，第二维的数组包含必须与测试方法的参数类型兼容的对象数组。上面的示例说明了这种情况。
Iterator。与Object [] []的唯一区别是，迭代器可以延迟创建测试数据。TestNG调用迭代器，然后迭代器依次返回测试方法的参数。如果有很多参数集要传递给方法又不想预先创建所有参数集，可以使用这个方法。
对象数组（Object []）。类似于Iterator