1. 环境前提

以下先决条件才能使用pytest-rerunfailures

  • Python 3.5, 最高 3.8, or PyPy3
  • pytest 5.0或更高版本

2. 安装插件

  1. pip3 install pytest-rerunfailures -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

3. 提前了解重点

命令行参数：--reruns n（重新运行次数），--reruns-delay m（等待运行秒数）
装饰器参数：reruns=n（重新运行次数），reruns_delay=m（等待运行秒数）

4. 重新运行所有失败的用例

要重新运行所有测试失败的用例，使用 —reruns 命令行选项，并指定要运行测试的最大次数：

  1. pytest --reruns 5 -s

4.1 知识点

运行失败的 fixture 或 setup_class 也将重新执行

4.2 添加重新运行的延时

要在两次重试之间增加延迟时间，使用 —reruns-delay 命令行选项，指定下次测试重新开始之前等待的秒数

  1. pytest --reruns 5 --reruns-delay 10 -s

5. 重新运行指定的测试用例

要指定某些测试用例时，需要添加 flaky 装饰器@pytest.mark.flaky(reruns=5) ，它会在测试失败时自动重新运行，且需要指定最大重新运行的次数

5.1 小栗子

  1. import pytest
  4. @pytest.mark.flaky(reruns=5)
  5. def test_example():
  6.     import random
  7.     assert random.choice([True, False, False])

5.2 执行结果

  1. collecting ... collected 1 item
  3. 11_reruns.py::test_example RERUN                                         [100%]
  4. 11_reruns.py::test_example PASSED                                        [100%]
  6. ========================= 1 passed, 1 rerun in 0.05s ==========================

5.3 同样的，这个也可以指定重新运行的等待时间

  1. @pytest.mark.flaky(reruns=5, reruns_delay=2)
  2. def test_example():
  3.     import random
  4.     assert random.choice([True, False, False])

5.4 注意事项

如果指定了用例的重新运行次数，在命令行添加的 —reruns 对这些用例是不会生效的

6. 兼容性问题

  • 不可以和 fixture 装饰器@pytest.fixture()一起使用
  • 该插件与 pytest-xdist 的 —looponfail 标志不兼容
  • 该插件与核心 —pdb 标志不兼容