1. 前言

  • 平常我们功能测试用例非常多时，比如有 1 千条用例，假设每个用例执行需要 1 分钟，如果单个测试人员执行需要 1000 分钟才能跑完
  • 当项目非常紧急时，会需要协调多个测试资源来把任务分成两部分，于是执行时间缩短一半，如果有 10 个小伙伴，那么执行时间就会变成十分之一，大大节省了测试时间
  • 为了节省项目测试时间，10 个测试同时并行测试，这就是一种分布式场景
  • 同样道理，当我们自动化测试用例非常多的时候， 一条条按顺序执行会非常慢，pytest-xdist 的出现就是为了让自动化测试用例可以分布式执行，从而节省自动化测试时间
  • pytest-xdist 是属于进程级别的并发

2. 分布式执行场景下，测试用例的设计原则（重中之重）

  • 用例之间是独立的，用例之间没有依赖关系，用例可以完全独立运行【独立运行】
  • 用例执行没有顺序，随机顺序都能正常执行【随机执行】
  • 每个用例都能重复运行，运行结果不会影响其他用例【不影响其他用例】

3. 插件安装

  1. pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

4. pytest-xdist 通过一些独特的测试执行模式扩展了pytest

  • 测试运行并行化：如果有多个CPU或主机，则可以将它们用于组合的测试运行；这样可以加快开发速度或使用远程计算机的特殊资源
  • —looponfail：在子进程中重复运行测试；每次运行之后，pytest 都会等到项目中的文件更改后再运行之前失败的测试；重复此过程，直到所有测试通过，然后再次执行完整运行
  • 跨平台覆盖：可以指定不同的Python解释程序或不同的平台，并在所有这些平台上并行运行测试

5. 快速入门

这是运行代码的包结构

  1. 14xdist是项目文件夹名称
  2. │  conftest.py
  3. │  test_1.py
  4. │  __init__.py
  5. │              
  6. ├─test_51job
  7. │  │  conftest.py
  8. │  │  test_case1.py
  9. │  │  __init__.py 
  10. │          
  11. ├─test_toutiao
  12. │  │  test_case2.py
  13. │
  14. ├─test_weibo
  15. │  │  conftest.py
  16. │  │  test_case3.py
  17. │  │  __init__.py 
  18. │

5.1 最外层的 conftest.py

  1. # 外层conftest.py
  3. @pytest.fixture(scope="session")
  4. def login():
  5.     print("====登录功能，返回账号，token===")
  6.     name = "testyy"
  7.     token = "npoi213bn4"
  8.     yield name, token
  9.     print("====退出登录！！！====")

5.2 最外层的 test_1.py

  1. import pytest
  4. @pytest.mark.parametrize("n", list(range(5)))
  5. def test_get_info(login, n):
  6.     sleep(1)
  7.     name, token = login
  8.     print("***基础用例：获取用户个人信息***", n)
  9.     print(f"用户名:{name}, token:{token}")

5.3 test_51job包下的conftest.py

5.4 test_51job包下的test_case1.py

5.5 test_toutiao包下的test_case2.py

5.6 test_weibo包下的conftest.py

5.7test_weibo包下的test_case3.py

5.8不使用分布式测试的命令和所需执行时间

  1. pytest -s

image.png
可以看到，执行一条用例大概1s（因为每个用例都加了 sleep(1) ），一共30条用例，总共运行 30s；那么如果有1000 条用例，执行时间就真的是 1000s

5.9 使用分布式测试的命令和所需执行时间

  1. pytest -s -n auto

image.png

5.10 知识点

  • 可以看到，最终运行时间只需要6s，我的电脑是真6核，假12核
  • -n auto：可以自动检测到系统的CPU核数；从测试结果来看，检测到的是逻辑处理器的数量，即假12核
  • 使用auto等于利用了所有CPU来跑用例，此时CPU占用率会特别高

5.11 可以指定需要多少个CPU来跑用例

pytest -s -n 2
image.png

5.12 pytest-xdist是可以和pytest-html很好的相结合

  1. pytest -s -n auto --html=report.html --self-contained-html

6. pytest-xdist按照一定的顺序执行

pytest-xdist默认是无序执行的，可以通过 —dist 参数来控制顺序
—dist=loadscope

  • 将按照同一个模块module下的函数和同一个测试类class下的方法来分组，然后将每个测试组发给可以执行的worker，确保同一个组的测试用例在同一个进程中执行
  • 目前无法自定义分组，按类class分组优先于按模块module分组

—dist=loadfile
按照同一个文件名来分组，然后将每个测试组发给可以执行的worker，确保同一个组的测试用例在同一个进程中执行

7. 如何让scope=session的fixture在test session中仅仅执行一次

pytest-xdist是让每个worker进程执行属于自己的测试用例集下的所有测试用例
这意味着在不同进程中，不同的测试用例可能会调用同一个scope范围级别较高（例如session）的fixture，该fixture则会被执行多次，这不符合scope=session的预期

7.1 如何解决？

虽然pytest-xdist没有内置的支持来确保会话范围的夹具仅执行一次，但是可以通过使用锁定文件进行进程间通信来实现。

7.2 小栗子

  1. 下面的示例只需要执行一次login（因为它是只需要执行一次来定义配置选项，等等）
  2. 当第一次请求这个fixture时，则会利用FileLock仅产生一次fixture数据
  3. 当其他进程再次请求这个fixture时，则会从文件中读取数据 ```bash import pytest from filelock import FileLock

@pytest.fixture(scope=”session”) def login(): print(“====登录功能，返回账号，token===”) with FileLock(“session.lock”): name = “testyy” token = “npoi213bn4”

  1.     # web ui自动化
  2.     # 声明一个driver，再返回
  4.     # 接口自动化
  5.     # 发起一个登录请求，将token返回都可以这样写
  7. yield name, token
  8. print("====退出登录！！！====")

```

7.3 详细教程

30. 使用 pytest-xdist 分布式插件，如何保证 scope=session 的 fixture 在多进程运行情况下仍然能只运行一次