layout: post
title: FastAPI工程部署Gunicorn+Uvicorn
subtitle: FastAPI工程部署Gunicorn+Uvicorn
date: 2020-06-16
author: NSX
header-img: img/post-bg-ios9-web.jpg
catalog: true
tags:
- FastAPI
- Gunicorn
- Uvicorn


Gunicorn

  1. 什么是 Gunicorn ?

答:Gunicorn (‘Green Unicorn’) 是一个 UNIX 下的纯 Python WSGI 服务器。好的,那这是什么意思呢?

  • Gunicorn 启动了被分发到的一个主线程,然后因此产生的子线程就是对应的 worker。
  • 主进程的作用是确保 worker 数量与设置中定义的数量相同。因此如果任何一个 worker 挂掉,主线程都可以通过分发它自身而另行启动。
  • worker 的角色是处理 HTTP 请求
  • 操作系统的内核就负责处理 worker 进程之间的负载均衡。

它没有其它依赖,容易安装和使用。它所在的位置通常是在反向代理(如 Nginx)或者 负载均衡(如 AWS ELB)和一个 web 应用(比如 Django 或者 Flask)之间.

  1. 什么是WSGI?

Wsgi是同步通信服务规范,客户端请求一项服务,并等待服务完成,只有当它收到服务的结果时,它才会继续工作。当然了,可以定义一个超时时间,如果服务在规定的时间内没有完成,则认为调用失败,调用方继续工作。

2020-06-16-FastAPI工程部署Gunicorn Uvicorn - 图1

Gunicorn参数说明

  • 安装
  1. pip install gunicorn
  2. pip install gevent
  • 启动参数说明 | -c CONFIG, --config=CONFIG | 指定配置文件 | | | —- | —- | —- | | -b BIND, --bind=BIND | 绑定运行的主机加端口 | | | -w INT, --workers INT | 工作进程数 (Worker Processes) | 默认为1。这个配置用于指定处理请求的工作进程的数量,单核机器上这个数量一般在2-4个之间。你需要找到最适合该服务器的进程数。 | | -k STRTING, --worker-class STRTING | 工作模式(worker_class) | 默认的工作模式是sync。
    一共有五种工作模式,分别是 sync(同步模式), eventlet(协程异步), gevent(协程异步), tornado, gthread。gevent中,不能使用multiprocess库。 | | --threads INT | 线程数(threads) | 表示每个工作进程处理请求的线程数。指定threads参数的话则工作模式自动变成gthread模式。 | | --worker-connections INT | 最大客户端并发数量,默认1000 | 每个工作线程同时存在的连接数,该参数仅在Eventlet和Gevent 两种工作模式下有效 | | --backlog int | 等待连接的最大数,默认2048 | | | -p FILE, --pid FILE | 设置pid文件的文件名,如果不设置将不会创建pid文件 | | | --access-logfile FILE | 日志文件路径 | | | --access-logformat STRING | 日志格式,--access_log_format '%(h)s %(l)s %(u)s %(t)s' | | | --error-logfile FILE, --log-file FILE | 错误日志文件路径 | | | --log-level LEVEL | 日志输出等级 | | | --limit-request-line INT | 限制HTTP请求行的允许大小,默认4094。取值范围0~8190,此参数可以防止任何DDOS攻击 | | | --limit-request-fields INT | 限制HTTP请求头字段的数量以防止DDOS攻击,与limit-request-field-size一起使用可以提高安全性。默认100,最大值32768 | | | --limit-request-field-size INT | 限制HTTP请求中请求头的大小,默认8190。值是一个整数或者0,当该值为0时,表示将对请求头大小不做限制 | | | -t INT, --timeout INT | 超时设置 | 工作进程在超过设置的超时时间内没有响应将会被杀死并重启。
    当值为0就表示禁用超时设置。 | | --reload | 在代码改变时自动重启,默认False | | | --daemon | 是否以守护进程启动,默认False | | | --chdir | 在加载应用程序之前切换目录 | | | --graceful-timeout INT | 默认30,在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死;一般默认 | | | --keep-alive INT | 连接的存活时间 | 默认值是2。连接超时时间,在keep-alive连接上等待请求的秒数,通常设置在1-5秒范围内。 | | --spew | 打印服务器执行过的每一条语句,默认False。此选择为原子性的,即要么全部打印,要么全部不打印 | | | --check-config | 显示当前的配置,默认False,即显示 | | | -e ENV, --env ENV | 设置环境变量 | |
  • 配置文件示例
  1. # 并行进程数
  2. workers = 4
  3. # 指定每个工作的线程数
  4. threads = 2
  5. # worker超时时间,超时重启
  6. timeout = 30
  7. # 监听端口8000
  8. bind = '0.0.0.0:8000'
  9. # 守护进程,将进程交给supervisor管理
  10. daemon = 'false'
  11. # 工作模式协程
  12. # worker_class = 'gevent'
  13. worker_class = "uvicorn.workers.UvicornWorker"
  14. # 最大并发量
  15. worker_connections = 1000
  16. # 进程文件
  17. pidfile = '/var/run/gunicorn.pid'
  18. # 访问日志和错误日志
  19. accesslog = '/var/log/gunicorn_acess.log'
  20. errorlog = '/var/log/gunicorn_error.log'
  21. # 日志级别
  22. loglevel = 'info'
  • 启动
  1. gunicorn -c gunicorn.conf main:app

关于如何配置 Gunicorn 的实用建议

为了提高使用 Gunicorn 时的性能,我们必须牢记 3 种并发方式:

  1. 第一种并发方式(workers 模式,又名 UNIX 进程模式)
    每个 worker 都是一个加载 Python 应用程序的 UNIX 进程。worker之间没有共享内存。
    建议的 workers 数量是 (2*CPU)+1
    对于一个双核(两个CPU)机器,5 就是建议的 worker 数量。

    1. gunicorn --workers=5 main:app
  2. 第二种并发方式(多线程)
    Gunicorn 还允许每个 worker 拥有多个线程。在这种场景下,Python 应用程序每个 worker 都会加载一次,同一个 worker 生成的每个线程共享相同的内存空间。
    为了在 Gunicorn 中使用多线程。我们使用了 threads 模式。每一次我们使用 threads 模式,worker 的类就会是 gthread
    在我们的例子里面最大的并发请求数就是 worker * 线程,也就是10。
    在使用 worker 和多线程模式时建议的最大并发数量仍然是(2*CPU)+1

    1. gunicorn --workers=5 --threads=2 main:app
  3. 第三种并发方式(“伪线程”)
    有一些 Python 库比如(gevent 和 Asyncio)可以在 Python 中启用多并发。那是基于协程实现的“伪线程”。
    Gunicrn 允许通过设置对应的 worker 类来使用这些异步 Python 库。
    这里的设置适用于我们想要在单核机器上运行的gevent
    在这种情况下,最大的并发请求数量是 3000。(3 个 worker * 1000 个连接/worker

    1. gunicorn --worker-class=gevent --worker-connections=1000 --workers=3 main:app

Uvicorn与Gunicorn一起使用

Uvicorn包括一个Gunicorn工人类,它使您可以运行ASGI应用程序,同时具有Uvicorn的所有性能优势,同时还为您提供Gunicorn的全功能进程管理。

在生产环境中,Guicorn 大概是最简单的方式来管理 Uvicorn 了,生产环境部署我们推荐使用 Guicorn 和 Uvicorn 的 worker 类,这样的话,可以动态增加或减少进程数量,平滑地重启工作进程,或者升级服务器而无需停机

  1. gunicorn example:app -w 4 -k uvicorn.workers.UvicornWorker

Uvicorn

  1. 什么是 Uvicorn ?

答:Uvicorn 是基于 uvloop 和 httptools 构建的非常快速的 ASGI 服务器

  1. 什么是 uvloop 和 httptools ?

答:uvloop 用于替换标准库 asyncio 中的事件循环,使用 Cython 实现,它非常快,可以使 asyncio 的速度提高 2-4 倍。asyncio 不用我介绍吧,写异步代码离不开它。httptools 是 nodejs HTTP 解析器的 Python 实现。

  1. 什么是ASGI?

Asgi是异步通信服务规范。客户端发起服务呼叫,但不等待结果。调用方立即继续其工作,并不关心结果。如果调用方对结果感兴趣,有一些机制可以让其随时被回调方法返回结果。

2020-06-16-FastAPI工程部署Gunicorn Uvicorn - 图2

  1. uvicorn 设计的初衷?
  • 使用 [uvloop](https://github.com/MagicStack/uvloop)[httptools](https://github.com/MagicStack/httptools)实现一个极速的 asyncio 服务器。
  • 实现一个基于 [ASGI(异步服务器网关接口)](http://channels.readthedocs.io/en/stable/asgi.html)的最小的应用程序接口。
  1. uvicorn 命令行选项
  1. Usage: uvicorn [OPTIONS] APP
  2. Options:
  3. --host TEXT 绑定套接字到ip地址,默认127.0.0.1
  4. --port INTEGER 绑定套接字到端口号,默认8000
  5. --uds TEXT 绑定到UNIX域套接字
  6. --fd INTEGER 从此文件描述符绑定到套接字
  7. --reload 启用自动重载(内容修改后)
  8. --reload-dir TEXT 显式设置重载目录,而不使用当前工作目录
  9. --workers INTEGER 工作进程数。不适用于--reload启用
  10. --loop [auto|asyncio|uvloop|iocp] 事件循环实现,默认:auto
  11. --http [auto|h11|httptools] HTTP协议实现,默认:auto
  12. --ws [auto|none|websockets|wsproto] WebSocket协议实现,默认:auto
  13. --lifespan [auto|on|off] 生命周期实施,默认:auto
  14. --interface [auto|asgi3|asgi2|wsgi] 应用程序界面选择,默认:auto
  15. --env-file PATH 环境配置文件
  16. --log-config PATH 日志配置文件
  17. --log-level [critical|error|warning|info|debug|trace]
  18. Log level. [default: info]
  19. --access-log / --no-access-log 启用/禁用访问日志
  20. --use-colors / --no-use-colors 启用/禁用彩色日志记录
  21. --proxy-headers / --no-proxy-headers
  22. 启用/禁用X-Forwarded-ProtoX-Forwarded-ForX-Forwarded-Port以填充远程地址信息
  23. --forwarded-allow-ips TEXT 逗号分隔的IP列表,以信任代理标头。如果可用,则默认为$ FORWARDED_ALLOW_IPS环境变量,或者为'127.0.0.1'
  24. --root-path TEXT
  25. --limit-concurrency INTEGER 在发出HTTP 503响应之前允许的最大并发连接数或任务数。
  26. --backlog INTEGER 积压的最大连接数
  27. --limit-max-requests INTEGER 终止进程之前服务的最大请求数
  28. --timeout-keep-alive INTEGER 如果在此超时时间内未收到新数据,则关闭“保持活动”连接。 [默认值:5]
  29. --ssl-keyfile TEXT SSL key file
  30. --ssl-certfile TEXT SSL certificate file
  31. --ssl-version INTEGER 要使用的SSL版本 [默认值:2]
  32. --ssl-cert-reqs INTEGER 是否需要客户端证书 [默认值:0]
  33. --ssl-ca-certs TEXT CA证书文件
  34. --ssl-ciphers TEXT 要使用的密码 [默认值:TLSv1]
  35. --header TEXT 自定义默认HTTP响应标头
  36. --help 显示帮助消息并退出
  1. 有关更多信息,请参阅[设置文档](https://www.uvicorn.org/settings/)。
  1. 使用方法
  1. # pip install uvicorn
  2. uvicorn demo:app --host 0.0.0.0 --port 8080 --workers 10 --limit-concurrency 100 --timeout-keep-alive 5 --reload
  1. import uvicorn
  2. async def app(scope, receive, send):
  3. ...
  4. if __name__ == "__main__":
  5. uvicorn.run("example:app", host="127.0.0.1", port=5000, log_level="info")

supervisor

supervisor 是一款基于Python的进程管理工具,可以很方便的管理服务器上部署的应用程序。supervisor的功能如下:

a. 启动、重启、关闭包括但不限于python进程。

b.查看进程的运行状态。

c.批量维护多个进程。

为什么要用supervisor来管理进程,是因为相对于linux传统的进程管理(即系统自带的init 进程管理)方式来说,它有很多的优势:

1) 简单方便

a)supervisor管理进程,只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去就OK了;b)被管理进程作为supervisor的子进程,当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,所以也就可以对挂掉的子进程进行自动重启了, 至于重启还是不重启,也要看配置文件里面有没有设置autostart=true。

2) 精确

linux对进程状态的反馈有时候不太准确, 也就是说linux进程通常很难获得准确的up/down状态, Pidfiles经常说谎! 而supervisor监控子进程,得到的子进程状态无疑是准确的。supervisord将进程作为子进程启动,所以它总是知道其子进程的正确的up/down状态,可以方便的对这些数据进行查询.

3) 进程分组

进程支持分组启动和停止,也支持启动顺序,即‘优先级’,supervisor允许为进程分配优先级,并允许用户通过supervisorctl客户端发出命令,如“全部启动”和”重新启动所有“,它们以预先分配的优先级顺序启动。还可以将进程分为”进程组“,一组逻辑关联的进程可以作为一个单元停止或启动。进程组supervisor可以对进程组统一管理,也就是说我们可以把需要管理的进程写到一个组里面,然后把这个组作为一个对象进行管理,如启动,停止,重启等等操作。而linux系统则是没有这种功能的,想要停止一个进程,只能一个一个的去停止,要么就自己写个脚本去批量停止。

4) 集中式管理

supervisor管理的进程,进程组信息,全部都写在一个ini格式的文件里就OK了。管理supervisor时, 可以在本地进行管理,也可以远程管理,而且supervisor提供了一个web界面,可以在web界面上监控,管理进程。 当然了,本地,远程和web管理的时候,需要调用supervisor的xml_rpc接口。

5) 可扩展性

supervisor有一个简单的事件(event)通知协议,还有一个用于控制的XML-RPC接口,可以用Python开发人员来扩展构建。

6) 权限

总所周知, linux的进程特别是侦听在1024端口之下的进程,一般用户大多数情况下,是不能对其进行控制的。想要控制的话,必须要有root权限。然而supervisor提供了一个功能,可以为supervisord或者每个子进程,设置一个非root的user,这个user就可以管理它对应的进程了。

7) 兼容性,稳定性

supervisor由Python编写,在除Windows操作系统以外基本都支持,如linux,Mac OS x,solaris,FreeBSD系统

1.组成部分

Supervisor 包括以下四个组件:

  • supervisord 服务端程序,主要功能是启动 supervisord 服务及其管理的子进程,记录日志,重启崩溃的子进程,等。
  • supervisorctl supervisor命令行的客户端名称是supervisorctl。它为supervisord提供了一个类似于shell的交互界面。使用supervisorctl,用户可以查看不同的supervisord进程列表,获取控制子进程的状态,如停止和启动子进程
  • Web Server 实现在界面上管理进程,还能查看进程日志和清除日志。
  • XML-RPC 接口 可以通过 XML_RPC 协议对 supervisord 进行远程管理,达到和 supervisorctl 以及 Web Server 一样的管理功能。

Supervisor 管理的进程运行状态图: 2020-06-16-FastAPI工程部署Gunicorn Uvicorn - 图3

  • running:进程处于运行状态
  • starting:Supervisor 收到启动请求后,进程处于正在启动过程中
  • stopped:进程处于关闭状态
  • stopping:Supervisor 收到关闭请求后,进程处于正在关闭过程中
  • backoff:进程进入 starting 状态后,由于马上就退出导致没能进入 running 状态
  • fatal:进程没有正常启动
  • exited:进程从 running 状态退出

2.安装

centos系统下可以直接yum安装, 前提是需要下载epel源, 下载地址: http://dl.fedoraproject.org/pub/epel/

  1. yum install supervisor

3.常用命令

supervisord 初始启动Supervisord,启动、管理配置中设置的进程
supervisorctl stop programxxx 停止某一个进程
supervisorctl start programxxx 启动某个进程
supervisorctl restart programxxx 重启某个进程
supervisorctl stop groupworker 停止所有属于名为groupworker这个分组的进程(start,restart同理)
supervisorctl stop all 停止全部进程,注:start、restart、stop都不会载入最新的配置文件
supervisorctl reload 载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程
supervisorctl update 根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启
supervisord -c /etc/supervisor/supervisord.conf 制定让其读取的配置文件
supervisorctl status programxxx 查看状态

设置开机启动

centos7下:新建文件supervisord.service

  1. #supervisord.service
  2. [Unit]
  3. Description=Supervisor daemon
  4. [Service]
  5. Type=forking
  6. ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf
  7. ExecStop=/usr/bin/supervisorctl shutdown
  8. ExecReload=/usr/bin/supervisorctl reload
  9. KillMode=process
  10. Restart=on-failure
  11. RestartSec=42s
  12. [Install]
  13. WantedBy=multi-user.target

将文件拷贝到/usr/lib/systemd/system/

  1. cp supervisord.service /usr/lib/systemd/system/

启动服务

  1. systemctl enable supervisord

验证一下是否为开机启动

  1. systemctl is-enabled supervisord

4.配置参数说明

  1. [unix_http_server]
  2. file=/tmp/supervisor.sock ; socket文件的路径,supervisorctlXML_RPCsupervisord通信就是通过它进行
  3. 的。如果不设置的话,supervisorctl也就不能用了
  4. 不设置的话,默认为none 非必须设置
  5. ;chmod=0700 ; 这个简单,就是修改上面的那个socket文件的权限为0700
  6. 不设置的话,默认为0700 非必须设置
  7. ;chown=nobody:nogroup ; 这个一样,修改上面的那个socket文件的属组为user.group
  8. 不设置的话,默认为启动supervisord进程的用户及属组。非必须设置
  9. ;username=user ; 使用supervisorctl连接的时候,认证的用户
  10. 不设置的话,默认为不需要用户。 非必须设置
  11. ;password=123 ; 和上面的用户名对应的密码,可以直接使用明码,也可以使用SHA加密
  12. 如:{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d
  13. 默认不设置。。。非必须设置
  14. ;[inet_http_server] ; 侦听在TCP上的socketWeb Server和远程的supervisorctl都要用到他
  15. 不设置的话,默认为不开启。非必须设置
  16. ;port=127.0.0.1:9001 ; 这个是侦听的IP和端口,侦听所有IP :9001或*:9001
  17. 这个必须设置,只要上面的[inet_http_server]开启了,就必须设置它
  18. ;username=user ; 这个和上面的uinx_http_server一个样。非必须设置
  19. ;password=123 ; 这个也一个样。非必须设置
  20. [supervisord] ;这个主要是定义supervisord这个服务端进程的一些参数的
  21. 这个必须设置,不设置,supervisor就不用干活了
  22. logfile=/tmp/supervisord.log ; 这个是supervisord这个主进程的日志路径,注意和子进程的日志不搭嘎。
  23. 默认路径$CWD/supervisord.log$CWD是当前目录。。非必须设置
  24. logfile_maxbytes=50MB ; 这个是上面那个日志文件的最大的大小,当超过50M的时候,会生成一个新的日
  25. 志文件。当设置为0时,表示不限制文件大小
  26. 默认值是50M,非必须设置。
  27. logfile_backups=10 ; 日志文件保持的数量,上面的日志文件大于50M时,就会生成一个新文件。文件
  28. 数量大于10时,最初的老文件被新文件覆盖,文件数量将保持为10
  29. 当设置为0时,表示不限制文件的数量。
  30. 默认情况下为10。。。非必须设置
  31. loglevel=info ; 日志级别,有critical, error, warn, info, debug, trace, or blather
  32. 默认为info。。。非必须设置项
  33. pidfile=/tmp/supervisord.pid ; supervisordpid文件路径。
  34. 默认为$CWD/supervisord.pid。。。非必须设置
  35. nodaemon=false ; 如果是truesupervisord进程将在前台运行
  36. 默认为false,也就是后台以守护进程运行。。。非必须设置
  37. minfds=1024 ; 这个是最少系统空闲的文件描述符,低于这个值supervisor将不会启动。
  38. 系统的文件描述符在这里设置cat /proc/sys/fs/file-max
  39. 默认情况下为1024。。。非必须设置
  40. minprocs=200 ; 最小可用的进程描述符,低于这个值supervisor也将不会正常启动。
  41. ulimit -u这个命令,可以查看linux下面用户的最大进程数
  42. 默认为200。。。非必须设置
  43. ;umask=022 ; 进程创建文件的掩码
  44. 默认为022。。非必须设置项
  45. ;user=chrism ; 这个参数可以设置一个非root用户,当我们以root用户启动supervisord之后。
  46. 我这里面设置的这个用户,也可以对supervisord进行管理
  47. 默认情况是不设置。。。非必须设置项
  48. ;identifier=supervisor ; 这个参数是supervisord的标识符,主要是给XML_RPC用的。当你有多个
  49. supervisor的时候,而且想调用XML_RPC统一管理,就需要为每个
  50. supervisor设置不同的标识符了
  51. 默认是supervisord。。。非必需设置
  52. ;directory=/tmp ; 这个参数是当supervisord作为守护进程运行的时候,设置这个参数的话,启动
  53. supervisord进程之前,会先切换到这个目录
  54. 默认不设置。。。非必须设置
  55. ;nocleanup=true ; 这个参数当为false的时候,会在supervisord进程启动的时候,把以前子进程
  56. 产生的日志文件(路径为AUTO的情况下)清除掉。有时候咱们想要看历史日志,当
  57. 然不想日志被清除了。所以可以设置为true
  58. 默认是false,有调试需求的同学可以设置为true。。。非必须设置
  59. ;childlogdir=/tmp ; 当子进程日志路径为AUTO的时候,子进程日志文件的存放路径。
  60. 默认路径是这个东西,执行下面的这个命令看看就OK了,处理的东西就默认路径
  61. python -c "import tempfile;print tempfile.gettempdir()"
  62. 非必须设置
  63. ;environment=KEY="value" ; 这个是用来设置环境变量的,supervisordlinux中启动默认继承了linux
  64. 环境变量,在这里可以设置supervisord进程特有的其他环境变量。
  65. supervisord启动子进程时,子进程会拷贝父进程的内存空间内容。 所以设置的
  66. 这些环境变量也会被子进程继承。
  67. 小例子:environment=name="haha",age="hehe"
  68. 默认为不设置。。。非必须设置
  69. ;strip_ansi=false ; 这个选项如果设置为true,会清除子进程日志中的所有ANSI 序列。什么是ANSI
  70. 序列呢?就是我们的\n,\t这些东西。
  71. 默认为false。。。非必须设置
  72. ; the below section must remain in the config file for RPC
  73. ; (supervisorctl/web interface) to work, additional interfaces may be
  74. ; added by defining them in separate rpcinterface: sections
  75. [rpcinterface:supervisor] ;这个选项是给XML_RPC用的,当然你如果想使用supervisord或者web server
  76. 个选项必须要开启的
  77. supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
  78. [supervisorctl] ;这个主要是针对supervisorctl的一些配置
  79. serverurl=unix:///tmp/supervisor.sock ; 这个是supervisorctl本地连接supervisord的时候,本地UNIX socket
  80. 路径,注意这个是和前面的[unix_http_server]对应的
  81. 默认值就是unix:///tmp/supervisor.sock。。非必须设置
  82. ;serverurl=http://127.0.0.1:9001 ; 这个是supervisorctl远程连接supervisord的时候,用到的TCP socket路径
  83. 注意这个和前面的[inet_http_server]对应
  84. 默认就是http://127.0.0.1:9001。。。非必须项
  85. ;username=chris ; 用户名
  86. 默认空。。非必须设置
  87. ;password=123 ; 密码
  88. 默认空。。非必须设置
  89. ;prompt=mysupervisor ; 输入用户名密码时候的提示符
  90. 默认supervisor。。非必须设置
  91. ;history_file=~/.sc_history ; 这个参数和shell中的history类似,我们可以用上下键来查找前面执行过的命令
  92. 默认是no file的。。所以我们想要有这种功能,必须指定一个文件。。。非
  93. 必须设置
  94. ; The below sample program section shows all possible program subsection values,
  95. ; create one or more 'real' program: sections to be able to control them under
  96. ; supervisor.
  97. ;[program:theprogramname] ;这个就是咱们要管理的子进程了,":"后面的是名字,最好别乱写和实际进程
  98. 有点关联最好。这样的program我们可以设置一个或多个,一个program就是
  99. 要被管理的一个进程
  100. ;command=/bin/cat ; 这个就是我们的要启动进程的命令路径了,可以带参数
  101. 例子:/home/test.py -a 'hehe'
  102. 有一点需要注意的是,我们的command只能是那种在终端运行的进程,不能是
  103. 守护进程。这个想想也知道了,比如说command=service httpd start
  104. httpd这个进程被linuxservice管理了,我们的supervisor再去启动这个命令
  105. 这已经不是严格意义的子进程了。
  106. 这个是个必须设置的项
  107. ;process_name=%(program_name)s ; 这个是进程名,如果我们下面的numprocs参数为1的话,就不用管这个参数
  108. 了,它默认值%(program_name)s也就是上面的那个program冒号后面的名字,
  109. 但是如果numprocs为多个的话,那就不能这么干了。想想也知道,不可能每个
  110. 进程都用同一个进程名吧。
  111. ;numprocs=1 ; 启动进程的数目。当不为1时,就是进程池的概念,注意process_name的设置
  112. 默认为1 。。非必须设置
  113. ;directory=/tmp ; 进程运行前,会前切换到这个目录
  114. 默认不设置。。。非必须设置
  115. ;umask=022 ; 进程掩码,默认none,非必须
  116. ;priority=999 ; 子进程启动关闭优先级,优先级低的,最先启动,关闭的时候最后关闭
  117. 默认值为999 。。非必须设置
  118. ;autostart=true ; 如果是true的话,子进程将在supervisord启动后被自动启动
  119. 默认就是true 。。非必须设置
  120. ;autorestart=unexpected ; 这个是设置子进程挂掉后自动重启的情况,有三个选项,false,unexpected
  121. true。如果为false的时候,无论什么情况下,都不会被重新启动,
  122. 如果为unexpected,只有当进程的退出码不在下面的exitcodes里面定义的退
  123. 出码的时候,才会被自动重启。当为true的时候,只要子进程挂掉,将会被无
  124. 条件的重启
  125. ;startsecs=1 ; 这个选项是子进程启动多少秒之后,此时状态如果是running,则我们认为启
  126. 动成功了
  127. 默认值为1 。。非必须设置
  128. ;startretries=3 ; 当进程启动失败后,最大尝试启动的次数。。当超过3次后,supervisor将把
  129. 此进程的状态置为FAIL
  130. 默认值为3 。。非必须设置
  131. ;exitcodes=0,2 ; 注意和上面的的autorestart=unexpected对应。。exitcodes里面的定义的
  132. 退出码是expected的。
  133. ;stopsignal=QUIT ; 进程停止信号,可以为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号
  134. 默认为TERM 。。当用设定的信号去干掉进程,退出码会被认为是expected
  135. 非必须设置
  136. ;stopwaitsecs=10 ; 这个是当我们向子进程发送stopsignal信号后,到系统返回信息
  137. supervisord,所等待的最大时间。 超过这个时间,supervisord会向该
  138. 子进程发送一个强制kill的信号。
  139. 默认为10秒。。非必须设置
  140. ;stopasgroup=false ; 这个东西主要用于,supervisord管理的子进程,这个子进程本身还有
  141. 子进程。那么我们如果仅仅干掉supervisord的子进程的话,子进程的子进程
  142. 有可能会变成孤儿进程。所以咱们可以设置可个选项,把整个该子进程的
  143. 整个进程组都干掉。 设置为true的话,一般killasgroup也会被设置为true
  144. 需要注意的是,该选项发送的是stop信号
  145. 默认为false。。非必须设置。。
  146. ;killasgroup=false ; 这个和上面的stopasgroup类似,不过发送的是kill信号
  147. ;user=chrism ; 如果supervisordroot启动,我们在这里设置这个非root用户,可以用来
  148. 管理该program
  149. 默认不设置。。。非必须设置项
  150. ;redirect_stderr=true ; 如果为true,则stderr的日志会被写入stdout日志文件中
  151. 默认为false,非必须设置
  152. ;stdout_logfile=/a/path ; 子进程的stdout的日志路径,可以指定路径,AUTOnone等三个选项。
  153. 设置为none的话,将没有日志产生。设置为AUTO的话,将随机找一个地方
  154. 生成日志文件,而且当supervisord重新启动的时候,以前的日志文件会被
  155. 清空。当 redirect_stderr=true的时候,sterr也会写进这个日志文件
  156. ;stdout_logfile_maxbytes=1MB ; 日志文件最大大小,和[supervisord]中定义的一样。默认为50
  157. ;stdout_logfile_backups=10 ; 和[supervisord]定义的一样。默认10
  158. ;stdout_capture_maxbytes=1MB ; 这个东西是设定capture管道的大小,当值不为0的时候,子进程可以从stdout
  159. 发送信息,而supervisor可以根据信息,发送相应的event
  160. 默认为0,为0的时候表达关闭管道。。。非必须项
  161. ;stdout_events_enabled=false ; 当设置为ture的时候,当子进程由stdout向文件描述符中写日志的时候,将
  162. 触发supervisord发送PROCESS_LOG_STDOUT类型的event
  163. 默认为false。。。非必须设置
  164. ;stderr_logfile=/a/path ; 这个东西是设置stderr写的日志路径,当redirect_stderr=true。这个就不用
  165. 设置了,设置了也是白搭。因为它会被写入stdout_logfile的同一个文件中
  166. 默认为AUTO,也就是随便找个地存,supervisord重启被清空。。非必须设置
  167. ;stderr_logfile_maxbytes=1MB ; 这个出现好几次了,就不重复了
  168. ;stderr_logfile_backups=10 ; 这个也是
  169. ;stderr_capture_maxbytes=1MB ; 这个一样,和stdout_capture一样。 默认为0,关闭状态
  170. ;stderr_events_enabled=false ; 这个也是一样,默认为false
  171. ;environment=A="1",B="2" ; 这个是该子进程的环境变量,和别的子进程是不共享的
  172. ;serverurl=AUTO ;
  173. ; The below sample eventlistener section shows all possible
  174. ; eventlistener subsection values, create one or more 'real'
  175. ; eventlistener: sections to be able to handle event notifications
  176. ; sent by supervisor.
  177. ;[eventlistener:theeventlistenername] ;这个东西其实和program的地位是一样的,也是suopervisor启动的子进
  178. 程,不过它干的活是订阅supervisord发送的event。他的名字就叫
  179. listener了。我们可以在listener里面做一系列处理,比如报警等等
  180. 楼主这两天干的活,就是弄的这玩意
  181. ;command=/bin/eventlistener ; 这个和上面的program一样,表示listener的可执行文件的路径
  182. ;process_name=%(program_name)s ; 这个也一样,进程名,当下面的numprocs为多个的时候,才需要。否则默认就
  183. OK
  184. ;numprocs=1 ; 相同的listener启动的个数
  185. ;events=EVENT ; event事件的类型,也就是说,只有写在这个地方的事件类型。才会被发送
  186. ;buffer_size=10 ; 这个是event队列缓存大小,单位不太清楚,楼主猜测应该是个吧。当buffer
  187. 超过10的时候,最旧的event将会被清除,并把新的event放进去。
  188. 默认值为10。。非必须选项
  189. ;directory=/tmp ; 进程执行前,会切换到这个目录下执行
  190. 默认为不切换。。。非必须
  191. ;umask=022 ; 淹没,默认为none,不说了
  192. ;priority=-1 ; 启动优先级,默认-1,也不扯了
  193. ;autostart=true ; 是否随supervisord启动一起启动,默认true
  194. ;autorestart=unexpected ; 是否自动重启,和program一个样,分true,false,unexpected等,注意
  195. unexpectedexitcodes的关系
  196. ;startsecs=1 ; 也是一样,进程启动后跑了几秒钟,才被认定为成功启动,默认1
  197. ;startretries=3 ; 失败最大尝试次数,默认3
  198. ;exitcodes=0,2 ; 期望或者说预料中的进程退出码,
  199. ;stopsignal=QUIT ; 干掉进程的信号,默认为TERM,比如设置为QUIT,那么如果QUIT来干这个进程
  200. 那么会被认为是正常维护,退出码也被认为是expected中的
  201. ;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
  202. ;stopasgroup=false ; send stop signal to the UNIX process group (default false)
  203. ;killasgroup=false ; SIGKILL the UNIX process group (def false)
  204. ;user=chrism ;设置普通用户,可以用来管理该listener进程。
  205. 默认为空。。非必须设置
  206. ;redirect_stderr=true ; true的话,stderrlog会并入stdoutlog里面
  207. 默认为false。。。非必须设置
  208. ;stdout_logfile=/a/path ; 这个不说了,好几遍了
  209. ;stdout_logfile_maxbytes=1MB ; 这个也是
  210. ;stdout_logfile_backups=10 ; 这个也是
  211. ;stdout_events_enabled=false ; 这个其实是错的,listener是不能发送event
  212. ;stderr_logfile=/a/path ; 这个也是
  213. ;stderr_logfile_maxbytes=1MB ; 这个也是
  214. ;stderr_logfile_backups ; 这个不说了
  215. ;stderr_events_enabled=false ; 这个也是错的,listener不能发送event
  216. ;environment=A="1",B="2" ; 这个是该子进程的环境变量
  217. 默认为空。。。非必须设置
  218. ;serverurl=AUTO ; override serverurl computation (childutils)
  219. ; The below sample group section shows all possible group values,
  220. ; create one or more 'real' group: sections to create "heterogeneous"
  221. ; process groups.
  222. ;[group:thegroupname] ;这个东西就是给programs分组,划分到组里面的program。我们就不用一个一个去操作了
  223. 我们可以对组名进行统一的操作。 注意:program被划分到组里面之后,就相当于原来
  224. 的配置从supervisor的配置文件里消失了。。。supervisor只会对组进行管理,而不再
  225. 会对组里面的单个program进行管理了
  226. ;programs=progname1,progname2 ; 组成员,用逗号分开
  227. 这个是个必须的设置项
  228. ;priority=999 ; 优先级,相对于组和组之间说的
  229. 默认999。。非必须选项
  230. ; The [include] section can just contain the "files" setting. This
  231. ; setting can list multiple files (separated by whitespace or
  232. ; newlines). It can also contain wildcards. The filenames are
  233. ; interpreted as relative to this file. Included files *cannot*
  234. ; include files themselves.
  235. ;[include] ;这个东西挺有用的,当我们要管理的进程很多的时候,写在一个文件里面
  236. 就有点大了。我们可以把配置信息写到多个文件中,然后include过来
  237. ;files = relative/directory/*.ini

5.demo

python程序进程一般都用supervisor进行管理

分享一个线上曾经用过的supervisor监控python程序的配置

  1. [program:xcspam]
  2. command=/usr/bin/python /app/web/xcspam/bin/main.py --port=93%(process_num)02d
  3. process_name=%(program_name)s_%(process_num)02d
  4. numprocs=16
  5. numprocs_start=1
  6. directory=/app/web/xcspam
  7. user=work
  8. autostart=true
  9. autorestart=true
  10. stopsignal=QUIT
  11. stdout_logfile=/data/log/xcspam/xcspam.log
  12. stderr_logfile=/data/log/xcspam/xcspam_error.log
  13. stdout_logfile_maxbytes=0
  14. stderr_logfile_maxbytes=0
  15. environment=PYTHONPATH=/app/web/xcspam, KEVIN_ENV=production
  16. [program:uwsgi]
  17. command=/usr/local/python3/bin/uwsgi /usr/local/nginx/conf/uwsgi.ini
  18. directory=/data/www/APPServer/
  19. startsecs=0
  20. stopwaitsecs=0
  21. autostart=true
  22. autorestart=true

重启supervisor服务

  1. [root@localhost ~]# /etc/init.d/supervisord restart
  2. Stopping supervisord: [ OK ]
  3. Starting supervisord: [ OK ]

查看supervisor管理的两个进程状态

  1. [root@localhost ~]# supervisorctl
  2. main RUNNING pid 16183, uptime 0:00:12
  3. uwsgi RUNNING pid 19043, uptime 0:00:13
  4. supervisor> status
  5. main RUNNING pid 16183, uptime 0:00:17
  6. uwsgi RUNNING pid 19043, uptime 0:00:18

查看管理的这两进程的运行情况

  1. [root@localhost ~]# ps -ef|grep main
  2. root 16183 16181 0 21:38 ? 00:00:00 /usr/local/bin/main
  3. root 16207 15953 0 21:42 pts/0 00:00:00 grep main
  4. [root@localhost ~]# ps -ef|grep uwsgi
  5. root 16595 16064 0 21:40 pts/0 00:00:00 grep --color=auto uwsgi
  6. root 19043 17056 0 21:44 ? 00:00:04 /usr/local/python3/bin/uwsgi /usr/local/nginx/conf/uwsgi.ini

6.开启Supervisor Web 管理界面

supervisord.conf配置中添加以下配置:

  1. [inet_http_server]
  2. port=*:9000
  3. username=user
  4. password=123

7.错误收集

ps:supervisor 比较适合监控业务应用,且只能监控前台程序,如果你的程序是以daemon的方式启动,就不能使用supervisor监控了,那么执行:supervisor status 会提示:BACKOFF Exited too quickly (process log may have details)。

  1. FATAL Exited too quickly (process log may have details)

出现这个问题原因:a、配置出错,查看错误日志;b.Supervisor 管理的进程不能设置为 daemon 模式如我们使用supervisor守护redis:如果 Redis 无法正常启动,可以查看一下 Redis 的配置,并将daemonize选项设置为 no。

参考

[译] 通过优化 Gunicorn 配置提高性能√

Python 异步 ASGI 服务器及框架

uvicorn 启动多线程异常停止问题

*Supervisor (进程管理利器) 使用说明 - 运维笔记

https://www.cnblogs.com/freely/p/10087950.html

Centos+Gunicorn+Nginx+Supervisor部署Flask – 简书

Flask Gunicorn Supervisor Nginx 项目部署小总结

【已解决】CentOS中用python2的pip去安装supervisor后找不到/etc/supervisor中的默认配置文件supervisord.conf