一、supervisor简介

  1. Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，可以选择是否自己启动和报警。supervisor还提供了一个功能，可以为supervisord或者每个子进程，设置一个非root的user，这个user就可以管理它对应的进程。

二、supervisor安装

2.1 部署

Centos

  1. yum install supervisor

Ubuntu

  1. apt-get install supervisor

pip安装

  1. pip install supervisor

配置开机启动

  1. systemctl enable supervisor.service

2.2 配置

优化supervisor参数

  1. sed -i '/\[Service\]/a\TasksMax=infinity' /lib/systemd/system/supervisor.service
  2. sed -i '/\[Service\]/a\LimitCORE=infinity' /lib/systemd/system/supervisor.service
  3. sed -i '/\[Service\]/a\LimitNOFILE=infinity' /lib/systemd/system/supervisor.service
  4. sed -i '/\[Service\]/a\LimitNPROC=infinity' /lib/systemd/system/supervisor.service

修改后配置如下

  1. #以上省略
  2. [Service]
  3. LimitNPROC=infinity           #新增内容，实际无此注释
  4. LimitNOFILE=infinity          #新增内容，实际无此注释
  5. LimitCORE=infinity            #新增内容，实际无此注释
  6. TasksMax=infinity             #新增内容，实际无此注释
  7. ExecStart=/usr/bin/supervisord -n -c /etc/supervisor/supervisord.conf
  8. ExecStop=/usr/bin/supervisorctl $OPTIONS shutdown
  9. ExecReload=/usr/bin/supervisorctl -c /etc/supervisor/supervisord.conf $OPTIONS reload
  10. KillMode=process
  11. Restart=on-failure
  12. RestartSec=50s
  13. #以下省略

备份原来配置

  1. mv /etc/supervisor/supervisord.conf /etc/supervisor/supervisord.conf.bak

使用新配置

  1. vi /etc/supervisor/supervisord.conf
  1. [unix_http_server]
  2. file=/var/run/supervisor.sock   ;UNIX socket 文件，supervisorctl 会使用
  3. ;chmod=0700                 ;socket文件的mode，默认是0700
  4. ;chown=nobody:nogroup       ;socket文件的owner，格式：uid:gid
  6. [inet_http_server]         ;HTTP服务器，提供web管理界面
  7. port=0.0.0.0:9001              ;Web管理后台运行的IP和端口，如果开放到公网，需要注意安全性
  8. username=super                 ;登录管理后台的用户名
  9. password=super8!               ;登录管理后台的密码
  11. [supervisord]
  12. logfile=/var/log/supervisor/supervisord.log ;日志文件，默认是 $CWD/supervisord.log
  13. logfile_maxbytes=50MB        ;日志文件大小，超出会rotate，默认 50MB，如果设成0，表示不限制大小
  14. logfile_backups=10           ;日志文件保留备份数量默认10，设为0表示不备份
  15. loglevel=info                ;日志级别，默认info，其它: debug,warn,trace
  16. pidfile=/var/run/supervisord.pid ;pid 文件
  17. nodaemon=false               ;是否在前台启动，默认是false，即以 daemon 的方式启动
  18. minfds=1024                  ;可以打开的文件描述符的最小值，默认 1024
  19. minprocs=200                 ;可以打开的进程数的最小值，默认 200
  21. [rpcinterface:supervisor]    ;这个选项是给XML_RPC用的，当然你如果想使用supervisord或者web server 这个选项必须要开启的
  22. supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
  24. [supervisorctl]
  25. serverurl=unix:///var/run/supervisor.sock ;通过UNIX socket连接supervisord，路径与unix_http_server部分的file一致
  26. ;serverurl=http://127.0.0.1:9001 ; 通过HTTP的方式连接supervisord
  28. ;包含其它配置文件
  29. [include]
  30. files = /etc/supervisor/conf.d/*.conf  ;可以指定一个或多个以.conf结束的配置文件

自定义启动服务配置（想使用supervisord管理我们自己的服务先要定义supervisord配置）

  1. vi /etc/supervisor/conf.d/test.conf     #test修改为自己对应的服务名
  1. ; [program:test]是被管理的进程配置参数，test是进程的名称
  2. [program:test]
  3. command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令
  4. autostart=true                                         ; 在supervisord启动的时候也自动启动
  5. startsecs=10                                           ; 启动10秒后没有异常退出，就表示进程正常启动了，默认为1秒
  6. autorestart=true                                       ; 程序退出后自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启
  7. startretries=3                                         ; 启动失败自动重试次数，默认是3
  8. user=tomcat                                            ; 用哪个用户启动进程，默认是root
  9. priority=999                                           ; 进程启动优先级，默认999，值小的优先启动
  10. redirect_stderr=true                                   ; 把stderr重定向到stdout，默认false
  11. stdout_logfile_maxbytes=100MB                          ; stdout 日志文件大小，默认50MB
  12. stdout_logfile_backups = 10                            ; stdout 日志文件备份数，默认是10
  13. stdout_logfile=/var/log/test.log                       ; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
  1. [program:test]
  2. command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run
  3. autostart=true
  4. startsecs=10
  5. autorestart=true
  6. redirect_stderr=true
  7. stdout_logfile_maxbytes=100MB
  8. stdout_logfile=/var/log/test.log

更新配置

  1. supervisorctl update         #让supervisor读取自定义的配置，新加的配置都要执行下

三、supervisor使用

3.1 常用命令

  1. supervisorctl status        #查看所有进程的状态
  2. supervisorctl start es      #启动es服务
  3. supervisorctl stop es       #停止es服务
  4. supervisorctl restart       #重启es服务
  5. supervisorctl update        #配置文件修改后使用该命令加载新的配置
  6. supervisorctl reload        #重新启动配置中的所有程序

查看supervisor管理

  1. supervisorctl status

输出

  1. 服务名                           运行状态  PID号，运行时间
  2. test                             RUNNING   pid 3177635, uptime 0:00:13

supervisor.zip

参数详解

  1. ; Sample supervisor config file.
  2. [unix_http_server]
  3. file=/var/run/supervisor/supervisor.sock   ; socket 路径
  5. ;chmod=0700                 ; socket 文件的权限
  6. ;chown=nobody:nogroup       ; socket 所属用户及组
  7. ;username=user              ; 用户名
  8. ;password=123               ; 密码
  10. ;[inet_http_server]         ; 是否启用服务，默认是关闭的（启用的话可以看到supervisor 管理的服务状态）
  11. ;port=127.0.0.1:9001        ; 监听的IP及端口
  12. ;username=user              ; 用户名
  13. ;password=123               ; 密码
  15. [supervisord]               ; supervisord 全局配置
  16. logfile=/var/log/supervisor/supervisord.log  ; supervisor 日志路径
  17. logfile_maxbytes=50MB       ; 单个日志文件最大数
  18. logfile_backups=10          ; 保留多少个日志文件（默认10个）
  19. loglevel=info               ; (log level;default info; others: debug,warn,trace)
  20. pidfile=/var/run/supervisord.pid ; pid 文件路径
  21. nodaemon=false              ; 启动是否丢到前台，设置为false ，表示以daemon 的方式启动
  22. minfds=1024                 ; 最小文件打开数，对应系统limit.conf 中的nofile ,默认最小为1024，最大为4096
  23. minprocs=200                ; 最小的进程打开数，对应系统的limit.conf 中的nproc,默认为200
  24. ;umask=022                  ; (process file creation umask;default 022)
  25. ;user=chrism                 ; 启动supervisord 服务的用户，默认为root
  26. ;identifier=supervisor       ; (supervisord identifier, default is 'supervisor')
  27. ;directory=/tmp              ; 这里的目录指的是服务的工作目录
  28. ;nocleanup=true              ; (don't clean up tempfiles at start;default false)
  29. ;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
  30. ;environment=KEY=value       ; (key value pairs to add to environment)
  31. ;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)
  33. ; the below section must remain in the config file for RPC
  34. ; (supervisorctl/web interface) to work, additional interfaces may be
  35. ; added by defining them in separate rpcinterface: sections
  36. [rpcinterface:supervisor]
  37. supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
  39. [supervisorctl]
  40. serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
  41. ;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
  42. ;username=chris              ; should be same as http_username if set
  43. ;password=123                ; should be same as http_password if set
  44. ;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
  45. ;history_file=~/.sc_history  ; use readline history if available
  47. ; The below sample program section shows all possible program subsection values,
  48. ; create one or more 'real' program: sections to be able to control them under
  49. ; supervisor.
  51. ;[program:theprogramname]      ; 定义一个守护进程 ，比如下面的elasticsearch 
  52. ;command=/bin/cat              ; 启动程序使用的命令，可以是绝对路径或者相对路径
  53. ;process_name=%(program_name)s ; 一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s
  54. ;numprocs=1                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
  55. ;directory=/tmp                ; supervisord在生成子进程的时候会切换到该目录
  56. ;umask=022                     ; umask for process (default None)
  57. ;priority=999                  ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999
  58. ;autostart=true                ; 如果设置为true，当supervisord启动的时候，进程会自动启动
  59. ;autorestart=true              ; 设置为随 supervisord 重启而重启，值可以是false、true、unexpected。false：进程不会自动重启
  60. ;startsecs=10                  ; 程序启动后等待多长时间后才认为程序启动成功，默认是10秒
  61. ;startretries=3                ; supervisord尝试启动一个程序时尝试的次数。默认是3
  62. ;exitcodes=0,2                 ; 一个预期的退出返回码，默认是0,2。
  63. ;stopsignal=QUIT               ; 当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2
  64. ;stopwaitsecs=10               ; 在操作系统给supervisord发送SIGCHILD信号时等待的时间
  65. ;user=chrism                   ; 如果supervisord以root运行，则会使用这个设置用户启动子程序
  66. ;redirect_stderr=true          ; 如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符
  67. ;stdout_logfile=/a/path        ; 把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置
  68. ;stdout_logfile_maxbytes=1MB   ; 标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  69. ;stdout_logfile_backups=10     ; 标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份
  70. ;stdout_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  71. ;stdout_events_enabled=false   ; 如果设置为true，当进程在写它的stderr
  72. ;stderr_logfile=/a/path        ; 把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true
  73. ;stderr_logfile_maxbytes=1MB   ; 错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  74. ;stderr_logfile_backups=10     ; 错误日志轮转备份的数量，默认是10，如果设置为0，则不备份
  75. ;stderr_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  76. ;stderr_events_enabled=false   ; 如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
  77. ;environment=A=1,B=2           ; 一个k/v对的list列表
  78. ;serverurl=AUTO                ; 是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url
  80. ; The below sample eventlistener section shows all possible
  81. ; eventlistener subsection values, create one or more 'real'
  82. ; eventlistener: sections to be able to handle event notifications
  83. ; sent by supervisor.
  84. #这个地方是自定义一个守护进程
  85. [program:elasticsearch]                       ; 定义一个守护进程 elasticsearch
  86. environment=ES_HOME=/usr/local/elasticsearch  ; 设置ES_HOME 环境变量
  87. user=elk                                      ; 启动elasticsearch 的用户
  88. directory=/usr/local/elasticsearch            ; 进入到这个目录中
  89. command=/usr/local/elasticsearch/bin/elasticsearch ; 执行启动命令
  90. numprocs=1                                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
  91. autostart=true                                ; 设置为随 supervisord 启动而启动
  92. autorestart=true                              ; 设置为随 supervisord 重启而重启
  93. startretries=3                                ; 设置elasticsearch 重启的重试次数
  94. priority=1                                    ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999  
  96. ;[eventlistener:theeventlistenername]
  97. ;command=/bin/eventlistener    ; the program (relative uses PATH, can take args)
  98. ;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
  99. ;numprocs=1                    ; number of processes copies to start (def 1)
  100. ;events=EVENT                  ; event notif. types to subscribe to (req'd)
  101. ;buffer_size=10                ; event buffer queue size (default 10)
  102. ;directory=/tmp                ; directory to cwd to before exec (def no cwd)
  103. ;umask=022                     ; umask for process (default None)
  104. ;priority=-1                   ; the relative start priority (default -1)
  105. ;autostart=true                ; start at supervisord start (default: true)
  106. ;autorestart=unexpected        ; restart at unexpected quit (default: unexpected)
  107. ;startsecs=10                  ; number of secs prog must stay running (def. 1)
  108. ;startretries=3                ; max # of serial start failures (default 3)
  109. ;exitcodes=0,2                 ; 'expected' exit codes for process (default 0,2)
  110. ;stopsignal=QUIT               ; signal used to kill process (default TERM)
  111. ;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
  112. ;user=chrism                   ; setuid to this UNIX account to run the program
  113. ;redirect_stderr=true          ; redirect proc stderr to stdout (default false)
  114. ;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
  115. ;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
  116. ;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
  117. ;stdout_events_enabled=false   ; emit events on stdout writes (default false)
  118. ;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
  119. ;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
  120. ;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
  121. ;stderr_events_enabled=false   ; emit events on stderr writes (default false)
  122. ;environment=A=1,B=2           ; process environment additions
  123. ;serverurl=AUTO                ; override serverurl computation (childutils)
  125. ; The below sample group section shows all possible group values,
  126. ; create one or more 'real' group: sections to create "heterogeneous"
  127. ; process groups.
  129. ;[group:thegroupname]          ; 服务组管理，可以将多个服务名写到这里管理(组名自定义）
  130. ;programs=progname1,progname2  ; 上面配置好的服务名，比如elasticsearch,kibana,logstash
  131. ;priority=999                  ; the relative start priority (default 999)
  133. ; The [include] section can just contain the "files" setting.  This
  134. ; setting can list multiple files (separated by whitespace or
  135. ; newlines).  It can also contain wildcards.  The filenames are
  136. ; interpreted as relative to this file.  Included files *cannot*
  137. ; include files themselves.
  139. [include]
  140. files = supervisord.d/*.ini
  141. 将需要守护的进程写入配置 保存目录与supevisor配置文件里面的
  1. - command：启动程序使用的命令，可以是绝对路径或者相对路径
  2. - process_name：一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s
  3. - numprocs：Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
  4. - numprocs_start：一个int偏移值，当启动实例的时候用来计算numprocs的值
  5. - priority：权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999
  6. - autostart：如果设置为true，当supervisord启动的时候，进程会自动重启。
  7. - autorestart：值可以是false、true、unexpected。false：进程不会自动重启，unexpected：当程序退出时的退出码不是exitcodes中定义的时，进程会重启，true：进程会无条件重启当退出的时候。
  8. - startsecs：程序启动后等待多长时间后才认为程序启动成功
  9. - startretries：supervisord尝试启动一个程序时尝试的次数。默认是3
  10. - exitcodes：一个预期的退出返回码，默认是0,2。
  11. - stopsignal：当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2。
  12. - stopwaitsecs：在操作系统给supervisord发送SIGCHILD信号时等待的时间
  13. - stopasgroup：如果设置为true，则会使supervisor发送停止信号到整个进程组
  14. - killasgroup：如果设置为true，则在给程序发送SIGKILL信号的时候，会发送到整个进程组，它的子进程也会受到影响。
  15. - user：如果supervisord以root运行，则会使用这个设置用户启动子程序
  16. - redirect_stderr：如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符。
  17. - stdout_logfile：把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置。
  18. - stdout_logfile_maxbytes：标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  19. - stdout_logfile_backups：标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份
  20. - stdout_capture_maxbytes：当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  21. - stdout_events_enabled：如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
  22. - stderr_logfile：把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true
  23. - stderr_logfile_maxbytes：错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  24. - stderr_logfile_backups：错误日志轮转备份的数量，默认是10，如果设置为0，则不备份
  25. - stderr_capture_maxbytes：当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  26. - stderr_events_enabled：如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
  27. - environment：一个k/v对的list列表
  28. - directory：supervisord在生成子进程的时候会切换到该目录
  29. - umask：设置进程的umask
  30. - serverurl：是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url