Fork me on GitHub

使用Supervisor管理Laravel队列进程


你看了一千个正确答案,还是要一秒一秒的等时间

Supervisor 是一个 Python 写的进程管理工具,有时一个进程需要在后台运行,并且意外挂掉后能够自动重启,就需要这么一个管理进程的工具。在 Laravel 开发中,也经常使用到队列监听,可以配合 Supervisor 来管理 Laravel 队列进程。

Supervisor的安装

  • 使用 pip 工具进行安装:

    1
    sudo pip install supervisor
  • Ubuntu 系统使用 apt-get

    1
    sudo apt-get install supervisor
  • 还有其他的安装方式,请见官网(http://supervisord.org/)

Supervisor的配置

一般配置文件在/etc/supervisor/conf.d 目录下
也可以运行这个命令可以生成一个默认的配置文件:

1
echo_supervisord_conf > /etc/supervisord.conf

生成成功后,打开编辑这个文件,把最后的 include 块的注释打开,并修改如下:

1
2
[include]
files = /etc/supervisor/*.conf

新增的 Supervisor 配置文件放在 /etc/supervisor 目录下,并且以 conf 结尾。

这时我们使用新的配置文件来启动 Supervisor:

1
supervisord -c /etc/supervisord.conf

如果提示已经有进程在运行,那么先 kill 掉它。

使用Supervisor管理Laravel队列进程

我们使用 Laravel 队列,会用到 php artisan queue:work 命令,让它监听队列,我们可以通过 nohup 方式让它在后台运行,但是进程如果意外中断是不会自动重启的,所以使用 Supervisor 来监控进程是个很好的方式。

首先在 /etc/supervisor 目录下新增一个 Supervisor 的配置文件,如下:
文件名erp2-worker.conf,和配置文件中指定的program保持一致

1
2
3
4
5
6
7
8
9
[program:erp2-worker]
process_name=%(program_name)s_%(process_num)02d
command=/usr/bin/php7 /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
autostart=true
autorestart=true
user=vagrant
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/supervisor/laravel-queue.log

这里 user 填写网站运行进程的用户,如 vagrant,numprocs 表示启动多少个进程来监听 Laravel 队列。
一切就绪后,我们使用如下命令就可以启动队列进程的监听了:

注意: 修改了配置文件以后都要进行 reload 和 update

1
2
3
4
5
6
7
8
9
10
supervisorctl reload
sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start erp2-worker:*
// 或者
sudo supervisorctl start all

但是在这一步,发生了错误,提示如下:

laravel-worker:laravel-worker_00: ERROR (spawn error)
laravel-worker:laravel-worker_01: ERROR (spawn error)
laravel-worker:laravel-worker_02: ERROR (spawn error)
laravel-worker:laravel-worker_03: ERROR (spawn error)
laravel-worker:laravel-worker_04: ERROR (spawn error)
laravel-worker:laravel-worker_05: ERROR (spawn error)
laravel-worker:laravel-worker_06: ERROR (spawn error)
laravel-worker:laravel-worker_07: ERROR (spawn error)

经过一番折腾,解决方法是,把 Supervisor 的日志文件,和新增的队列配置文件中的日志文件,用 chown 把用户和组设置为正确的,如本例是 chown vagrant:vagrant file_name,另外把日志文件权限设置为 777.

再次经过上述步骤,成功开启进程管理:

laravel-worker:laravel-worker_00: started
laravel-worker:laravel-worker_01: started
laravel-worker:laravel-worker_02: started
laravel-worker:laravel-worker_03: started
laravel-worker:laravel-worker_04: started
laravel-worker:laravel-worker_05: started
laravel-worker:laravel-worker_06: started
laravel-worker:laravel-worker_07: started

可以看到 Laravel 队列开始正常运行了,这里值得注意的是,如果 Laravel 处理队列的代码更改了,需要重启 Supervisor 的队列管理才能生效。

查看运行情况:

1
ps -ef|grep 'queue:work'

结果

1
2
3
4
5
6
7
8
9
vagrant 4899 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4900 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4901 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4902 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4903 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4904 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4905 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4906 1407 0 03:10 ? 00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant 4978 2575 0 03:11 pts/0 00:00:00 grep --color=auto queue:work

Horizon

Horizon为 Laravel 官方出品的 Redis 队列提供了一个可以通过代码进行配置、并且非常漂亮的仪表盘,并且能够轻松监控队列的任务吞吐量、执行时间以及任务失败情况等关键指标。

队列执行者的所有配置项都存放在一个简单的配置文件中,所以团队可以通过版本控制进行协作维护。

生产环境中,我们需要配置一个进程管理工具来监控 php artisan horizon 命令的执行,以便在其意外退出时自动重启。当服务器部署新代码时,需要终止当前 Horizon 主进程,然后通过进程管理工具来重启,从而使用最新的代码。

使用 Artisan 命令 horizon:terminate 来正常停止系统中的 Horizon 主进程,此命令执行时,Horizon 当前执行中的任务会被正常完成,然后 Horizon 执行结束:

1
php artisan horizon:terminate

Supervisor 配置
可以使用进程管理工具 Supervisor 来管理 horizon 进程,下面配置文件就已够用:

1
2
3
4
5
6
7
8
[program:horizon]
process_name=%(program_name)
command=php /home/forge/app.com/artisan horizon
autostart=true
autorestart=true
user=forge
redirect_stderr=true
stdout_logfile=/home/forge/app.com/horizon.log

注意Horizon仅仅支持redis, 不支持database等其他队列引擎;

其他

配置说明:

1
2
3
4
5
6
7
8
9
10
11
12
13
; 设置进程的名称,使用 supervisorctl 来管理进程时需要使用该进程名
[program:foo]
; 可以在 command 这里用 python 表达式传递不同的参数给每个进程
command=python server.py --port=90%(process_num)02d
directory=/home/python/tornado_server ; 执行 command 之前,先切换到工作目录
; 若 numprocs 不为1,process_name 的表达式中一定要包含 process_num 来区分不同的进程
numprocs=2
process_name=%(program_name)s_%(process_num)02d;
user=oxygen ; 使用 oxygen 用户来启动该进程
autorestart=true ; 程序崩溃时自动重启
redirect_stderr=true ; 重定向输出的日志
stdout_logfile = /var/log/supervisor/tornado_server.log
loglevel=info

上面这个例子会启动两个进程,process_name 分别为 foo:foo_01 和 foo:foo_02。通过这样一种方式,就可以用一个 [program:x] 配置项,来启动一组非常类似的进程。

https://laravel-china.org/topics/3592/using-supervisor-to-manage-laravel-queue-processes
https://laravel-china.org/docs/laravel/5.5/horizon
https://www.restran.net/2015/10/04/supervisord-tutorial/