使用Supervisor管理Laravel队列进程

发表于 更新于
你看了一千个正确答案，还是要一秒一秒的等时间

Supervisor 是一个 Python 写的进程管理工具，有时一个进程需要在后台运行，并且意外挂掉后能够自动重启，就需要这么一个管理进程的工具。在 Laravel 开发中，也经常使用到队列监听，可以配合 Supervisor 来管理 Laravel 队列进程。

Supervisor的安装

  • 使用 pip 工具进行安装：
    1
    2
    3
    sudo yum install epel-release
    sudo yum -y install  python-pip
    sudo pip install supervisor
  • Ubuntu 系统使用 apt-get
    1
    sudo apt-get install supervisor
  • 还有其他的安装方式，请见官网（http://supervisord.org/）

Supervisor的配置

一般配置文件在/etc/supervisor/conf.d 目录下
也可以运行这个命令可以生成一个默认的配置文件：

1
echo_supervisord_conf > /etc/supervisor/supervisord.conf

生成成功后，打开编辑这个文件，把最后的 include 块的注释打开，并修改如下：

1
2
[include]
files = /etc/supervisor/*.conf

新增的 Supervisor 配置文件放在 /etc/supervisor 目录下，并且以 conf 结尾。

这时我们使用新的配置文件来启动 Supervisor：

1
supervisord -c /etc/supervisord.conf

如果提示已经有进程在运行，那么先 kill 掉它。

使用Supervisor管理Laravel队列进程

我们使用 Laravel 队列，会用到 php artisan queue:work 命令，让它监听队列，我们可以通过 nohup 方式让它在后台运行，但是进程如果意外中断是不会自动重启的，所以使用 Supervisor 来监控进程是个很好的方式。

首先在 /etc/supervisor 目录下新增一个 Supervisor 的配置文件，如下：
文件名erp2-worker.conf,和配置文件中指定的program保持一致

1
2
3
4
5
6
7
8
9
[program:erp2-worker]
process_name=%(program_name)s_%(process_num)02d
command=/usr/bin/php7 /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
autostart=true
autorestart=true
user=vagrant
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/supervisor/laravel-queue.log

这里 user 填写网站运行进程的用户，如 vagrant，numprocs 表示启动多少个进程来监听 Laravel 队列。
一切就绪后，我们使用如下命令就可以启动队列进程的监听了：

注意: 修改了配置文件以后都要进行 reload 和 update

1
2
3
4
5
6
7
8
9
10
supervisord # 先执行

sudo supervisorctl reload

sudo supervisorctl update

sudo supervisorctl start erp2-worker:*

// 或者
sudo supervisorctl start all

但是在这一步，发生了错误，提示如下：

laravel-worker:laravel-worker_00: ERROR (spawn error)
laravel-worker:laravel-worker_01: ERROR (spawn error)
laravel-worker:laravel-worker_02: ERROR (spawn error)
laravel-worker:laravel-worker_03: ERROR (spawn error)
laravel-worker:laravel-worker_04: ERROR (spawn error)
laravel-worker:laravel-worker_05: ERROR (spawn error)
laravel-worker:laravel-worker_06: ERROR (spawn error)
laravel-worker:laravel-worker_07: ERROR (spawn error)

经过一番折腾，解决方法是，把 Supervisor 的日志文件，和新增的队列配置文件中的日志文件，用 chown 把用户和组设置为正确的，如本例是 chown vagrant:vagrant file_name，另外把日志文件权限设置为 777.

再次经过上述步骤，成功开启进程管理：

laravel-worker:laravel-worker_00: started
laravel-worker:laravel-worker_01: started
laravel-worker:laravel-worker_02: started
laravel-worker:laravel-worker_03: started
laravel-worker:laravel-worker_04: started
laravel-worker:laravel-worker_05: started
laravel-worker:laravel-worker_06: started
laravel-worker:laravel-worker_07: started

可以看到 Laravel 队列开始正常运行了，这里值得注意的是，如果 Laravel 处理队列的代码更改了，需要重启 Supervisor 的队列管理才能生效。

查看运行情况:

1
ps -ef|grep 'queue:work'

结果

1
2
3
4
5
6
7
8
9
vagrant   4899  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4900  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4901  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4902  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4903  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4904  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4905  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4906  1407  0 03:10 ?        00:00:00 /usr/bin/php /home/vagrant/code/ccerp-v2/artisan queue:work --tries=3
vagrant   4978  2575  0 03:11 pts/0    00:00:00 grep --color=auto queue:work

一个错误

使用supervisorctl reload却得到报错提示：

1
error: <class 'socket.error'>, [Errno 2] No such file or directory: file: /usr/lib/python2.7/socket.py line: 228

在运行 reload 命令前，先运行如下两个命令

1
2
sudo supervisord -c /etc/supervisor/supervisord.conf  
sudo supervisorctl -c /etc/supervisor/supervisord.conf

或者直接

1
sudo supervisord

即可解决

Horizon

Horizon为 Laravel 官方出品的 Redis 队列提供了一个可以通过代码进行配置、并且非常漂亮的仪表盘，并且能够轻松监控队列的任务吞吐量、执行时间以及任务失败情况等关键指标。

队列执行者的所有配置项都存放在一个简单的配置文件中，所以团队可以通过版本控制进行协作维护。

生产环境中，我们需要配置一个进程管理工具来监控 php artisan horizon 命令的执行，以便在其意外退出时自动重启。当服务器部署新代码时，需要终止当前 Horizon 主进程，然后通过进程管理工具来重启，从而使用最新的代码。

使用 Artisan 命令 horizon:terminate 来正常停止系统中的 Horizon 主进程，此命令执行时，Horizon 当前执行中的任务会被正常完成，然后 Horizon 执行结束：

1
php artisan horizon:terminate

Supervisor 配置
可以使用进程管理工具 Supervisor 来管理 horizon 进程，下面配置文件就已够用：

1
2
3
4
5
6
7
8
[program:horizon]
process_name=%(program_name)
command=php /home/forge/app.com/artisan horizon
autostart=true
autorestart=true
user=forge
redirect_stderr=true
stdout_logfile=/home/forge/app.com/horizon.log

注意Horizon仅仅支持redis, 不支持database等其他队列引擎;

其他

配置说明:

1
2
3
4
5
6
7
8
9
10
11
12
13
; 设置进程的名称，使用 supervisorctl 来管理进程时需要使用该进程名
[program:foo] 
; 可以在 command 这里用 python 表达式传递不同的参数给每个进程
command=python server.py --port=90%(process_num)02d
directory=/home/python/tornado_server ; 执行 command 之前，先切换到工作目录
; 若 numprocs 不为1，process_name 的表达式中一定要包含 process_num 来区分不同的进程
numprocs=2                   
process_name=%(program_name)s_%(process_num)02d; 
user=oxygen                 ; 使用 oxygen 用户来启动该进程
autorestart=true            ; 程序崩溃时自动重启
redirect_stderr=true        ; 重定向输出的日志
stdout_logfile = /var/log/supervisor/tornado_server.log
loglevel=info

上面这个例子会启动两个进程，process_name 分别为 foo:foo_01 和 foo:foo_02。通过这样一种方式，就可以用一个 [program:x] 配置项，来启动一组非常类似的进程。

https://laravel-china.org/topics/3592/using-supervisor-to-manage-laravel-queue-processes
https://laravel-china.org/docs/laravel/5.5/horizon
https://www.restran.net/2015/10/04/supervisord-tutorial/
http://weidwonder.leanote.com/post/Untitled-55faa25638f4111167000067-6
https://linuxize.com/post/how-to-install-pip-on-centos-7/