一．Beanstalkd队列应用场景。 Beanstalkd 是一个轻量级消息中间件，它最大特点是将自己定位为基于管道 (tube) 和任务 (job) 的工作队列 (work-queue)：
Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持后台任务和定时任务处理。
它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议，具有有很高的性能。
尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时，当前任务状态能够从纪录的本地 binlog 中恢复。
管道 (tube): 管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。 任务 (job): Beanstalkd 用任务 (job) 代替消息 (message) 的概念。与消息不同，任务有一系列状态：
READY- 需要立即处理的任务，当延时 (DELAYED) 任务到期后会自动成为当前任务； DELAYED- 延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 DELAYED 队列延迟执行； RESERVED- 已经被消费者获取, 正在执行的任务。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成； BURIED- 保留的任务: 任务不会被执行，也不会消失，除非有人把它 “踢” 回队列； DELETED- 消息被彻底删除。Beanstalkd 不再维持这些消息。 任务优先级 (priority): 任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn).
延时任务 (delay): 有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时；或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。这种机制可以实现分布式的 Java.util.Timer，这种分布式定时任务的优势是：如果某个消费者节点故障，任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。 任务超时重发 (time-to-run): Beanstalkd 把任务返回给消费者以后：消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态；否则 Beanstalkd 会认为消息处理失败，然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run). 任务预留 (buried): 如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务，并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。 Beanstalkd 协议: Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。这些命令可以简单的分成三组: 生产类 - use <tube> / put <priority> <delay> <ttr> [bytes]: 生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job). 消费类 - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id> 消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务，这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。 维护类 - peek job / peek delayed / peek ready / peek buried / kick <n> 用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。 被保留 (buried) 的任务可以用 kick 命令 “踢” 回队列。
二．Beanstalkd不足 Beanstalkd 没有提供主备同步 + 故障切换机制, 在应用中有成为单点的风险。实际应用中，可以用数据库为任务 (job) 提供持久化存储。
另外, 和 memcached 类似, Beanstalkd 依赖 libevent 的单线程事件分发机制, 不能有效利用多核 cpu 的性能。这一点可以通过单机部署多个实例克服。
三．部署和安装
下载地址：
wget http://cloud.github.com/downloads/kr/beanstalkd/beanstalkd-1.4.6.tar.gz
解压：
tar xzf beanstalkd-1.4.6.tar.gz
cd beanstalkd-1.4.6
./configure
make
make install默认安装路径 ：/usr/local/bin/
查看版本：
/usr/local/bin/beanstalkd –v
启动： /usr/local/bin/beanstalkd -l 0.0.0.0 -p 11300 -b /var/lib/beanstalkd
安装bstools 下载地址 https://github.com/jimbojsb/bstools composer配置国内源安装 使用bs命令
四．使用supervisor监控队列进程 安装supervisor tar zxf supervisor-3.1.3.tar.gz cd supervisor python setup.py install 成功安装后可以登陆python控制台输入import supervisor 查看是否能成功加载。 生成配置文件(supervisord.conf)： echo_supervisord_conf > /etc/supervisord.conf 修改配置文件： 在最后加入 [program:beanstalkd] directory = /fh21_data/fh21_crontab/supervisor/beanstalkd ; 程序的启动目录 command = /usr/local/bin/beanstalkd -l 0.0.0.0 -p 11300 -b /var/lib/beanstalkd ; 启动命令 numprocs=1 autostart = true ; 在 supervisord 启动的时候也自动启动 startsecs = 5 ; 启动 5 秒后没有异常退出，就当作已经正常启动了 autorestart = true ; 程序异常退出后自动重启 startretries = 3 ; 启动失败自动重试次数，默认是 3 stopsignal=KILL user = root ; 用哪个用户启动 redirect_stderr = true ; 把 stderr 重定向到 stdout，默认 false stdout_logfile_maxbytes = 100MB ; stdout 日志文件大小，默认 50MB stdout_logfile_backups = 20 ; stdout 日志文件备份数 ; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件） stdout_logfile = /fh21_data/fh21_crontab/supervisor/beanstalkd/logs/beanstalkd.log
启动supervisor: supervisord -c /etc/supervisord.conf
启动新进程: supervisorctl update
全部重新启动 supervisorctl reload
启动某个进程 supervisorctl start program_name
停止所有进程 supervisorctl stop all 查看守护进程 supervisorctl
五．在PHP中使用beanstalk队列
$config = array( 'persistent' ⇒ false, 'host' ⇒ '0.0.0.0', 'port' ⇒ 11300, 'timeout' ⇒ 1 ); $queue = new Beanstalk ($config); $tube = 'defult'; $queue→useTube($tube); $data = array('0'⇒test); $putdata = serialize(); $res = $queue→put(99, 0, 10, $putdata);写入队列 $queue→useTube($tube); 设置要监听的tube $queue→watch($tube); while (true) { $job = $queue→reserve($tube); 返回格式array('id' ⇒ 123, 'body' ⇒ 'hello, beanstalk') $result = doJob($job); if ($result) { 删除任务 $queue→delete($job['id']); } else { 休眠任务 $queue→bury($job['id'], 99); } }''
