如何安裝和使用Beanstalkd工作隊列

介紹

小心翼翼地宣布每一元素的職責部署應用程式棧帶來很多好處,包括簡單的診斷問題時發生,規模迅速的能力,以及更清晰的管理範圍涉及的組件。

在當今世界web服務的工程,一個關鍵的組件實現上述場景涉及利用消息隊列和工作(或任務)。這些通常是彈性和靈活的應用程式很容易實現和設置。他們是完美的分裂的不同部分之間的業務邏輯應用程式包時生產。

在這篇文章中,我們的應用程式級別系列通信解決方案,我們將看看Beanstalkd創建這個片段的分離。

什麼是Beanstalkd

Beanstalkd首先是解決了一個流行的web應用程式的需求(Facebook上的原因)。目前,這是一個絕對可靠,易於安裝的消息傳遞服務,是完美的開始和使用。

如前所述,Beanstalkd的主要用例是管理不同部分和工人之間的工作流應用程式的部署通過工作隊列和消息堆棧,類似於其他受歡迎的解決方案,比如RabbitMQ。然而,創建Beanstalkd使它有別於其他工作。

自成立以來,與其他解決方案,Beanstalkd旨在成為一個工作隊列,而不是一把雨傘工具來滿足許多需求。為了實現這一目的,它作為一種輕量級的、快速有效的應用程式基於C程式語言。精益建築還允許它是安裝和使用非常簡單,使它適合大多數用例。

Features(特性)

能夠監控工作返回ID,在創建返回,只有一個的特性使它有別於其他的Beanstalkd。提供一些其他有趣的功能是:

1.持久性—>Beanstalkd運行使用內存,但也提供了持久性支持。

2.優先級—>與大多數選擇一樣,Beanstalkd提供了不同的任務的優先級來處理緊急事情時需要。

3.分布 —->不同的伺服器實例可以分布類似於Memcached是如何工作的。

4.掩蓋 —-> 有可能通過掩蓋它無限期延期的作業(即任務)。

5.第三方工具—>Beanstalkd附帶各種第三方工具包括綜合領先指標和基於web的管理控制臺。

6.過期 —->工作可以設置為過期,auto-queue之後(TTR – Time To Run).

Beanstalkd使用案例

一些模範的Banstalkd用例:

允許web伺服器快速響應請求,而不是被迫當場曾推高程序執行

在指定的時間間隔執行某些工作(即爬行web)

分發到多個工作人員進行處理

讓離線客戶端(例如一個斷開連接的用戶)獲取數據在稍後的時間,而不是讓它永久失去了通過一個工人

引入完全異步功能的後端系統

訂購和優先任務

應用程式負載不同員工之間保持平衡

極大地提高應用程式的可靠性和正常運行時間

處理CPU密集型工作(視頻、圖片等)

發送電子郵件到您的列表和更多。

Beanstalkd元素

就像大多數應用程式,Beanstalkd附帶自己的術語來解釋它的部分。

Tubes / Queues

Beanstalkd管翻譯從其他消息傳遞應用程式隊列。他們是通過工作(或消息)轉移到消費者(即工人)。

Jobs / Messages

由於Beanstalkd是一個工作隊列,通過管稱為轉移工作是什麼——類似於所發送的消息。

Producers / Senders

生產商,類似於高級消息隊列協議的定義,是應用程式創建和發送工作(或消息)。他們正在使用的消費者。

Consumers / Receivers

接收器是不同的應用程式的堆棧從管找份工作,由生產者進行處理。

在Ubuntu 13安裝Beanstalkd

可以很簡單獲得Beanstalkd通過包管理器才能和開始。然而,在幾個命令,您還可以從源下載並安裝它。

注意:我們將執行安裝和執行行動列在這裡的新鮮和新創建的液滴由於各種原因。如果你是積極服務客戶,可能會修改您的系統,不要打破任何工作和不運行在問題,強烈建議您試著在一個新系統下面的說明。

使用aptitude安裝：

下載並安裝Beanstalkd運行以下命令:

1. aptitude install -y beanstalkd 

編輯默認配置文件讓隨著系統啟動

1. vim /etc/default/beanstalkd 

打開文件後,向下滾動並找到底部線#開始= yes。將其更改為:

1. START=yes 

下面介紹源碼安裝

我們需要從原始碼安裝過程的一個關鍵工具- Git。

運行以下獲取Git在你系統上：

1. aptitude install -y git 

下載必要的開發工具軟體包:

1. aptitude install -y build-essential 

使用Git克隆(下載)官方庫:

1. git clone https://github.com/kr/beanstalkd 

進入到下載目錄:

1. cd beanstalkd 

從原始碼構建應用程式:

1. make 

安裝：

1. make install 

再介紹一下centos下源碼安裝：

1. 下載地址： 
2.   
3. wget   http://cloud.github.com/downloads/kr/beanstalkd/beanstalkd-1.4.6.tar.gz 
4.   
5. 解壓： 
6.   
7. tar xzf beanstalkd-1.4.6.tar.gz 
8.   
9. cd beanstalkd-1.4.6 
10.   
11. /configure 
12.  
13. make 
14.   
15. make install 
16.   
17. 默認安裝路徑 ：/usr/local/bin/ 
18.   
19. 查看版本： 
20.   
21. /usr/local/bin/beanstalkd -v 
22.   
23. 1.4.6 

再附加一個啟動腳本，從Fedora下挖來的 startup 腳本：

1. #!/bin/sh 
2. # 
3. # beanstalkd - a simple, fast workqueue service 
4. # 
5. # chkconfig:   - 57 47 
6. # description: a simple, fast workqueue service 
7. # processname:  beanstalkd 
8. # config:       /etc/sysconfig/beanstalkd 
9. #              
10.   
11. ### BEGIN INIT INFO 
12. # Provides: beanstalkd 
13. # Required-Start: $local_fs $network $remote_fs 
14. # Required-Stop: $local_fs $network $remote_fs 
15. # Default-Stop: 0 1 2 6 
16. # Short-Description: start and stop beanstalkd 
17. # Description: a simple, fast work-queue service 
18. ### END INIT INFO 
19.   
20. # Source function library. 
21. /etc/rc.d/init.d/functions 
22.   
23. # Source networking configuration. 
24. /etc/sysconfig/network 
25.   
26. # Check that networking is up. 
27. [ "$NETWORKING" = "no" ] && exit 
28. exec="/usr/local/bin/beanstalkd" 
29. prog=$(basename $exec) 
30.  
31. # default options, overruled by items in sysconfig 
32. BEANSTALKD_ADDR=127.0.0.1 
33. BEANSTALKD_PORT=11300 
34. BEANSTALKD_USER=beanstalkd 
35.   
36. [ -e /etc/sysconfig/beanstalkd ] && . /etc/sysconfig/beanstalkd 
37.   
38. lockfile=/var/lock/subsys/beanstalkd 
39.  
40. start() { 
41. [ -x $exec ] || exit 5 
42. echo -n $"Starting $prog: " 
43. # if not running, start it up here, usually something like "daemon $exec" 
44. options="-l ${BEANSTALKD_ADDR} -p ${BEANSTALKD_PORT} -u ${BEANSTALKD_USER}" 
45. if [ "${BEANSTALKD_MAX_JOB_SIZE}" != ""  ]; then 
46. options="${options} -z ${BEANSTALKD_MAX_JOB_SIZE}" 
47. fi 
48.  
49. if [ "${BEANSTALKD_BINLOG_DIR}" != "" ]; then 
50. if [ ! -d "${BEANSTALKD_BINLOG_DIR}" ]; then 
51. echo "Creating binlog directory (${BEANSTALKD_BINLOG_DIR})" 
52. mkdir -p ${BEANSTALKD_BINLOG_DIR} && chown ${BEANSTALKD_USER}:${BEANSTALKD_USER} ${BEANSTALKD_BINLOG_DIR} 
53. fi 
54. options="${options} -b ${BEANSTALKD_BINLOG_DIR}" 
55. if [ "${BEANSTALKD_BINLOG_FSYNC_PERIOD}" != "" ]; then 
56. options="${options} -f ${BEANSTALKD_BINLOG_FSYNC_PERIOD}" 
57. else 
58. options="${options} -F" 
59. fi 
60. if [ "${BEANSTALKD_BINLOG_SIZE}" != "" ]; then 
61. options="${options} -s ${BEANSTALKD_BINLOG_SIZE}" 
62. fi 
63. fi 
64.  
65. daemon $exec -d $options 
66. retval=$? 
67. echo 
68. [ $retval -eq 0 ] && touch $lockfile 
69. return $retval 
70. } 
71.   
72. stop() { 
73. echo -n $"Stopping $prog: " 
74. # stop it here, often "killproc $prog" 
75. killproc $prog -INT 
76. retval=$? 
77. echo 
78. [ $retval -eq 0 ] && rm -f $lockfile 
79. return $retval 
80. } 
81.   
82. restart() { 
83. stop 
84. start 
85. } 
86.   
87. reload() { 
88. restart 
89. } 
90.   
91. force_reload() { 
92. restart 
93. } 
94.   
95. rh_status() { 
96. # run checks to determine if the service is running or use generic status 
97. status $prog 
98. } 
99.   
100. rh_status_q() { 
101. rh_status >/dev/null 2>&1 
102. } 
103.  
104.  
105. case "$1" in 
106. start) 
107. rh_status_q && exit 0 
108. $1 
109. ;; 
110. stop) 
111. rh_status_q || exit 0 
112. $1 
113. ;; 
114. restart) 
115.  $1 
116. ;; 
117. reload) 
118. rh_status_q || exit 7 
119. $1 
120. ;; 
121. force-reload) 
122. force_reload 
123. ;; 
124. status) 
125. rh_status 
126. ;; 
127. condrestart|try-restart) 
128. rh_status_q || exit 0 
129. restart 
130. ;; 
131. *) 
132. echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload}" 
133. exit 2 
134. esac 
135. exit $? 

使用Beanstalkd

在安裝之後,您就可以開始使用Beanstalkd伺服器。以下是運行守護進程的選項:

1. -b DIR   wal directory 
2. -f MS    fsync at most once every MS milliseconds (use -f0 for "always fsync") 
3. -F       never fsync (default) 
4. -l ADDR  listen on address (default is 0.0.0.0) 
5. -p PORT  listen on port (default is 11300) 
6. -u USER  become user and group 
7. -z BYTES set the maximum job size in bytes (default is 65535) 
8. -s BYTES set the size of each wal file (default is 10485760) 
9. (will be rounded up to a multiple of 512 bytes) 
10. -c       compact the binlog (default) 
11. -n       do not compact the binlog 
12. -v       show version information 
13. -V       increase verbosity 
14. -h       show this help 

使用例子:

1. # Usage: beanstalkd -l [ip address] -p [port #] 
2. # For local only access: 
3. beanstalkd -l 127.0.0.1 -p 11301 & 

管理服務:

如果安裝包管理器(i.e. aptitude),你將能夠管理Beanstalkd作為服務守護進程。

1. # To start the service: 
2. service beanstalkd start 
3.   
4. # To stop the service: 
5. service beanstalkd stop 
6.   
7. # To restart the service: 
8. service beanstalkd restart 
9.   
10. # To check the status: 
11. service beanstalkd status 

獲得Beanstalkd客戶端庫

Beanstalkd配有一長串的支持客戶端庫來處理許多不同的應用程式部署。這個列表的支持語言和框架,包括:

●Python

●Django

●Go

●Java

●Node.js

●Perl

●PHP

●Ruby

●and more.

查看完整列表支持，尋找你最喜歡的語言和安裝說明,查看客戶端庫頁面Beanstalkd Github上。

使用Beanstalkd

在本節之前,完成這篇文章,讓我們快速Beanstalkd的基本用法。在我們的示例中,我們將使用Python語言和Beanstald Python bindings ——beanstalkc。

安裝beanstalkc,運行以下命令:

1. pip install pyyaml 
2. pip install beanstalkc 

基本操作

在所有Python文件你想處理Beanstalkd時,需要導入beanstalkc並連接:

1. import beanstalkc 
2.   
3. # Connection 
4. beanstalk = beanstalkc.Connection(host='localhost', port=11301) 

To enqueue a job:

1. beanstalk.put('job_one') 

To receive a job:

1. job = beanstalk.reserve() 
2. # job.body == 'job_one' 

To delete a job after processing it:

1. job.delete() 

To use a specific tube (i.e. queue / list):

1. beanstalk.use('tube_a') 

To list all available tubes:

1. beanstalk.tubes() 
2. # ['default', 'tube_a'] 

Final example (nano btc_ex.py):

1. import beanstalkc 
2.   
3. # Connect 
4. beanstalk = beanstalkc.Connection(host='localhost', port=11301) 
5.   
6. # See all tubes: 
7. beanstalk.tubes() 
8.  
9. # Switch to the default (tube): 
10. beanstalk.use('default') 
11.   
12. # To enqueue a job: 
13. beanstalk.put('job_one') 
14.   
15. # To receive a job: 
16. job = beanstalk.reserve() 
17.  
18. # Work with the job: 
19. print job.body 
20.   
21. # Delete the job:  
22. job.delete() 

當您運行上面的腳本時,您應該會看到工作的主體被列印:

1. python btc_ex.py 
2. # job_one 

看到更多關於beanstalkd(beanstalkc)操作,查看它的入門教程–>http://beanstalkc.readthedocs.org/en/latest/tutorial.html

【責任編輯：

守望幸福

TEL：[phone]】

點讚 0