Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環境

　　秒殺活動可以說在網際網路上隨處可見，從12306搶票，到聚划算搶購，我們生活的方方面面都可以看到秒殺的身影。秒殺的架構設計也是對於一個架構師架構設計能力的一次考驗。本文的目的並不在於提供一個可以直接落地的設計方案，而是意在提供一個簡單的方法，一個思路，使大家能夠對於秒殺背後的一些設計有更感性的認識, 並且可以自己親自動手實踐一下。所有的配置及源碼都在本文最後的github repository中可以找到。

　　首先，先簡單介紹下本文中會涉及到的一些組件，如下圖所示：

　　

　　jmeter：用jmeter來模擬秒殺活動中大量並發的用戶請求

　　seckill service：基於nodejs使用express實現的秒殺service，圖中的步驟2，3，4都是在這個service中處理的

　　redis：一個redis的docker container，在其中保存一個名為counter的數據來表示當前剩餘的庫存大小

　　kafka: 一個kafka的docker container，其實這裡還有一個zookeeper的docker container，kafka用zookeeper來存放一些元數據，在程序中並沒有涉及到，所以也就不單獨列出來說了。seckill service在更新完redis之後，會發送一條消息給kafka表示一次成功的秒殺

　　seckill kafka consumer: 基於nodejs的kafka consumer，會從kafka中去獲取秒殺成功的消息，處理並且存儲到mysql中

　　mysql：一個mysql的docker container，最終秒殺成功的請求都會對應著資料庫表中的一條記錄

　　環境搭建

　　1 . 安裝jmeter
從官網下載一個jmeter的binary包，執行bin目錄下的jmeter即可啟動，啟動後如下圖新建一個名為seckill的thread group，並且設置在5s內發起2000次並發請求。

　　

　　在這個thread group下新建一個http request的sampler並命名為seckill，按下圖配置host name，port number，http request method以及request path

　　

　　2 . 安裝redis，kafka, zookeeper和mysql
為了方便搭建環境，這幾個組件會以docker container的形式啟動。在此之前需要去docker官網下載並安裝docker engine，docker machine和docker compose。如果是在windows或者mac上，docker官網提供docker for windows／docker for mac安裝程序，可以很方便的把這3個組件安裝好。

　　3 . 編寫docker compose文件
創建一個seckill項目文件夾，新建一個docker-compose.yml文件，內容如下：

　　

　　配置文件中一共配置了4個services對應4個docker container，分別是zookeeper，kafka，redis以及mysql。這裡有兩個地方需要設置成你實際環境的值，一個是kafka配置下面的kafka_advertised_host_name欄位，這個需要設置成本地機器的ip。另一個是mysql配置下面的mysql_root_password，你可以設置成你想要的任何值。

　　創建好這個文件之後，就可以去命令行項目根目錄中執行docker-compose up，docker engine就會把上面配置的這4個組件全部啟動起來。

　　注意：在啟動完之後，需要去kafka容器中創建一個名為car_number的topic，去redis容器中創建一個名為counter的計數器(設置值為100，代表庫存初始值為100)，去mysql容器中創建一個名為seckill的數據表(包含一個自增長的id自段和一個timestamp格式的date欄位)。

　　代碼片段

　　1 . seckill service

　　

　　

　　第1-8行，引入了程序需要用到的對象，nodejs的mvc框架express, redis, kafka等

　　第10行，利用express提供的方法暴露出一個path為/seckill的post方法

　　第12行，定義了一個方法，在54行會調用

　　第13-22行，新建了一個redis client並且監聽error事件

　　第23行，這行代碼非常關鍵，它的作用是讓redis cilent監視redis中的counter值，之後會啟動一個事務，如果在事務提交的時候發現有其它client修改了counter值的話，就會放棄這個事務。

　　第24行，通過redis client的異步方法獲取counter的值，因為redis的get操作是原子的，所以在這裡不用擔心有並發讀寫的問題。

　　第25-28行，判斷返回的庫存值是否大於0，如果大於0，通過client.multi()啟動一個事務，通過decr()方法將counter值減1，最後通過exec()方法提交事務；如果小於0，則執行第47行，列印賣完了並且關閉redis client。

　　第29-46行，這裡我們看一下multi.exec()中的這個回調方法。在前面我們已經使用watch對counter進行了監視。如果在事務提交過程中有其它client修改了counter值的話，回調方法中的replies參數就會是null，可以看到第29-31行，程序會列印「可能有衝突」並且再次調用fn方法重試。
如果replies的值不為null，就會使用kafka的producer發送一條message到car_number topic。

　　2 . seckill_kafka_consumer

　　

　　這裡的代碼就比較簡單了，會初始化一個kafka consumer監聽car_number topic，對於新獲取的消息會去mysql的seckill表裡插入一條記錄。

　　操作步驟

　　啟動docker container

　　啟動seckill_service

　　啟動seckill_kafka_consumer

　　啟動jmeter發送2000個並發請求

　　結果 jmeter request results

　　

　　redis counter field

　　

　　mysql seckill table

　　

　　可以看到，最後redis中的counter變成0，seckill數據表中會插入100條記錄，沒有發生超賣或者少賣的情況。當然在實際生產環境場景中，還有許多其它需要考慮的地方，希望此文可以起到一個拋磚引玉的作用，幫助大家更好的理解秒殺場景。

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.