什麼是服務編排/數據聚合?
服務編排/數據聚合 指的是可以通過一個請求來依次調用多個微服務,並對每個服務的返回結果做數據處理,最終整合成一個大的結果返回給前端。
例如一個服務是「查詢用戶預定的酒店」,前端僅需要傳一個訂單ID,後端會返回整個訂單的信息,包括用戶信息、酒店信息和房間信息等。
這個服務背後可能對應著以下幾個操作:
請求訂單詳情,返回訂單對應的用戶ID、酒店ID、房間ID;根據各類ID查詢對應的信息;將數據做過濾、移動等操作,最後整合起來;將整合好的數據返回給前端。下面的圖可以幫你更好理解:
編排的優勢
微服務架構上對功能做了解耦,使用服務編排可以快速從各類服務上獲取需要的數據,對業務實現快速響應。總的來說,編排有以下幾點優勢:
功能解耦,服務能夠被復用;對前端友好,無需多次請求;業務響應速度快,服務能夠被快速生成;返回數據有改動的話,請求接口無影響;老系統改動的情況下,不需要改動前端,可以通過網關對數據做兼容。使用編排工具Goku API Gateway:
先簡單介紹一下,Goku API Gateway (中文名:悟空 API 網關)是一個基於 Golang 開發的微服務網關,能夠實現高性能 HTTP API 轉發、服務編排、多租戶管理、API 訪問權限控制等目的,擁有強大的自定義插件系統可以自行擴展,並且提供友好的圖形化配置界面,能夠快速幫助企業進行 API 服務治理、提高 API 服務的穩定性和安全性。
本次之所以採用Goku API Gateway來進行演示,因為它支持一個編排API對應多個後端服務,每個後端服務的請求參數可以使用前端傳入的參數,也可以在編排裡自定義(寫靜態參數或從返回數據裡獲得)。每個後端服務的返回數據支持過濾、刪除、移動、重命名、拆包和封包等操作,而且編排API能夠設定編排失敗時的異常返回。
這次用的是Goku API Gateway 的社區版本(CE),也就是開源版本,我對內置的插件系統進行部分改動也算是定製開發了。在github中搜eolinker即可看到項目地址。
下面進入實際操作環節。
如何在Goku上做服務編排?
我們將編排的整個操作放到網關進行,由網關對數據做處理與轉換,這樣無需對後端服務做改動。一個請求到達網關,網關調用多個後端服務,並且在網關上對各個服務的返回數據做處理(操作有過濾、移動、重命名、封包、拆包,後面會對各操作做詳細解釋),最後由網關將數據整合好返回給前端。通過下圖查看會更加明白:
操作步驟
1.在網關上,新建API的類型可以選擇服務編排:
2.配置 查詢預定酒店 API的請求信息:
3.添加並配置Step:
網關將編排過程中對 API的轉發處理過程(轉發->獲取返回數據->數據處理)稱為一個 Step。
添加一個轉發服務,該服務為 查詢訂單詳情API,配置相應的轉發地址、傳入的參數、對返回數據做何種處理等。
由於篇幅原因,後續的Step(查詢用戶詳情、查詢酒店詳情、查詢房間詳情)就不一一展示了。
編排的傳遞參數方式和數據處理
為了讓讀者更好的理解編排的實現方式,簡單說一下兩種傳遞參數方式:
(一)編排的兩種傳遞參數方式
網關將編排過程中對 API的轉發處理過程(轉發->獲取返回數據->數據處理)稱為一個 Step。
我們將處理查詢訂單詳情API稱為 Step1,其中Step1的返回數據有:用戶ID、酒店ID、房間ID。同理,將查詢用戶信息這步稱為 Step2,將查詢酒店信息稱為 Step3,將查詢房間信息稱為 Step4。
傳參規則:
使用前端傳入的參數可以寫成:body.參數名、header.參數名使用Step1裡的返回數據作為參數可以寫成:body1.參數名、header1.參數名以此類推1.在轉發路徑傳參
以下為轉發路徑的傳參寫法:
例如Step1要接收前端傳入的orderID參數,還有Authorization參數。Step1的轉發路徑可以寫成:/getOrderInfo/{{body.orderID}}/{{header.Authorization}}
例如Step2 接收 Step1 裡的返回用戶ID參數(userID),同時接收前端傳入的Authorization參數。Step2的轉發路徑可以寫成:/getUserInfo/{{body1.userID}}/{{header.Authorization}}
2.在Step裡配置請求參數
Step2中需要接收Step1裡返回的userID作為參數,同時需要接收前端傳入的Authorization參數
在網關裡Step2的請求參數配置如下所示,請求參數存在多個的話用換行表示:
(二)返回數據處理
1.查詢訂單詳情的API,返回數據稱為json1,內容如下:
{
"status":"000000",
"data":{
"id":"201910180009x"
,"user_account":"zzz@163.com"
,"hotal":"0001"
,"room":"biger1"
,"time_start":"20191019"
,"time_end":"20191020"
}
}
2.查詢用戶詳情的API,返回數據稱為json2,內容如下:
{
"status":"000000",
"data":{
"account":"goku@eolinker.com",
"full_name":"",
"phone":""
}
}
3.查詢酒店詳情的返回數據,稱為json3,內容如下:
{
"status":"000000",
"data":{
"id":"001",
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
}
4.查詢房間詳情的返回數據,稱為json4,內容如下:
{
"status":"000000",
"data":{
"name":"豪華大床房"
,"window":1
,"floor":"10-12"
,"nosmoke":1
}
}
5.可以在每一個Step裡對返回Json做處理,網關會將處理過的數據最後整合起來,再返回前端,例如這是通過網關返回的最終數據:
{
"id":"201910180009x"
,"userInfo":{
"account":"goku@eolinker.com",
"full_name":"",
"phone":""
}
,"hotelinfo":{
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
, "roominfo":{
"name":"豪華大床房"
,"window":1
,"floor":"10-12"
,"nosmoke":1
}
}
這裡以查詢酒店詳情API的返回數據json3為例,講解網關如何在編排過程中對返回數據做處理。
1.查詢酒店詳情API返回的原始數據如下:
{
"status":"000000",
"data":{
"id":"001",
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
}
2.從網關返回給前端的數據中截取酒店信息的數據如下:
"hotelinfo":{
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
那麼從原始數據到處理後的數據需要經過以下操作:
欄位黑名單欄位黑名單的作用是排除某些欄位,支持數組形式。
經過網關處理後,實際的返回數據如下,可以看到data對象裡的id欄位已經被過濾掉:
{
"status":"000000",
"data":{
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
}
欄位拆包拆包是指將指定對象的內容提取出來作為該步驟(step)的返回結果。其中匹配目標只能為object,匹配目標為空時,結果為 {},可用於清除數據。
經過網關處理後,實際的返回數據如下,可以看到data對象被拆開,最終數據僅保留了data對象裡面的欄位:
{
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
封包欄位封包會將當前的數據整體打包為最終返回數據中的一個對象,不支持*,不支持數組。
經過網關處理後,實際的返回數據如下,數據被整體打包為hotelinfo對象:
{
"hotelinfo":{
"type":"星級酒店",
"name":"",
"address":"",
"location":{},
}
}
經過三個步驟,就可以將原始數據變成最終的數據。
本文僅列舉了編排過程中部分數據處理的操作,如需了解更多編排細則,可以在評論區留言。歡迎提出任何建議和想法。最後給出相關的連結,有條件實踐的可以去github下載試試,在github中搜eolinker即可看到項目地址。