13張圖搞懂分布式系統服務註冊與發現原理

2021-01-09 酷扯兒

本文轉載自【微信公眾號:五角錢的程式設計師,ID:xianglin965】經微信公眾號授權轉載,如需轉載與原文作者聯繫

在微服務架構或分布式環境下,服務註冊與發現技術不可或缺,這也是程式設計師進階之路必須要掌握的核心技術之一,本文通過圖解的方式帶領大家輕輕鬆鬆掌握。

引入服務註冊與發現組件的原因

先來看一個問題,假如現在我們要做一個商城項目,作為架構師的你應該怎樣設計系統的架構?你心裡肯定在想:這還不容易直接照搬淘寶的架構不就行了。但在現實的創業環境中一個項目可能是九死一生,如果一開始投入巨大的人力和財力,一旦項目失敗損失就很大。

作為一位有經驗的架構師需要結合公司財力、人力投入預算等現狀選擇最適合眼下的架構才是王道。大型網站都是從小型網站發展而來,架構也是一樣。

任何一個大型網站的架構都不是從一開始就一層不變的,而是隨著用戶量和數據量的不斷增加不斷迭代演進的結果。

在架構不斷迭代演進的過程中我們會遇到很多問題,技術發展的本質就是不斷發現問題再解決問題,解決問題又發現問題。

單體架構

在系統建立之初可能不會有特別多的用戶,將所有的業務打成一個應用包放在tomcat容器中運行,與資料庫共用一臺伺服器,這種架構一般稱之為單體架構。

單體架構-應用和資料庫共同部署

在初期這種架構的效率非常高,根據用戶的反饋可以快速迭代上線。但是隨著用戶量增加,一臺服務的內存和CPU吃緊,很容易造成瓶頸,新的問題來了怎麼解決呢?

應用與數據分離

隨著用戶請求量增加,一臺伺服器的內存和CPU持續飆升,用戶請求響應時間變慢。這時候可以考慮將應用與資料庫拆開,各自使用一臺伺服器,你看問題又解決了吧。

單體架構-應用和資料庫分離

突然有一天掃地阿姨不小心碰了電線,其中一臺伺服器掉電了,用戶所有的請求都報錯,隨之而來的是一系列投訴電話。

集群部署

單實例很容易造成單點問題,比如遇到伺服器故障或者服務能力瓶頸,那怎麼辦?聰明的你肯定想到了,用集群呀。

應用集群部署

集群部署是指將應用部署在多個伺服器或者虛機上,用戶通過服務均衡隨機訪問其中的一個實例,從而使多個實例的流量均衡,如果一個實例出現故障可以將其下線,其他實例不受影響仍然可以對外提供服務。

隨著用戶數量快速增加,老闆決定增加投入擴大團隊規模。開發團隊壯大後效率並沒有得到顯著的提高,以前小團隊可以一周迭代上線一次,現在至少需要兩到三周時間。

業務邏輯越來越複雜,代碼間耦合很嚴重,修改一行代碼可能引入幾個線上問題。架構師意識到需要進行架構重構。

微服務架構

當單體架構演進到一定階段後開發測試的複雜性都會成本增加,團隊規模的擴大也會使得各自工作耦合性更嚴重,牽一髮而動全身就是這種場景。

單體架構遇到瓶頸了,微服務架構就橫空出世了。微服務就是將之前的單體服務按照業務維度進行拆分,拆分粒度可大可小,拆分時機可以分節奏進行。最佳實踐是先將一些獨立的功能從單體中剝離出來抽成一個或多個微服務,這樣可以保障業務的連續性和穩定性。

微服務架構

如上圖將一個商用應用拆分為六個獨立微服務。六個微服務可以使用Docker容器化進行多實例部署。

架構演化到這裡遇到了一個難題,如果要查詢用戶所有的訂單,用戶服務可能會依賴訂單服務,用戶服務如何與訂單服務交互呢?訂單服務有多個實例該訪問哪一個?

通常有幾種解決辦法:

(1)服務地址硬編碼

服務的地址寫死在資料庫或者配置文件,通過訪問DNS域名進行尋址路由。

服務元數據硬編碼

服務B的地址硬編碼在資料庫或者配置文件中,服務A首先需要拿到服務B的地址,然後通過DNS伺服器解析獲取其中一實例的真實地址,最後可以向服務B發起請求。

如果遇到大促活動需要對服務實例擴容,大促完需要對服務實例進行下線,運維人員要做大量的手工操作,非常容易誤操作。

(2)服務動態註冊與發現

服務地址硬編碼還有一個非常致命的問題,如果一臺實例掛了,運維人員可能不能及時感知到,導致一部分用戶的請求會異常。

引入服務註冊與發現組件可以很好解決上面遇到的問題,避免過多的人工操作。

架構演進總結

在單體架構中一個應用程式就是一個服務包,包內的模塊通過函數方法相互調用,模型足夠簡單,根本沒有服務註冊和發現一說。

在微服務架構中會將一個應用程式拆分為多個微服務,微服務會部署在不同的伺服器、不同的容器、甚至多數據中心,微服務間要相互調用,服務註冊和發現成為了一個不可或缺的組件。

服務註冊與發現基本原理

服務註冊與發現是分為註冊和發現兩個關鍵的步驟。

服務註冊:服務進程在註冊中心註冊自己的元數據信息。通常包括主機和埠號,有時還有身份驗證信息,協議,版本號,以及運行環境的信息。

服務發現:客戶端服務進程向註冊中心發起查詢,來獲取服務的信息。服務發現的一個重要作用就是提供給客戶端一個可用的服務列表。

服務註冊

服務註冊有兩種形式:客戶端註冊和代理註冊。

客戶端註冊

客戶端註冊是服務自己要負責註冊與註銷的工作。當服務啟動後註冊線程向註冊中心註冊,當服務下線時註銷自己。

客戶端註冊

這種方式的缺點是註冊註銷邏輯與服務的業務邏輯耦合在一起,如果服務使用不同語言開發,那需要適配多套服務註冊邏輯。

代理註冊

代理註冊由一個單獨的代理服務負責註冊與註銷。當服務提供者啟動後以某種方式通知代理服務,然後代理服務負責向註冊中心發起註冊工作。

代理註冊

這種方式的缺點是多引用了一個代理服務,並且代理服務要保持高可用狀態。

服務發現

服務發現也分為客戶端發現和代理發現。

客戶端發現

客戶端發現是指客戶端負責向註冊中心查詢可用服務地址,獲取到所有的可用實例地址列表後客戶端根據負載均衡算法選擇一個實例發起請求調用。

客戶端發現

這種方式非常直接,客戶端可以控制負載均衡算法。但是缺點也很明顯,獲取實例地址、負載均衡等邏輯與服務的業務邏輯耦合在一起,如果服務發現或者負載平衡有變化,那麼所有的服務都要修改重新上線。

代理發現

代理發現是指新增一個路由服務負責服務發現獲取可用的實例列表,服務消費者如果需要調用服務A的一個實例可以直接將請求發往路由服務,路由服務根據配置好的負載均衡算法從可用的實例列表中選擇一個實例將請求轉發過去即可,如果發現實例不可用,路由服務還可以自行重試,服務消費者完全不用感知。

代理路由服務註冊

心跳機制

如果服務有多個實例,其中一個實例出現宕機,註冊中心是可以實時感知到,並且將該實例信息從列表中移出,也稱為摘機。

如何實現摘機?業界比較常用的方式是通過心跳檢測的方式實現,心跳檢測有主動和被動兩種方式。

被動檢測是指服務主動向註冊中心發送心跳消息,時間間隔可自定義,比如配置5秒發送一次,註冊中心如果在三個周期內比如說15秒內沒有收到實例的心跳消息,就會將該實例從列表中移除。

心跳機制-被動檢測

上圖中服務A的實例2已經宕機不能主動給註冊中心發送心跳消息,15秒之後註冊就會將實例2移除掉。

主動檢測是註冊中心主動發起,每隔幾秒中會給所有列表中的服務實例發送心跳檢測消息,如果多個周期內未發送成功或未收到回復就會主動移除該實例。

心跳機制-主動檢測

業界常用的服務註冊與發現組件對比

了解服務註冊與發現的基本原理後,如果你要在項目中使用服務註冊與發現組件,當面對眾多的開源組件該如何進行技術選型?

在網際網路公司裡,有研發實力的大公司一般會選擇自研或者基於開源組件進行二次開發,但是對於中小型公司來說直接選用一款開源軟體會是一個不錯的選擇。

常用的註冊與發現組件有eureka,zookeeper,consul,etcd等,由於eureka在2018年已經宣布放棄維護,這裡就不再推薦使用了。

業界開源組件

下面結合各個維度對比一下各組件。

從整體上看consul的功能更加完備和均衡。接下來以consul為例詳細介紹一下。

Consul——值得推薦的服務註冊與發現開源組件

簡單認識一下Consul

Consul是HashiCorp公司推出的開源工,使用Go語言開發,具有開箱即可部署方便的特點。Consul是分布式的、高可用的、 可橫向擴展的用於實現分布式系統的服務發現與配置。

Consul有哪些優勢?

服務註冊發現:Consul提供了通過DNS或者restful接口的方式來註冊服務和發現服務。服務可根據實際情況自行選擇。健康檢查:Consul的Client可以提供任意數量的健康檢查,既可以與給定的服務相關聯,也可以與本地節點相關聯。多數據中心:Consul支持多數據中心,這意味著用戶不需要擔心Consul自身的高可用性問題以及多數據中心帶來的擴展接入等問題。Consul的架構圖

Consul架構

Consul 實現多數據中心依賴於gossip protocol協議。這樣做的目的:

不需要使用伺服器的地址來配置客戶端;服務發現是自動完成的。健康檢查故障的工作不是放在伺服器上,而是分布式的。Consul的使用場景

Consul的應用場景包括服務註冊發現、服務隔離、服務配置等。

服務註冊發現場景中consul作為註冊中心,服務地址被註冊到consul中以後,可以使用consul提供的dns、http接口查詢,consul支持health check。

服務隔離場景中consul支持以服務為單位設置訪問策略,能同時支持經典的平臺和新興的平臺,支持tls證書分發,service-to-service加密。

服務配置場景中consul提供key-value數據存儲功能,並且能將變動迅速地通知出去,藉助Consul可以實現配置共享,需要讀取配置的服務可以從Consul中讀取到準確的配置信息。

相關焦點

  • 一篇文章搞定「分布式服務框架」
    開篇:對於開發工程師們來說,相信對於這種招聘要求的描述並不陌生:"熟悉分布式系統的設計和應用;熟悉分布式、緩存、消息、搜索等機制;能對分布式常用技術進行合理應用,解決問題"。現在基本上大多數大、中型企業都會要求工程師們,除了要能在分布式環境中進行開發,還要了解其中的原理、機制,對於架構師來說還需要能夠獨立設計分布式系統。本文將講述對於開發工程師來說,應該怎樣學習才能掌握分布式架構的知識。從零開始寫分布式服務框架一共8章。
  • 新一代分布式文件系統XGFS揭秘——元數據服務
    XSKY新一代分布式文件系統XGFS揭秘——元數據服務新一代分布式文件存儲系統XGFS,基於最新一代NVMe/SCM存儲介質設計,利用高性能LSM存儲引擎,結合XSKY獨有專利技術的鍵值設計,構建出完全自主的元數據服務…本文系揭秘XGFS系列之首篇內容。
  • SpringCloud:分布式微服務架構
    這些服務圍繞業務能力構建並且可通過全自動部署機制獨立部署,這些服務共用一個最小型的集中式的管理,服務可用不同的語言開發,使用不同的數據存儲技術。特徵每個微服務可獨立運行在自己的進程中。一系列獨立運行的微服務共同構建起整個系統。
  • 完美的分布式監控系統——普羅米修斯
    工作原理?如前所述,Prometheus由各種不同的組件組成。其監控指標可以從系統中提取到,可以通過不同的方式做到:通過應用程式給定監控項,對給定的公開URL上Prometheus兼容的指標。Prometheus將其定義為目標並加入監控系統。通過使用雲廠商內置Prometheus程序,會定義好整個監控項和監控工具集擁。
  • 分布式測試系統建設
    我們並沒有使用一些開源的分布式框架,因為我們的需求相對來說比較簡單,而且有一些定製化的需求,同時希望之後測試同學們可以在此之上做二次開發,所以最終我們決定自己實現這一系統。圖一對於一個Jenkins job觸發的分布式任務,主要步驟有:Jenkins job調用客戶端發送請求到控制中心,
  • 阿里P8架構師,嘔心48小時整理的分布式系統實戰筆記
    2、高並發編程必備之NIO基礎NIO的基本原理以及實現過程能對傳統IO和NIO的區別進行系統的了解並能學會NIO的實現原理3、Redis內存資料庫在大型分布式系統中能對全文檢索技術有個初步的了解,以及Lucene在站內搜索應用中的底層操作原理。6、Duboo分布式服務框架在分布式系統中,Duboo框架的應用場景和應用方式。
  • 光纖分布式振動檢測系統
    基於φ-OTDR原理的分布式光纖振動傳感技術以其分布式、長距離、可定位的獨特優勢,加上光纖傳感技術自身的抗電磁幹擾、功耗小、布設靈活、成本較低等優勢,特別適用於重點區域周界安防、油氣管道防盜挖監測、通信鏈路安全預警等應用領域。   基於上述需求和優勢,長飛公司開發出光纖分布式振動傳感系統(DVS),並在上述領域得到廣泛應用。
  • 解決分布式系統事務一致性的幾種方案對比,你有更好的嗎?
    在分布式系統中,同時滿足「一致性」、「可用性」和「分區容錯性」三者是不可能的。分布式系統的事務一致性是一個技術難題,各種解決方案孰優孰劣?寫在前面在 OLTP 系統領域,我們在很多業務場景下都會面臨事務一致性方面的需求,例如最經典的 Bob 給 Smith 轉帳的案例。傳統的企業開發,系統往往是以單體應用形式存在的,也沒有橫跨多個資料庫。
  • 阿里P8分享出史上最詳解筆記:分布式系統常用技術及案例分析
    介紹分布式系統基礎理論,分析分布式系統中常用的主流技術,分享實戰案例,做到理論與實踐相結合。第二部分主要列舉了在分布式應用中經常用到的一些主流技術,並介紹這些技術的作用和用法;這些技術涵蓋了分布式消息服務、分布式計算、分布式存儲、分布式監控、分布式版本控制、RESTful、微服務、容器等領域的內容。需要獲取完整筆記的小夥伴可以直接轉發+關注後私信(文檔資料)即可獲取!
  • 一文搞懂汽車轉向系統的構造與原理
    液壓式齒輪齒條動力轉向系統由動力轉向泵、儲液罐、液壓管路、齒輪-齒條式轉向器等組成,如下圖所示。     ▲液壓式齒輪齒條動力轉向系統    1.液壓動力轉向工作原理    動力轉向系統使用發動機的動力來驅動產生液壓力的葉輪泵。當方向盤轉動時,在控制閥上轉換油路。
  • 分布式跟蹤系統的四大功能模塊如何協同工作
    跨度上下文Span context:攜帶分布式事務的跟蹤信息,包括當它通過網絡或消息總線將服務傳遞給服務時。跨度上下文包含跟蹤標識符、跨度標識符以及跟蹤系統所需傳播到下遊服務的任何其他數據。如果你想要深入研究這種思維模式的細節,請仔細參照 OpenTracing 技術規範。
  • ZooKeeper、Eureka、Consul 、Nacos微服務註冊中心對比
    因此,原本在單體應用階段常用的靜態LB機制就不再適用了,需要引入額外的組件來管理微服務提供者的註冊與發現,而這個組件就是服務註冊中心。再如果,同事滿足一致性和可用性,那麼分區容錯就很難保證了,也就是單點,也是分布式的基本核心,好了,明白這些理論,就可以在相應的場景選取服務註冊與發現了服務註冊中心解決方案設計或者選型一個服務註冊中心,首先要考慮的就是服務註冊與發現機制。
  • Spring全家桶、Dubbo、分布式、消息隊列後端必備全套開源項目
    打好基礎《Spring Boot 快速入門》《Spring Boot 自動配置原理》 對應 lab-47《Spring Boot 芋道 Spring Boot Jar 啟動原理》Eureka 入門》 對應 labx-22《Spring Cloud 註冊中心 Zookeeper 入門》 對應 labx-25《Spring Cloud 註冊中心 Consul 入門》 對應 labx-27《Spring Cloud 註冊中心
  • DTCC2020阿里雲李飛飛:雲原生分布式資料庫與數據倉庫系統點亮數據...
    我們可以結合分布式和雲原生的架構融合來解決這個問題。在上圖展示中,把Shared Nothing的能力和Shared Storage/Shared everything的能力打通,每個shard下面是一個資源池,能力非常強,彈性很高,同時也可以把這樣的部分用分布式技術聯繫起來,既享受到分布式水平拓展的能力的好處,同時又避免大量的分布式事務和分布式處理場景。
  • 淵亭分布式圖資料庫DataExa-Seraph測評性能遠超JanusGraph!
    此次參與對比測評的是淵亭科技自主研發的分布式圖資料庫DataExa-Seraph,以及開源的分布式圖資料庫JanusGraph。DataExa-Seraph 作為一款分布式圖資料庫系統,在性能,安全能力,管理能力,高可用能力均有優異的表現。
  • Seata 實現分布式事務原理,mysql日誌記錄問題,學習下
    用於保證事務原子性- redo log 記錄更新後數據,用於保證事務的持久性- redo log有自己的內存buffer,先寫入到buffer,事務提交時寫入磁碟- redo log持久化之後,意味著事務是**可提交**的業務發展瓶頸,解決業務系統的高耦合
  • 基於分布式帳本技術的跨境支付系統應用
    分布式帳本技術及其在跨境支付領域的應用分析分布式帳本是一種在網絡成員之間共享、複製和同步的資料庫。與典型的帳本系統不同,分布式帳本系統由該系統的所有參與者而不是由一個中心方(例如銀行或清算中心)進行維護。它以密碼學技術為基礎,通過分布式多節點共識機制,完整、不可篡改地記錄交易過程。
  • 英雄聯盟手遊臺服怎麼註冊帳號 英雄聯盟手遊臺服註冊教程(多圖)
    英雄聯盟手遊臺服怎麼註冊帳號 英雄聯盟手遊臺服註冊教程(多圖) 2020-12-09 17:26 作者:我遊網 來源:本站整理 瀏覽:525 英雄聯盟手遊臺服怎麼註冊帳號? 三、完成驗證 大多數情況下,當完成上面步驟點擊按鈕確認註冊後,就會彈出一個驗證系統,來判斷是否是惡意註冊。
  • 實戰|單點登錄系統原理與實現(全套流程圖+源碼)
    這個過程,也就是單點登錄的原理,用下圖說明下面對上圖簡要描述1、用戶訪問系統1的受保護資源,系統1發現用戶未登錄,跳轉至sso認證中心,並將自己的地址作為參數 2、sso認證中心發現用戶未登錄,將用戶引導至登錄頁面 3、用戶輸入用戶名密碼提交登錄申請 4、sso認證中心校驗用戶信息,創建用戶與sso認證中心之間的會話,稱為全局會話
  • ChaosBlade x SkyWalking 微服務高可用實踐
    來源|阿里巴巴雲原生公眾號前言在分布式系統架構下,服務組件繁多且服務間的依賴錯綜複雜,很難評估單個故障對整個系統的影響,而且請求鏈路長,如果監控告警、日誌記錄等基礎服務不完善會造成故障響應、故障定位問題難,所以如何構建一個高可用的分布式系統面臨著很大挑戰