一文理解分布式架構

2021-01-11 酷扯兒

本文轉載自【微信公眾號:手機電腦雙黑客,ID:heikestudio】經微信公眾號授權轉載,如需轉載與原文作者聯繫

一、什麼是分布式架構

分布式系統(distributed system) 是建立在網絡之上的軟體系統。

內聚性:是指每一個資料庫分布節點高度自治,有本地的資料庫管理系統。

透明性:是指每一個資料庫分布節點對用戶的應用來說都是透明的,看不出是本地還是遠程。

在分布式數據系統中,用戶感覺不數據是分布的,即用戶不須知道關係是否分割,有無副本,數據存在於那個站點以及事物在哪個站點上執行。

簡單來說:在一個分布式系統中,一組獨立的計算機展現給用戶的是一個統一的整體,就好像是一個系統似的。

分布式系統作為一個整體對用戶提供服務,而整個系統的內部的協作對用戶來說是透明的,用戶就像是指使用一個mysql 一樣。

如:分布式mysql中間件 mycat ,來處理大並發大數據量的構架。

二、分布式架構的應用

1、分布式文件系統

例如:出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等

2、分布式緩存系統

例如:memcache , hbase, mongdb 等

3、分布式資料庫

例如:mysql, mariadb, postgreSql 等

4、分布式webService

5、分布式計算

舉例

以分布式mysql 資料庫中間件mycat 為例    

MySQL 在現在電商以及網際網路公司的應用非常多,一個是因為他的免費開源,另外一個原因是因為分布式系統的水平可擴展性,隨著移動網際網路用戶的暴增,網際網路公司,像淘寶,天貓,唯品會等

電商都採用分布式系統應對用戶的高並發量以及大數據量的存儲。而在Mycat的商業案例中,有對中國移動的帳單結算項目中,應用實時處理高峰期每天2億的數據量,在對物聯網的項目中,實現處理

高達26億的數據量,並提供實時查詢的接口。

通過對MyCat的學習,加深分布式系統架構的理解,以及分布式相關的技術,分布式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

1> 集群 與 分布式

2> 負載均衡

3> 分布式相關的高可用、容災等名詞解釋

4> Mycat 中間件學習

三、分布式架構的演進

(1)初始階段架構

特徵:應用程式,資料庫,文件等所有資源都放在一臺伺服器上。

(2)應用服務 和 數據服務 以及 文件服務 分離

說明:好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver。

特徵:應用程式、資料庫、文件分別部署在獨立的資源上。

(3)使用緩存改善性能

說明:系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的數據上。

緩存分為 本地緩存 和 遠程分布式緩存,本地緩存訪問速度更快但緩存數據量有限,同時存在與應用程式爭用內存的情況。

特徵:資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。

(4)使用「應用伺服器」集群

說明:在做完分庫分表這些工作後,資料庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了。

突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先查看資料庫,壓力一切正常,之後查看webserver,發現apache阻塞了很多的請求,

而應用伺服器對每個請求也是比較快的,看來是請求數太高導致需要排隊等待,響應速度變慢。

特徵:多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和存儲空間上限的問題。

描述:使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源,提升系統的並發處理能力,使得伺服器的負載壓力不再成為整個系統的瓶頸。

(5)資料庫讀寫分離

說明:享受了一段時間的系統訪問量高速增長的幸福後,發現系統又開始變慢了,這次又是什麼狀況呢,

經過查找,發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈,導致了系統變慢

特徵:多臺伺服器通過負載均衡同時向外部提供服務,解決單臺伺服器處理能力和存儲空間上限的問題。

描述:使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源,使得伺服器的負載壓力不在成為整個系統的瓶頸。

(6)反向代理和CDN加速 

特徵:採用CDN和反向代理加快系統的訪問速度。

描述:為了應付複雜的網絡環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。

(7)「分布式文件」系統 和 「分布式資料庫」

說明:隨著系統的不斷運行,數據量開始大幅度增長,這個時候發現分庫後查詢仍然會有些慢,於是按照分庫的思想開始做分表的工作

特徵:資料庫採用分布式資料庫,文件系統採用分布式文件系統。

描述:任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求,資料庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分布式資料庫及分布式文件系統來支撐。

分布式資料庫是系統資料庫拆分的最後方法,只有在單表數據規模非常龐大的時候才使用,更常用的資料庫拆分手段是業務分庫,將不同的業務資料庫部署在不同的物理伺服器上。

(8)使用NoSQL和搜尋引擎     

特徵:系統引入NoSQL資料庫及搜尋引擎。

描述:隨著業務越來越複雜,對數據存儲和檢索的需求也越來越複雜,系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜尋引擎。

應用伺服器通過統一數據訪問模塊訪問各種數據,減輕應用程式管理諸多數據源的麻煩。

(9)業務拆分

特徵:系統上按照業務進行拆分改造,應用伺服器按照業務區分進行分別部署。

描述:為了應對日益複雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超連結建立關係,也可以通過消息隊列進行數據分發,

當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分:將一個大應用拆分為多個小應用,如果新業務較為獨立,那麼就直接將其設計部署為一個獨立的Web應用系統 縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。

橫向拆分:將復用的業務拆分出來,獨立部署為分布式服務,新增業務只需要調用這些分布式服務 橫向拆分需要識別可復用的業務,設計服務接口,規範服務依賴關係。

(10)分布式服務

特徵:公共的應用模塊被提取出來,部署在分布式伺服器上供應用伺服器調用。

描述:隨著業務越拆越小,應用系統整體複雜程度呈指數級上升,由於所有應用要和所有資料庫系統連接,最終導致資料庫連接資源不足,拒絕服務。

四、分布式服務應用會面臨哪些問題?

(1) 當服務越來越多時,服務URL配置管理變得非常困難,F5硬體負載均衡器的單點壓力也越來越大。

(2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關係。

(3) 接著,服務的調用量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?

(4) 服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的參數都有什麼約定?

(5) 一個服務有多個業務消費者,如何確保服務質量?

(6) 隨著服務的不停升級,總有些意想不到的事發生,比如cache寫錯了導致內存溢出,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否可以功能降級?或者資源劣化?

相關焦點

  • 分布式架構概述
    分布式架構是一個非常複雜的體系,任何技術都不是孤立的存在,任何技術都無法適應所有場景。作為一名分布式系統架構或者資深研發人員,我們必須儘可能多的學習與之相關的各種知識,掌握各種技術的演進路線,正式從一名碼農蛻變成為架構師什麼是分布式?網際網路應用的特點是:高並發,海量數據。
  • 一步一圖,帶你了解分布式架構的前世今生
    目錄:什麼是分布式架構? 分布式架構的演進 分布式服務面臨的問題 什麼是分布式架構?特徵:應用程式,資料庫,文件等所有資源都放在一臺伺服器上。緩存分為本地緩存和遠程分布式緩存,本地緩存訪問速度更快但緩存數據量有限,同時存在與應用程式爭用內存的情況。特徵:資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。(4)使用「應用伺服器」集群
  • 一文看懂集群、分布式與負載均衡的關係
    在「高並發,海量數據,分布式,NoSql,雲計算......」概念滿天飛的年代,相信不少朋友都聽說過甚至常與人提起「集群,負載均衡」等,但不是所有人都有機會真正接觸到這些技術,也不是所有人都真正理解了這些「聽起來很牛的」技術名詞。下面簡單解釋一下吧。
  • 使用48V分布式電源架構解決汽車電氣化難題
    另外一種需要考慮的架構是使用模塊化電源組件進行分布式供電(圖 2)。該供電架構使用更小、更低功耗的 48 至 12V 轉換器,在整個接近 12V 負載的車輛中配電。簡單的功率方程式 P = V • I 和 PLOSS = I2R 就可以說明為什麼 48V 配電比 12V 更高效。對於給定功率級而言,與 12V 系統相比,48V 系統電流低四倍、功耗低 16 倍。
  • 借IBMLinuxONE加快分布式架構轉型與創新
    分布式架構因為具備成本低、自主研發、靈活兼容和伸縮擴張方面的優勢,備受網際網路公司和創業公司的青睞,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰,尤其是在滿足一致性的問題上。IBM LinuxONE 可以和分布式架構形成很好的互補,完美地解決分布式架構落地遇到的重重挑戰。
  • 一文總結:分布式一致性技術是如何演進的?
    本文將從技術角度探討分布式一致性在工業界的應用,並從可理解性、可用性、效率和適用場景等幾個角度進行對比分析。文末福利:《分布式文件存儲系統技術及實現》技術公開課。分布式一致性分布式一致性,簡單的說就是在一個或多個進程提議了一個值後,使系統中所有進程對這個值達成一致。
  • 分布式與集群分久必合,淺析Filecoin集群架構優化方向
    集群一般是指物理集中、統一管理的,從形態上來說,集群只是一個物理形態,但並不是一個工作方式,從工作方式來說,集群也分為單機結構集群、集群結構集群以及分布式結構集群。分布式集群集群架構組成的集群走的是「精緻化」的路線,將功能全部分開,有助於在最大程度上提高效率,但是也存在一定程度上的資源浪費。
  • 48V分布式電源架構重新定義汽車供電
    ChiP電源模塊這一模塊化電源組件在最初的電池組測試中表現優異,無需降額運行,也沒有電壓驟降。供電網絡將最大體積留給了供電的電池單元,而不是電源組件本身,這一點至關重要。因此,該供電網絡展現出了極大的優勢,DCM模塊的可擴展性和易於並聯實現了模塊化電源架構,讓Delta在不犧牲功率的前提下實現了所需的小尺寸DC-DC PDN定製。
  • 一文讀懂數據架構的進化史
    近期看到很多企業在設計自己的數據平臺,以及選型一些數據分析工具,正好拜讀了數據倉庫之父的《數據架構:大數據、數據倉庫以及Data Vault》一書,有些許感觸,就來聊一下個人思考吧。首先從企業信息化發展階段時,數據平臺結構的程度來看。
  • 環信「擁抱」雲原生 2.0,實現一地多中心分布式架構升級
    在如今的數位化時代,「雲原生 2.0」為企業帶來了業務架構的重塑,也為產業發展帶來了新的變革機遇。在11月28日華為雲主辦的X-Team創原會·雲原生技術精英沙龍——解決方案生態夥伴專場。北京易掌雲峰科技有限公司CTO趙貴斌通過自身企業實踐,分享了華為雲原生2.0賦能「環信」通訊雲應用便捷落地的成果。
  • 分享現代分布式電源架構的關鍵技術挑戰及應對措施的方案設計
    打開APP 分享現代分布式電源架構的關鍵技術挑戰及應對措施的方案設計 LandaCulbertson, Mou 發表於 2019-08-29 09:31:02
  • 架構師必須知道的架構設計原則
    高內聚 + 低耦合,就像道中的一陰一陽,是所有其它 OO 設計原則的原則 (元原則),其它設計原則都是在這兩個基礎上泛化衍生出來的。 上述原則雖然是針對 OO 設計和編程提出,但是對於大規模系統架構仍然適用。
  • LinuxONE+分布式資料庫 黃金組合帶來完美分布式體驗
    ,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰,尤其是在滿足一致性的問題上。IBM LinuxONE 可以和分布式架構形成很好的互補,完美地解決分布式架構落地遇到的重重挑戰。 分布式架構落地,難關重重 說起分布式系統的難點,不得不說著名的CAP定律,它是說在分布式系統中,一致性(C)、可用性(A)和分區容忍性(P)三項,只能滿足兩項,而不能同時滿足。
  • 什麼才是真正的架構設計?
    作者:規速一. 什麼是架構和架構本質在軟體行業,對於什麼是架構,都有很多的爭論,每個人都有自己的理解。此君說的架構和彼君理解的架構未必是一回事。因此我們在討論架構之前,我們先討論架構的概念定義,概念是人認識這個世界的基礎,並用來溝通的手段,如果對架構概念理解不一樣,那溝通起來自然不順暢。
  • 如何理解深度學習分布式訓練中的large batch size與learning rate...
    雷鋒網 AI科技評論按,本文源自譚旭在知乎問題【如何理解深度學習分布式訓練中的large batch size與learning rate的關係?】下的回答,雷鋒網 AI科技評論獲其授權轉載。問題詳情:在深度學習進行分布式訓練時,常常採用同步數據並行的方式,也就是採用大的batch size進行訓練,但large batch一般較於小的baseline的batch size性能更差,請問如何理解調試learning rate能使large batch達到small batch同樣的收斂精度和速度?
  • 微服務,Java目前很火熱的系統架構
    學習內容安排如下: 系統架構的演化:集中式架構、分布式架構。當然系統架構肯定不是說我一篇文章就能學好的,只能說我作為一名初學者,是如何去理解這些概念的。至於想要真正地去弄懂這些,需要自己長期性地不斷學習,非一朝一夕就能學完的。一、系統架構概述技術更新是非常快的,從單一應用到垂直細分,到分布式,到SOA,以及微服務架構。
  • 區塊鏈底層技術架構石墨烯介紹
    一、 前言 最近一直比較忙,發文的頻次也相應的減少了,有關心的朋友問我是不是放棄寫文了,這裡說一下,寫文不會放棄,可能會由於工作繁忙的原因減少發文頻次,但不會停止更文的,感謝大家的關心與支持! 二、簡介 石墨烯(Graphene)是一種由碳原子以sp雜化軌道組成六角型呈蜂巢晶格的二維碳納米材料。
  • 中國SDS市場最新數據出爐:浪潮分布式存儲為何成增速第一?
    文/黃海峰近日,IDC公布了2020年第一季度中國軟體定義存儲(SDS)市場跟蹤報告。報告顯示,企業級存儲整體市場在下滑,但SDS(軟體定義存儲,分布式存儲是SDS的體現)繼續呈正增長,增速達25.9%。其中浪潮分布式存儲銷售額和出貨量同比增長186%、512%,成為增速中國第一的廠商。
  • 15 年架構設計經驗:我眼中的那些優秀架構師
    所以我面試的時候,就從他做過架構設計的項目出發,摘了幾個具體的點去深度溝通。 然而,當我真的圍繞「架構師」職責去考察時,卻發現,他對「架構師」的理解,還停留在接到需求後,依據產品設計給出實現的階段。對於接下來的模塊分解、代碼重構、技術選型、性能優化等方面,雖然他有所了解和接觸,但實在太過皮毛,缺乏體系化的理解。
  • 「集成架構」理解企業應用集成
    通常,一個團隊管理整個企業的單片集成技術,但是應用程式正變得越來越複雜——它們是分布式的,並且必須快速擴展和更改,以在競爭的市場中保持同步。這些新的挑戰需要基於雲本地集成技術和敏捷團隊的迭代方法。 什麼是企業集成? 每個現代企業都必須共享數據。如果你是一個試圖利用大數據的大企業,你知道大數據是一個集成的挑戰。