一文理解分布式架構

2021-01-06 酷扯兒

本文轉載自【微信公眾號：手機電腦雙黑客，ID:heikestudio】經微信公眾號授權轉載，如需轉載與原文作者聯繫

一、什麼是分布式架構

分布式系統（distributed system） 是建立在網絡之上的軟體系統。

內聚性：是指每一個資料庫分布節點高度自治，有本地的資料庫管理系統。

透明性：是指每一個資料庫分布節點對用戶的應用來說都是透明的，看不出是本地還是遠程。

在分布式數據系統中，用戶感覺不數據是分布的，即用戶不須知道關係是否分割，有無副本，數據存在於那個站點以及事物在哪個站點上執行。

簡單來說：在一個分布式系統中，一組獨立的計算機展現給用戶的是一個統一的整體，就好像是一個系統似的。

分布式系統作為一個整體對用戶提供服務，而整個系統的內部的協作對用戶來說是透明的，用戶就像是指使用一個mysql 一樣。

如：分布式mysql中間件 mycat ,來處理大並發大數據量的構架。

二、分布式架構的應用

1、分布式文件系統

例如：出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等

2、分布式緩存系統

例如：memcache , hbase, mongdb 等

3、分布式資料庫

例如：mysql, mariadb, postgreSql 等

4、分布式webService

5、分布式計算

舉例

以分布式mysql 資料庫中間件mycat 為例　　　　

MySQL 在現在電商以及網際網路公司的應用非常多，一個是因為他的免費開源，另外一個原因是因為分布式系統的水平可擴展性，隨著移動網際網路用戶的暴增，網際網路公司，像淘寶，天貓，唯品會等

電商都採用分布式系統應對用戶的高並發量以及大數據量的存儲。而在Mycat的商業案例中，有對中國移動的帳單結算項目中，應用實時處理高峰期每天2億的數據量，在對物聯網的項目中，實現處理

高達26億的數據量，並提供實時查詢的接口。

通過對MyCat的學習，加深分布式系統架構的理解，以及分布式相關的技術，分布式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

1> 集群 與 分布式

2> 負載均衡

3> 分布式相關的高可用、容災等名詞解釋

4> Mycat 中間件學習

三、分布式架構的演進

（1）初始階段架構

特徵：應用程式，資料庫，文件等所有資源都放在一臺伺服器上。

（2）應用服務 和 數據服務 以及 文件服務 分離

說明：好景不長，發現隨著系統訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一臺webserver。

特徵：應用程式、資料庫、文件分別部署在獨立的資源上。

（3）使用緩存改善性能

說明：系統訪問特點遵循二八定律，即80%的業務訪問集中在20%的數據上。

緩存分為 本地緩存 和 遠程分布式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程式爭用內存的情況。

特徵：資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中，減少資料庫的訪問次數，降低資料庫的訪問壓力。

（4）使用「應用伺服器」集群

說明：在做完分庫分表這些工作後，資料庫上的壓力已經降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了。

突然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看資料庫，壓力一切正常，之後查看webserver，發現apache阻塞了很多的請求，

而應用伺服器對每個請求也是比較快的，看來是請求數太高導致需要排隊等待，響應速度變慢。

特徵：多臺伺服器通過負載均衡同時向外部提供服務，解決單臺伺服器處理能力和存儲空間上限的問題。

描述：使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，提升系統的並發處理能力，使得伺服器的負載壓力不再成為整個系統的瓶頸。

（5）資料庫讀寫分離

說明：享受了一段時間的系統訪問量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，

經過查找，發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈，導致了系統變慢

特徵：多臺伺服器通過負載均衡同時向外部提供服務，解決單臺伺服器處理能力和存儲空間上限的問題。

描述：使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，使得伺服器的負載壓力不在成為整個系統的瓶頸。

（6）反向代理和CDN加速　

特徵：採用CDN和反向代理加快系統的訪問速度。

描述：為了應付複雜的網絡環境和不同地區用戶的訪問，通過CDN和反向代理加快用戶訪問的速度，同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。

（7）「分布式文件」系統 和 「分布式資料庫」

說明：隨著系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，於是按照分庫的思想開始做分表的工作

特徵：資料庫採用分布式資料庫，文件系統採用分布式文件系統。

描述：任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求，資料庫讀寫分離隨著業務的發展最終也將無法滿足需求，需要使用分布式資料庫及分布式文件系統來支撐。

分布式資料庫是系統資料庫拆分的最後方法，只有在單表數據規模非常龐大的時候才使用，更常用的資料庫拆分手段是業務分庫，將不同的業務資料庫部署在不同的物理伺服器上。

（8）使用NoSQL和搜尋引擎 　　　　

特徵：系統引入NoSQL資料庫及搜尋引擎。

描述：隨著業務越來越複雜，對數據存儲和檢索的需求也越來越複雜，系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜尋引擎。

應用伺服器通過統一數據訪問模塊訪問各種數據，減輕應用程式管理諸多數據源的麻煩。

（9）業務拆分

特徵：系統上按照業務進行拆分改造，應用伺服器按照業務區分進行分別部署。

描述：為了應對日益複雜的業務場景，通常使用分而治之的手段將整個系統業務分成不同的產品線，應用之間通過超連結建立關係，也可以通過消息隊列進行數據分發，

當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分：將一個大應用拆分為多個小應用，如果新業務較為獨立，那麼就直接將其設計部署為一個獨立的Web應用系統 縱向拆分相對較為簡單，通過梳理業務，將較少相關的業務剝離即可。

橫向拆分：將復用的業務拆分出來，獨立部署為分布式服務，新增業務只需要調用這些分布式服務 橫向拆分需要識別可復用的業務，設計服務接口，規範服務依賴關係。

（10）分布式服務

特徵：公共的應用模塊被提取出來，部署在分布式伺服器上供應用伺服器調用。

描述：隨著業務越拆越小，應用系統整體複雜程度呈指數級上升，由於所有應用要和所有資料庫系統連接，最終導致資料庫連接資源不足，拒絕服務。

四、分布式服務應用會面臨哪些問題？

(1) 當服務越來越多時，服務URL配置管理變得非常困難，F5硬體負載均衡器的單點壓力也越來越大。

(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪個應用要在哪個應用之前啟動，架構師都不能完整的描述應用的架構關係。

(3) 接著，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什麼時候該加機器？

(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？

(5) 一個服務有多個業務消費者，如何確保服務質量？

(6) 隨著服務的不停升級，總有些意想不到的事發生，比如cache寫錯了導致內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？

相關焦點

  • 一文詳解:如何設計出高可用的分布式架構?
    本文作者將與大家分享目前主流的分布式架構、分布式架構中常見理論以及如何才能設計出高可用的分布式架構。在分布式架構中，SOA 和微服務架構是最常見的兩種分布式架構，而且目前服務網格的概念也越來越火了，我們就先從這些常見的架構開始。
  • 零基礎一文讀懂分布式系統
    區塊鏈是一種分布式系統。不了解分布式系統的工作原理，很難真正理解區塊鏈。 而不理解區塊鏈的麻煩，在於會陷入到對「去中心化」、 「無需許可」等等概念以及「TPS」、「安全」等等問題失去語境的討論中去。這不僅無助於我們去準確地分析和判斷一個區塊鏈項目，也讓我們無法認清區塊鏈在技術上的可能的發展路線。 更直白來講，我們需要掌握分布式系統的一些基礎知識。
  • 一文理解Netty模型架構
    由於讀寫操作都是非阻塞的，這就可以充分提升IO線程的運行效率，避免由於頻繁I/O阻塞導致的線程掛起，一個I/O線程可以並發處理N個客戶端連接和讀寫操作，這從根本上解決了傳統同步阻塞I/O一連接一線程模型，架構的性能、彈性伸縮能力和可靠性都得到了極大的提升。
  • 一文看懂分布式事務
    傳統的 DBMS，如 MySQL 其實 CA 組合，在主從架構下，讀寫分離的情況下，是犧牲一定的一致性的（主從延遲）。Base 理論：base available，基本可用，分布式系統在出現故障時，允許損失部分可用功能，保證核心功能可用。soft state，軟狀態，允許系統中存在中間狀態，這個狀態不影響系統可用性。
  • 分布式架構之美
    一、前言　　我們都知道，當今無論在BAT這樣的大公司，還是各種各樣的小公司，甚至是傳統行業剛轉網際網路的企業都開始使用分布式架構，那麼什麼叫分布式架構呢？分布式架構有什麼好處呢？分布式架構經過了怎樣的發展呢？是哪家企業開啟了分布式架構的時代呢？
  • 簡析分布式存儲的架構體系
    前文我們詳細的解析過「什麼是分布式存儲」，我們來簡單回顧下：分布式存儲是將數據分散存儲在多臺獨立的設備上。說完了面上的東西，我們把目光重新投入到「裡子」的問題，知道了什麼是分布式存儲，我們來了解下分布式存儲內在的架構。
  • 架構師成長之路:分布式系統綜述
    但是，以上這些方案都不是分布式，系統也不是分布式系統，依然是 Monoliths 這種被一些技術瘋子們嘲笑的笨重架構。我們還需要分布式嗎？上圖是某大廠的支付平臺一小部分架構圖。從這張圖可以看出，業務發展到後面會有多麼複雜。
  • 分布式系統架構與雲原生—阿里雲《雲原生架構白皮書》導讀
    1.3 雲原生與分布式系統架構的關係　　分布式架構的重點在於解決計算力的保障問題以及為了提高計算力並同時確保系統的可靠性、可用性和安全性而產生的諸如彈性伸縮、負載均衡、分布式存儲等問題，其目標是在於構建一個分布式的安全可靠的計算力基礎平臺。
  • 支付寶金融級IT架構及分布式架構的應用實踐
    微服務、容器、無伺服器架構、服務網格等新技術的出現，在技術社區中激起了一浪又一浪的創新熱潮。然而由於金融行業對性能和安全的嚴苛要求，雲原生技術在企業實際場景中的實施落地，特別是在金融場景的實施落地，仍然面臨諸多挑戰。本文整理自2020阿里雲線上峰會螞蟻集團資深技術專家尹博學的主題演講，為大家分享螞蟻關於金融級IT架構及分布式架構的思考和應用實踐。
  • 分布式架構知識梳理
    計算機以集群的方式存在，按照分布式理論的指導構建出龐大複雜的應用服務，也已經深入人心。本文力求從分布式基礎理論，架構設計模式，工程應用，部署運維，業界方案這幾大方面，介紹基於MSA(微服務架構)的分布式的知識體系大綱。從而對SOA到MSA進化有個立體的認識，從概念上和工具應用上更近一步了解微服務分布式的本質，身臨其境的感受如何搭建全套微服務架構的過程。
  • 一文讀懂阿里中臺架構
    基礎服務層：即PAAS層，包括分布式服務框架、分布式資料庫、分布式消息、分布式存儲、分布式事務、實時監控服務等。網際網路業務中臺：包括各服務中心的抽象出來的各種業務能力，包括交易中心、支付中心、營銷中心、結算中心、用戶中心、帳戶中心等等。
  • 分布式架構知識體系必讀
    計算機以集群的方式存在，按照分布式理論的指導構建出龐大複雜的應用服務，也已經深入人心。本文力求從分布式基礎理論，架構設計模式，工程應用，部署運維，業界方案這幾大方面，介紹基於MSA(微服務架構)的分布式的知識體系大綱。從而對SOA到MSA進化有個立體的認識，從概念上和工具應用上更進一步了解微服務分布式的本質，身臨其境的感受如何搭建全套微服務架構的過程。
  • 分布式架構的前世今生...
    一、前言　　隨著社會的發展，技術的進步，以前的大型機架構很顯然由於高成本、難維護等原因漸漸地變得不再那麼主流了，替代它的就是當下最火的分布式架構，從大型機到分布式，經歷了好幾個階段，我們弄明白各個階段的架構，才能更好地理解和體會分布式架構的好處，那麼本文我們就來聊聊分布式架構的演進過程，希望能給大家帶來眼前一亮的感覺。
  • 什麼是分布式系統！以及分布式系統架構的優缺點
    現在的架構很多，各種各樣的，如高並發架構、異地多活架構、容器化架構、微服務架構、高可用架構、彈性化架構等，還有和這些架構相關的管理型的技術方法，如 DevOps、應用監控、自動化運維、SOA 服務治理、去 IOE 等等，還有很多。　　那什麼是分布式系統?海威恆泰分布式系統是支持分布式處理的軟體系統，是由通信網絡互聯的多處理機體系結構上執行任務的系統。
  • java分布式架構設計之CAP定理
    CAP定理是分布式系統中最基礎的原則。所以理解和掌握了CAP，對系統架構的設計至關重要。CAPConsisteny（一致性）Availability（可用性）Partition tolerance（分區容錯性）CAP定理也稱為布魯爾定理，它提出對於一個分布式系統而言，任何分布式系統只能同時滿足這三項中的兩項。
  • 一文看懂伺服器中集群、分布式、負載均衡的區別
    我相信大家對集群、分布式、負載均衡都不陌生了，每一個詞都很熟悉，但在伺服器架構中，很多人還是不知道這三者的關係或者區別是什麼，也不是所有人都有機會真正接觸到這些技術，也不是所有人都真正理解了這些「聽起來很牛的」技術名詞。
  • 理解什麼是CAP？做一個合格的分布式架構師
    引子如果你想學習分布式架構，但是並不了解CAP理論，那是絕對不行的。下面我就來跟大家一起學習一下分布式的基礎理論CAP。對於一個具有可用性的分布式系統，每一個非故障的節點必須對每一個請求作出響應。所以，一般我們在衡量一個系統的可用性的時候，都是通過停機時間來計算的，不允許出現用戶操作失敗或者訪問超時等情況。一個分布式系統中任何一部分如負載均衡、應用伺服器、應用代碼、資料庫伺服器等，任何一個節點的不穩定都可以影響可用性。
  • 分布式架構在銀行的應用
    隨著基於開放平臺的分布式架構逐漸成熟，採用大規模的開放平臺伺服器取代主機，在高可用性方面已經不再受到局限，而在資源的有效調配與成本節約方面更具優勢。因此，降低主機運行成本已經成為銀行面臨的一大挑戰，各家銀行核心系統普遍向更低成本的架構轉型。4. 資源彈性 - 銀行運營手段日益多樣，各促銷秒殺類活動成為常態，大量業務請求經常集中在短時間內爆發。
  • 阿里P8架構師深度概述分布式架構
    作為一名分布式系統架構或者資深研發人員，我們必須儘可能多的學習與之相關的各種知識，掌握各種技術的演進路線，正式從一名碼農蛻變成為架構師什麼是分布式？網際網路應用的特點是：高並發，海量數據。網際網路應用的用戶數是沒有上限的(取決於其開放特性)，這也是和傳統應用的本質區別。高並發指系統單位時間內收到的請求數量（取決於使用的用戶數），沒有上限。
  • ...模塊化、集中式、分布式、服務化、面向服務的架構、微服務架構
    最近也火的一踏糊塗的Docker、AppOps也都是圍繞著微服務領域的。在微服務領域還有很多相關名詞。這些名詞有一個共同的特點那就是晦澀難懂。他們就像中國古代的道、氣、八卦等詞一樣，一解釋就懂，一問就不知，一討論就打架。　　本文主要來介紹幾個和微服務相關的概念。這些概念的都是博主在瀏覽了大量資料之後總結出的個人見解，如有偏頗，請指正，共勉之。