當分布式架構遇到開放LinuxONE主機,一致性難題迎刃而解

2020-12-22 中華網科技

潘建裝,IBM資深售前技術顧問

分布式架構因為具備成本低、自主研發、靈活兼容和伸縮擴張方面的優勢,備受網際網路公司和創業公司的青睞,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰,尤其是在滿足一致性的問題上。IBM LinuxONE 可以和分布式架構形成很好的互補,完美地解決分布式架構落地遇到的重重挑戰。

分布式架構落地,難關重重

說起分布式系統的難點,不得不說著名的CAP定律,它是說在分布式系統中,一致性(C)、可用性(A)和分區容忍性(P)三項,只能滿足兩項,而不能同時滿足。因為在分布式環境中,由於節點之間的通信容易出現問題,為了擴展性,往往不得不犧牲一致性。此外,對於資料庫的設計通常要遵循的四大特性(原子性、一致性、隔離性與持久性),分布式資料庫也難以兼顧,要嚴格執行,就要在執行性能上花費很大的代價。

後來出現的BASE理論提供了一種解題思路,但也沒有從根本上解決一致性問題。它的核心思想是容許分布式系統出現短暫性的不一致的狀態,只要能夠在一定時間內,最終達到一致狀態就行。但是如果面對一些重要的系統,它們對一致性的要求非常高,就對分布式系統提出很大的挑戰。因此,分布式系統的使命,並不是要放棄一致性,而是要不斷的去追求更高一致性。

但是對於正要轉向分布式架構的用戶來說,做出抉擇依然是艱難的,因為在實踐層面他們將面臨的不僅僅是數據不一致和網絡質量無法保證的問題,更多的時候還有業務上的難題。

首先業務的拆分很複雜,包括業務功能和服務解耦,以及應用改造策略等。到底是推倒重來,還是循序漸進?慢慢拆分,對於拆分顆粒度的選擇、分庫分表的策略的定義、遷移數據的完整性,都具有一定的挑戰性。

其次,拆分不容易,合併起來更難,比如全局一致性的備份、批量合併操作、全局跨分片分布式事務的處理,以及網絡通訊質量的問題,都有很大的挑戰性。

第三,拆分的越多,節點和服務數量也越多,隨之而來的是,系統整體性能瓶頸點和故障點也增多。伴隨著物理伺服器和網絡設備數量的不斷增加,機房空間和電力不足的制約,軟體成本的和整體TCO成本的不斷增加,也會逐漸顯現出來。

不難看出,分布式架構的水很深,選擇分布式並不容易。但是,如果已經做好了選擇,那麼如何應對分布式架構帶來的挑戰,就顯得尤為重要。

當分布式資料庫遇上開放伺服器LinuxONE

解決分布式架構落地的難題,有一種很好的選擇,就是將分布式系統與IBM LinuxONE相結合,後者可以很好地應對分布式架構帶來的種種挑戰。

LinuxONE本質上是一臺開放Linux伺服器,其綜合能力遠遠超過其它的Linux伺服器,它把開放開源的最好的部分,也就是基於Linux發展出來的開放的軟體技術堆棧,跟企業級計算裡最強的大機硬體平臺做了強強聯合。

基於這種組合打造的LinuxONE,在軟體層因為採用基於開放開源的技術堆棧,在使用體驗上可以做到同樣的簡單易用,包括應用的開發、交付、混合多雲的管理,以及服務治理管控等等。另外,客戶在Linux方面的已積累的技術力量,同樣可以在LinuxONE上得到充分的復用,並不會帶來額外的技能要求。

更重要的是,LinuxONE除了具備開源開放、穩敏合一、綠色計算和安全可靠的特性外,還有很多獨特的價值,可以很好地幫助分布式系統來應對各個層面的挑戰。

首先,LinuxONE擁有獨有的內存通訊技術,可以很好的解決分布式系統節點數量過多,而帶來節點之間通訊不可靠的痛點。

其次,LinuxONE多層級虛擬化和大規模整合能力,不但簡化了運維,還可以大大緩解物理設備激增所以帶來的壓力。

另外,LinuxONE具備最高等級穩定性和安全性,可以為雲中的核心系統提供最強的保障。

可以說,當分布式資料庫遇上LinuxONE,分布式資料庫對更強一致性的追求,能夠輕鬆得到提升。LinuxONE和分布式資料庫的組合,就是一對黃金搭檔。LinuxONE在硬體層面,提供了非常強大的底層支撐平臺,從而在「相同的簡單易用」基礎之上,可以帶給客戶「與眾不同的能力和體驗」。

LinuxONE的獨門絕技

就像「腳踏風火輪、手拿紅纓槍」的哪吒,他有三頭六臂,還有混天綾和乾坤圈各項技能,LinuxONE也同樣擁有自己的各項獨門技能。我們可以用「3高6黑」來概括LinuxONE的強大能力。

其中,3高是指LinuxONE超越任何其它平臺的3種超高能力,這三種高超能力是「高性能、高可靠和高密度」。

高性能方面, LinuxONE是所有商用伺服器裡性能最高的,它配置了5.2GHz主頻的處理器,以及總量超過11GB的4級CPU大緩存,再加上高達192個的IO插槽,從而為客戶提供最強大的計算能力和IO處理的能力。

高可靠方面,LinuxONE提供了N+1的全冗餘的體系架構,這裡面涵蓋了CPU、內存、IO、電源、風扇、控制臺等等,從而使得LinuxONE單機就可達到6個9的可靠性。

高密度方面,LinuxONE除了具備強大的縱向擴展能力外,橫向擴展能力也是很強的,LinuxONE單機可支持85個邏輯分區、支持8000多個虛機,以及2百多萬個容器,對X86而言,可以用「以一頂百」的方式,來實現高密度的集約化部署。

6黑是指LinuxONE所配備的6種黑科技,主要是解決企業級用戶經常會遇到的一些需求,比如數據的壓縮排序和加解密,以及虛擬化環境中各種應用負載或虛擬伺服器之間的通訊、隔離、時鐘同步的需求。

LinuxONE之所以能自帶這些黑科技縱橫江湖,那是因為它在硬體層面做了很多有針對性的優化。比如LinuxONE的晶片壓縮功能,支持高達260GB/s的超大規模吞吐能力,可以幫助用戶節省大量存儲空間、節省網絡帶寬、縮短數據傳輸時間等。LinuxONE的內存通訊技術,可以幫助聯機交易端到端的響應時間減少30%,同時TPS提升超過50%!

尤其值得一提的是,在時鐘同步方面,LinuxONE可以確保在同一設備內,所有分區和虛機、以及跨多臺設備集群的精準同步,可以達到微秒級。這對於分布式資料庫來說,有很大的價值,因為分布式資料庫對於節點間的時間同步,往往有著非常苛刻的要求。

無可替代的價值

在BASE理論中,最終一致性是對分布式系統中數據不一致的中間狀態的妥協,如何提升一致性,使得分布式資料庫可以更好支持企業級的關鍵業務,是國內分布式資料庫廠商普遍的追求。LinuxONE的價值也在於此,在分布式資料庫環境下,LinuxONE支持以「大而少」的部署方式,以「快又穩」的技術實現,可以大幅減少各類不穩定問題的發生。

大而少:當有了更高一致性的約束之後,分布式的資料庫不是節點數越多越好的,這個時候 LinuxONE 的高主頻、大緩存的設計,就顯得尤為重要。它可以用更大的、更少的節點來部署分布式資料庫,這種部署方式可以大大減少節點數量、節點的不穩定性,節點之間的通訊量,以及減少節點之間因時鐘同步而出現問題的頻率,同時還可以減少跨分片分布式事務的發生。此外, LinuxONE 還支持秒級之內激活微碼的方式,可以在不中斷業務的前提下,在線極大程度地縱向擴容節點,從而減少節點數量的增加,滿足數據再平衡的需求。

快又穩:LinuxONE 的各種黑科技,不僅可以大幅提升性能,還能大大增強節點和網絡通訊的穩定性,以及節點之間以微秒級的精準時鐘同步,這些恰恰幫助分布式資料庫解決了在一致性方面所面臨的幾個主要的麻煩。

簡又省:不管是大而少,還是小而多,LinuxONE 能夠以「以一頂百」的方式,做到高密度集約化部署,簡化運維的同時,還實現了更為可持續的發展模式。這種高密度集約化部署,在幫助分布式系統簡化運維、提升最佳數據一致性水平的同時,還以更穩健和更節省的綠色計算的方式,幫助用戶推進分布式架構的轉型和創新。

當分布式資料庫遇上了LinuxONE,這一對黃金搭檔的結合,可以幫助用戶在選擇分布式架構時,創造無限可能。

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

責任編輯:kj005

文章投訴熱線:156 0057 2229 投訴郵箱:29132 36@qq.com

相關焦點

  • LinuxONE+分布式資料庫 黃金組合帶來完美分布式體驗
    潘建裝,IBM資深售前技術顧問  分布式架構因為具備成本低、自主研發、靈活兼容和伸縮擴張方面的優勢,備受網際網路公司和創業公司的青睞,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰
  • 分布式系列之一:架構的演進過程
    穩定性和可用性這兩個指標很難達到單機系統存在可用性和穩定性的問題,這兩個指標又是我們必須要去解決的 1、了解分布式架構中的相關概念 集群 小飯店原來只有一個廚師,切菜洗菜備料炒菜全乾。
  • 解決分布式系統事務一致性的幾種方案對比,你有更好的嗎?
    在分布式系統中,同時滿足「一致性」、「可用性」和「分區容錯性」三者是不可能的。分布式系統的事務一致性是一個技術難題,各種解決方案孰優孰劣?寫在前面在 OLTP 系統領域,我們在很多業務場景下都會面臨事務一致性方面的需求,例如最經典的 Bob 給 Smith 轉帳的案例。傳統的企業開發,系統往往是以單體應用形式存在的,也沒有橫跨多個資料庫。
  • linux 虛擬主機好嗎
    linux 虛擬主機好嗎?linux 虛擬主機是採用Linux系統搭建的虛擬主機,是企業和個人都非常喜歡使用的虛擬主機種類。運行穩定,對軟體的兼容遠超Windows系統。安全透明linux 虛擬主機因為所有的代碼都是透明可見的,易於查找問題、bug,所以能最大限度的檢查系統中的錯誤,保證系統正常運行。同時由於所有代碼都是可以查看的,一旦發生了問題,也可以第一時間調整代碼,修正錯誤,這是windows系統所不具備的優勢。
  • 一文講透微服務架構下如何保證事務的一致性
    隨著業務的快速發展、業務複雜度越來越高,傳統單體應用逐漸暴露出了一些問題,例如開發效率低、可維護性差、架構擴展性差、部署不靈活、健壯性差等等。而微服務架構是將單個服務拆分成一系列小服務,且這些小服務都擁有獨立的進程,彼此獨立,很好地解決了傳統單體應用的上述問題,但是在微服務架構下如何保證事務的一致性呢?本文作者將為大家詳細解答。
  • 阿里P8架構師,嘔心48小時整理的分布式系統實戰筆記
    前言現在的架構很多,各種各樣的,如高並發架構、異地多活架構、容器化架構、微服務架構、高可用架構、彈性化架構等,還有和這些架構相關的管理型的技術方法,如 DevOps、應用監控、自動化運維、SOA 服務治理、去 IOE 等等,還有很多。那什麼是分布式系統?
  • 太厲害了,這份阿里P8架構師編寫的linux企業運維實戰,知識滿滿
    這份《曝光linux企業運維實戰》系統地論述了Linux運維領域的各種技術主要內容包括*版Linux系統安裝的完整過程、系統啟動原理、系統必備的命令、系統管理、初學者必備軟體管理、基礎服務實戰、生產環境LAMP、Redis實戰及備份
  • 談談我在項目中是如何解決分布式事務的
    背景我們項目使用的是SpringCloud微服務架構,因為微服務架構所設計的系統是分布式系統,而分布式系統有一個著名的理論叫做CAP理論,即分布式系統同時滿足一致性、可用性、分區容錯是一件不可能的事情。
  • SpringCloud:分布式微服務架構
    概念微服務是一種架構風格,它是一種將一個單一應用程式開發為一組小型服務的方法,每個服務運行在自己的進程中,服務間通信採用輕量級通信機制(通常採用http)。SpringCloud 簡介當我們的系統是分布式架構的時候,由於一個大的業務被拆分成各個不同的子業務,此時就會出現各種各樣的問題(之前文章有過介紹),而SpringCloud提供了一整套的解決方案!
  • DTCC2020阿里雲李飛飛:雲原生分布式資料庫與數據倉庫系統點亮數據...
    挑戰二:對資源的使用方式傳統的馮諾依曼架構下計算和存儲是緊密耦合的,可將多個伺服器通過分布式協議和處理的方式連成一個系統,但是伺服器和伺服器之間、節點和節點之間,分布式事務的協調、分布式查詢的優化,尤其要保證強一致性、強ACID的特性保證的時候,具有非常多的挑戰。
  • 分布式微服務架構成確定性趨勢 撬動銀行新一輪IT改造
    令人矚目的是,中國工商銀行憑藉2014年起研發的「分布式技術體系建設」剛剛榮獲2019年中國人民銀行科技發展獎一等獎,目前該行已經實現了分布式技術體系規模化應用。  隨著雲計算、虛擬化、網絡存儲技術的成熟與穩定,分布式架構正逐步瓦解集中單體式架構在應用架構中的壟斷地位,銀行核心系統採用基於開源技術、雲化部署的分布式架構,已成確定性趨勢,或將撬動新一輪銀行IT改造。
  • 愛數AnyRobot創新開放架構,釋放機器數據價值
    在今天的在線研討會上,愛數AnyRobot推出創新開放的Hub架構,統一納管多源機器數據,助力IT運營化解機器數據管理難題,賦能數據驅動型組織業務創新發展。以開放思維走進機器數據世界AnyRobot Family 3,開放、高效、經濟的機器數據分析平臺,秉承愛數「平臺+商業」的戰略模式,創新推出開放的Hub架構,實現多源異構數據、多機器數據平臺的統一納管,釋放海量機器數據的價值。
  • 全閃分布式存儲深入企業核心業務,QingStor NeonSAN強勢增長
    眾所周知,網際網路金融業務本身就紮根在雲上,所以「x86+分布式存儲」幾乎可以說是標配。保險和證券行業在IT架構的變革上走得更快一些,其中,頭部企業的核心業務已經移植到「x86+分布式存儲」架構之上有一兩年時間,並且達到了預期的效果。銀行客戶相對保守一些,但可喜的是,銀行客戶在綜合考慮合規性、整體架構改造難易程度等因素後,也在嘗試將分布式存儲用於核心業務,但這還需要一個過程。
  • 後端程式設計師必備:分布式事務基礎篇
    一致性:通過回滾、恢復,以及並發情況下的隔離性,從而實現一致性。分布式事務分布式事務: 就是指事務的參與者、支持事務的伺服器、資源伺服器以及事務管理器分別位於不同的分布式系統的不同節點之上。簡單來說,分布式事務指的就是分布式系統中的事務,它的存在就是為了保證不同資料庫節點的數據一致性。
  • 企業從單體架構向微服務架構轉型的 9 個難點
    (2) 充分培訓微服務開發關注點:微服務架構的開發人員具備「精」、「氣」、「神」的特質,否則在後續發展階段一定會出現各種難題。一旦完成服務拆分,就會涉及到分布式事務,在談數據一致性要求的時候有2個非常重要的理論即CAP定理和Base理論:CAP定理:C表示一致性,也就是所有用戶看到的數據是一樣的,A表示可用性,是指總能找到一個可用的數據副本,P表示分區容錯性,能夠容忍網絡中斷等故障。
  • OpenStack 架構|麒麟雲
    負責從多宿主機中調度最適合的宿主機生成雲主機。即傳入需要啟動的雲主機列表, kcms-scheduler 根據云主機的數量、參數等進行調度,選擇合適的物理機(hypervisor,宿主機,即運行計算服務的節點)啟動這些雲主機;計算服務(kcms-compute):負責管理宿主機上的雲主機,對雲主機的主要操作有啟動、 終止、 重啟、掛載硬碟、 卸載硬碟、獲取控制臺輸出等;
  • 一款可能解放DBA的分布式資料庫RadonDB的體驗之旅
    基於第三方插件(通常MHA)的快速切換與數據一致性保證;單實例海量數據分庫分表後的group、sort、limit及join查詢;分庫分片後各實例數據不均及數據增長後二次拆分問題;分庫分片後跨實例操作的分布式事物保證問題。
  • 五年打磨 金山雲分布式資料庫DragonBase助力金融行業
    近日,在dbaplus社區主辦的FinTec技術沙龍上,金山雲資料庫資深架構師張健分享了金山雲分布式資料庫DragonBase架構設計與實踐。分布式資料庫正逐漸滲入金融行業Gartner數據統計,2020年全球資料庫軟體市場將達到549億美元。
  • 阿里P8分享出史上最詳解筆記:分布式系統常用技術及案例分析
    本書分兩部分,部分主要介紹分布式基礎理論知識,總結一些在設計分布式時需要考慮的範式、知識點以及可能會面臨的問題,其中包括線程、通信、一致性、容錯性、CAP理論、安全性和並發等相關內容;同時講述分布式的常見架構體系,其中也包括近比較火的RESTful風格架構、微服務、容器技術等。
  • 打造雲原生大型分布式監控系統(二): Thanos 架構詳解
    Thanos (沒錯,就是滅霸) 可以幫我們簡化分布式 Prometheus 的部署與管理,並提供了一些的高級特性:全局視圖,長期存儲,高可用。下面我們來詳細講解一下。如何理解 Thanos 的架構設計的?我們可以自己先 YY 一下,要是自己來設計一個分布式 Prometheus 管理應用,會怎麼做?首先,監控數據的查詢肯定不能直接查 Prometheus 了,因為會存在許多個 Prometheus 實例,每個 Prometheus 實例只能感知它自己所採集的數據。