借IBMLinuxONE加快分布式架構轉型與創新

2020-12-03 東方財富網

分布式架構因為具備成本低、自主研發、靈活兼容和伸縮擴張方面的優勢,備受網際網路公司和創業公司的青睞,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰,尤其是在滿足一致性的問題上。IBM LinuxONE 可以和分布式架構形成很好的互補,完美地解決分布式架構落地遇到的重重挑戰。

分布式架構落地,難關重重

說起分布式系統的難點,不得不說著名的CAP定律,它是說在分布式系統中,一致性(C)、可用性(A)和分區容忍性(P)三項,只能滿足兩項,而不能同時滿足。因為在分布式環境中,由於節點之間的通信容易出現問題,為了擴展性,往往不得不犧牲一致性。此外,對於資料庫的設計通常要遵循的四大特性(原子性、一致性、隔離性與持久性),分布式資料庫也難以兼顧,要嚴格執行,就要在執行性能上花費很大的代價。

後來出現的BASE理論提供了一種解題思路,但也沒有從根本上解決一致性問題。它的核心思想是容許分布式系統出現短暫性的不一致的狀態,只要能夠在一定時間內,最終達到一致狀態就行。但是如果面對一些重要的系統,它們對一致性的要求非常高,就對分布式系統提出很大的挑戰。因此,分布式系統的使命,並不是要放棄一致性,而是要不斷的去追求更高一致性。

但是對於正要轉向分布式架構的用戶來說,做出抉擇依然是艱難的,因為在實踐層面他們將面臨的不僅僅是數據不一致和網絡質量無法保證的問題,更多的時候還有業務上的難題。

首先業務的拆分很複雜,包括業務功能和服務解耦,以及應用改造策略等。到底是推倒重來,還是循序漸進?慢慢拆分,對於拆分顆粒度的選擇、分庫分表的策略的定義、遷移數據的完整性,都具有一定的挑戰性。

其次,拆分不容易,合併起來更難,比如全局一致性的備份、批量合併操作、全局跨分片分布式事務的處理,以及網絡通訊質量的問題,都有很大的挑戰性。

第三,拆分的越多,節點和服務數量也越多,隨之而來的是,系統整體性能瓶頸點和故障點也增多。伴隨著物理伺服器和網絡設備數量的不斷增加,機房空間和電力不足的制約,軟體成本的和整體TCO成本的不斷增加,也會逐漸顯現出來。

不難看出,分布式架構的水很深,選擇分布式並不容易。但是,如果已經做好了選擇,那麼如何應對分布式架構帶來的挑戰,就顯得尤為重要。

當分布式資料庫遇上開放伺服器LinuxONE

解決分布式架構落地的難題,有一種很好的選擇,就是將分布式系統與IBM LinuxONE相結合,後者可以很好地應對分布式架構帶來的種種挑戰。

LinuxONE本質上是一臺開放Linux伺服器,其綜合能力遠遠超過其它的Linux伺服器,它把開放開源的最好的部分,也就是基於Linux發展出來的開放的軟體技術堆棧,跟企業級計算裡最強的大機硬體平臺做了強強聯合。

基於這種組合打造的LinuxONE,在軟體層因為採用基於開放開源的技術堆棧,在使用體驗上可以做到同樣的簡單易用,包括應用的開發、交付、混合多雲的管理,以及服務治理管控等等。另外,客戶在Linux方面的已積累的技術力量,同樣可以在LinuxONE上得到充分的復用,並不會帶來額外的技能要求。

更重要的是,LinuxONE除了具備開源開放、穩敏合一、綠色計算和安全可靠的特性外,還有很多獨特的價值,可以很好地幫助分布式系統來應對各個層面的挑戰。

首先,LinuxONE擁有獨有的內存通訊技術,可以很好的解決分布式系統節點數量過多,而帶來節點之間通訊不可靠的痛點。

其次,LinuxONE多層級虛擬化和大規模整合能力,不但簡化了運維,還可以大大緩解物理設備激增所以帶來的壓力。

另外,LinuxONE具備最高等級穩定性和安全性,可以為雲中的核心系統提供最強的保障。

可以說,當分布式資料庫遇上LinuxONE,分布式資料庫對更強一致性的追求,能夠輕鬆得到提升。LinuxONE和分布式資料庫的組合,就是一對黃金搭檔。LinuxONE在硬體層面,提供了非常強大的底層支撐平臺,從而在「相同的簡單易用」基礎之上,可以帶給客戶「與眾不同的能力和體驗」。

LinuxONE的獨門絕技

就像「腳踏風火輪、手拿紅纓槍」的哪吒,他有三頭六臂,還有混天綾和乾坤圈各項技能,LinuxONE也同樣擁有自己的各項獨門技能。我們可以用「3高6黑」來概括LinuxONE的強大能力。

其中,3高是指LinuxONE超越任何其它平臺的3種超高能力,這三種高超能力是「高性能、高可靠和高密度」。

高性能方面LinuxONE是所有商用伺服器裡性能最高的,它配置了5.2GHz主頻的處理器,以及總量超過11GB的4級CPU大緩存,再加上高達192個的IO插槽,從而為客戶提供最強大的計算能力和IO處理的能力。

高可靠方面,LinuxONE提供了N+1的全冗餘的體系架構,這裡面涵蓋了CPU、內存、IO、電源、風扇、控制臺等等,從而使得LinuxONE單機就可達到6個9的可靠性。

高密度方面,LinuxONE除了具備強大的縱向擴展能力外,橫向擴展能力也是很強的,LinuxONE單機可支持85個邏輯分區、支持8000多個虛機,以及2百多萬個容器,對X86而言,可以用「以一頂百」的方式,來實現高密度的集約化部署。

6黑是指LinuxONE所配備的6種黑科技,主要是解決企業級用戶經常會遇到的一些需求,比如數據的壓縮排序和加解密,以及虛擬化環境中各種應用負載或虛擬伺服器之間的通訊、隔離、時鐘同步的需求。

LinuxONE之所以能自帶這些黑科技縱橫江湖,那是因為它在硬體層面做了很多有針對性的優化。比如LinuxONE的晶片壓縮功能,支持高達260GB/s的超大規模吞吐能力,可以幫助用戶節省大量存儲空間、節省網絡帶寬、縮短數據傳輸時間等。LinuxONE的內存通訊技術,可以幫助聯機交易端到端的響應時間減少30%,同時TPS提升超過50%!

尤其值得一提的是,在時鐘同步方面,LinuxONE可以確保在同一設備內,所有分區和虛機、以及跨多臺設備集群的精準同步,可以達到微秒級。這對於分布式資料庫來說,有很大的價值,因為分布式資料庫對於節點間的時間同步,往往有著非常苛刻的要求。

無可替代的價值

在BASE理論中,最終一致性是對分布式系統中數據不一致的中間狀態的妥協,如何提升一致性,使得分布式資料庫可以更好支持企業級的關鍵業務,是國內分布式資料庫廠商普遍的追求。LinuxONE的價值也在於此,在分布式資料庫環境下,LinuxONE支持以「大而少」的部署方式,以「快又穩」的技術實現,可以大幅減少各類不穩定問題的發生。

大而少:當有了更高一致性的約束之後,分布式的資料庫不是節點數越多越好的,這個時候 LinuxONE 的高主頻、大緩存的設計,就顯得尤為重要。它可以用更大的、更少的節點來部署分布式資料庫,這種部署方式可以大大減少節點數量、節點的不穩定性,節點之間的通訊量,以及減少節點之間因時鐘同步而出現問題的頻率,同時還可以減少跨分片分布式事務的發生。此外, LinuxONE 還支持秒級之內激活微碼的方式,可以在不中斷業務的前提下,在線極大程度地縱向擴容節點,從而減少節點數量的增加,滿足數據再平衡的需求。

快又穩:LinuxONE 的各種黑科技,不僅可以大幅提升性能,還能大大增強節點和網絡通訊的穩定性,以及節點之間以微秒級的精準時鐘同步,這些恰恰幫助分布式資料庫解決了在一致性方面所面臨的幾個主要的麻煩。

簡又省:不管是大而少,還是小而多,LinuxONE 能夠以「以一頂百」的方式,做到高密度集約化部署,簡化運維的同時,還實現了更為可持續的發展模式。這種高密度集約化部署,在幫助分布式系統簡化運維、提升最佳數據一致性水平的同時,還以更穩健和更節省的綠色計算的方式,幫助用戶推進分布式架構的轉型和創新。

當分布式資料庫遇上了LinuxONE,這一對黃金搭檔的結合,可以幫助用戶在選擇分布式架構時,創造無限可能。

(文章來源:砍柴網)

相關焦點

  • LinuxONE+分布式資料庫 黃金組合帶來完美分布式體驗
    潘建裝,IBM資深售前技術顧問 分布式架構因為具備成本低、自主研發、靈活兼容和伸縮擴張方面的優勢,備受網際網路公司和創業公司的青睞,一些金融機構也開始探索分布式架構的解決方案,但在具體實踐中不免還是會遇到魚和熊掌難以兼顧的挑戰,尤其是在滿足一致性的問題上。
  • 一文理解分布式架構
    二、分布式架構的應用1、分布式文件系統例如:出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等2、分布式緩存系統例如:memcache , hbase, mongdb 等3、分布式資料庫例如:mysql, mariadb, postgreSql 等
  • 自研科技新引擎 創新發展促轉型 北京銀行自主研發「順天」技術...
    1月11日,北京銀行正式發布分布式研發運營一體化平臺——「順天」技術平臺。  「順天」技術平臺將憑藉其低成本、高安全、強可控的特性,成為北京銀行數位化轉型的強大推進器。「順天」技術平臺是金融科技領域最新成果的綜合應用,它基於雲原生應用技術架構體系,採用業界主流的微服務、分布式架構設計,全面支持敏捷轉型,助推線上業務快速發展。
  • 分布式架構概述
    分布式架構是一個非常複雜的體系,任何技術都不是孤立的存在,任何技術都無法適應所有場景。作為一名分布式系統架構或者資深研發人員,我們必須儘可能多的學習與之相關的各種知識,掌握各種技術的演進路線,正式從一名碼農蛻變成為架構師什麼是分布式?網際網路應用的特點是:高並發,海量數據。
  • 大型機下移,國產分布式資料庫上線,金融機構技術安全可控邁出關鍵...
    由於採用了分布式技術架構,使得A+新核心系統能夠靈活擴展,具備高可用性和安全性的同時,非常高效的支持敏捷交付與創新,且相較大型機時期的成本顯著降低。該新系統在功能解耦、性能指標上在業界處於領先,能夠支持十億級交易帳戶、十億級日交易量處理,以及能夠支持10萬+核心帳務作業統一處理、跨地域分布式調度以及可視化管理。
  • 四個詞形容IBM:歷史、創新、轉型、行業
    四個詞形容IBM:歷史、創新、轉型、行業 李倩 發表於 2018-04-18 10:21:12 在歷經百年的風雨歷程中,IBM的轉型已經遠不止一次兩次。
  • 一步一圖,帶你了解分布式架構的前世今生
    目錄:什麼是分布式架構? 分布式架構的演進 分布式服務面臨的問題 什麼是分布式架構?特徵:應用程式,資料庫,文件等所有資源都放在一臺伺服器上。特徵:採用CDN和反向代理加快系統的訪問速度。描述:為了應付複雜的網絡環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。
  • 從日活數百到千萬並發,觀伺服器架構升級之路
    6、系統架構演化歷程-反向代理和CDN加速特徵:採用CDN和反向代理加快系統的描述:為了應付複雜的網絡環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。
  • 搶抓數字經濟發展和數位化轉型機遇,加快推進信息通信科技創新
    結合當前信息通信領域科技發展情況,中國通信學會梳理了本領域科技創新的九項趨勢。  一、5G商用推廣,新一代移動通信技術創新加快推進  2019年6月,工業和信息化部正式發放5G商用牌照,中國進入5G時代。在5G技術研發、網絡部署中,中國信息通信科技工作者開展了大量創新工作,取得了一批成果。
  • 環信「擁抱」雲原生 2.0,實現一地多中心分布式架構升級
    通過華為雲原生基礎設施提供的多雲治理能力,使環信擺脫傳統架構對業務大規模發展的限制,構建起多雲多中心的業務架構,並實現 「多雲一致性」的業務體驗。環信通過「一地三中心」將APP按地區分布到不同集群,固定接入和數據存儲靠Paxos實現高可用性;同時自研多地跨集群通信技術,既實現了「就近接入」,又讓APP跨集群共享與跨區信息同步,在優化用戶接入體驗的同時,也確保了服務的高可用。
  • 使用48V分布式電源架構解決汽車電氣化難題
    另外一種需要考慮的架構是使用模塊化電源組件進行分布式供電(圖 2)。該供電架構使用更小、更低功耗的 48 至 12V 轉換器,在整個接近 12V 負載的車輛中配電。簡單的功率方程式 P = V • I 和 PLOSS = I2R 就可以說明為什麼 48V 配電比 12V 更高效。對於給定功率級而言,與 12V 系統相比,48V 系統電流低四倍、功耗低 16 倍。
  • 48V分布式電源架構重新定義汽車供電
    全新的48V鋰離子電池組採用創新型智能電源管理及高功率密度DC-DC轉換器和穩壓系統。電池組為逆變器-電機組合供電,並使用其產生的再生電力,同時高功率密度轉換器可為汽車的所有電路和設備供電。這種架構實現的功率密度和電源管理水平無需使用交流發電機系統,從而進一步減輕重量,提高性能與可靠性。
  • 中國SDS市場最新數據出爐:浪潮分布式存儲為何成增速第一?
    從集採設備和結果看,中國移動非常重視分布式存儲,浪潮、華為等有較大斬獲。該項目的落定可以說是樹立了運營商在分布式塊存儲應用採購上的一個「標杆」,也代表著通信行業雲化轉型的推進走入了一個全新階段。不止是電信行業,金融、天文、氣象等領域,同樣對分布式存儲情有獨鍾。
  • 關於中小商業銀行金融科技轉型的幾點思考
    編者按  在當前新形勢、新環境下,商業銀行尤其是中小商業銀行,要跳出銀行看銀行,打破固有思維束縛,突破「深井」羈絆,精簡架構層級和決策鏈條,構建敏捷、韌性的高效組織和團隊,創新機制體制,形成強有力的紐帶,釋放金融科技的強大效能
  • 歐陽昌裕:加快建立分布式電源發展新機制
    未來電力發展表現出用電增速換擋、電力結構升級和發展創新驅動三大特點,電力發展形態調整加快,傳統能源發電延續大型化、基地化、跨區輸送的路徑發展,呈現出「大的是好的」屬性的同時,也相繼出現了分散式、分布式電源新形態,除小水電、接入配電網的新能源發電、綜合資源利用發電和小型煤層氣發電外,將大量出現分布式太陽能發電、天然氣分布式能源系統、智能微網、智能家庭能源系統、電動汽車以及小微型
  • 杜祥琬:推動能源轉型 需在六大觀念上創新
    目前,國家進入高質量發展階段,我國能源也面臨著歷史性的轉型和創新。創新始於思維改變,進步首先來自觀念轉換。以下6個方面能源觀的創新正在推動中國的能源轉型。對於確保國家長遠的能源安全、引導能源轉型具有方向性、戰略性的意義。四、能源轉型既有能源自身結構的優化又有空間格局的轉型世界能源低碳化進程進一步加快,天然氣(含非常規天然氣)和非化石能源成為世界能源增長的主要方向。
  • 數位化觀察之三十四:把握數字奇點 賦能銀行轉型——訪神州信息...
    神州信息定位是金融科技全產業鏈綜合服務商,聚焦金融科技,以大數據、人工智慧、物聯網、分布式與雲計算以及量子通信等新技術的應用,驅動軟體及服務產品智能化迭代,助力金融機構安全合規地推進基礎架構升級及業務創新;融合金融、政企、電信、農業等行業數據及場景資源,創新金融場景,打造新的服務平臺並提供運營服務,賦能金融行業數位化轉型,打造產業融合新生態。 為什麼是金融科技?
  • 阿里雲POLARDB*:創新的雲託管資料庫
    關係型資料庫管理系統(RDBMS)是全球性企業的基石,也是公司運營和數字轉型的必備條件。因此,雲託管關係型資料庫解決方案必須實現數字轉型。常見的資料庫有MySQL*和Oracle資料庫*,但不管是內部託管,還是雲託管,它們可能均難以保護、管理和擴展,而且可能達不到所需性能和服務質量(QoS)。阿里雲開發並推出了創新性的商業級雲託管關係型資料庫POLARDB*,解決了這些問題,為企業提供了一種新的DBaaS模式。
  • 迎難而上—分布式資料庫如何在關鍵行業開花結果
    而資料庫系統主要還是依託原有集中式架構進行維護擴展,為了應對新增業務的需求,資料庫系統不斷擴容,其規模及複雜程度日益增長,各類瓶頸逐漸暴露。傳統的集中式架構已經難以滿足行業海量用戶的數據服務和存儲處理需求,關鍵行業引進分布式資料庫迫在眉睫。 金融、電信等關鍵行業應用分布式資料庫,具有以下幾點優勢:一是能夠輕鬆面對海量數據和高並發的處理壓力。
  • Linux2.6內核驅動移植參考
    /module.h>時,不必定義__NO_VERSION__ 老版本:在多個文件中包含linux/module.h>時,除在主文件外的其他文件中必須定義_ _NO_VERSION__,防止版本重複定義。