支付寶資深技術專家尹博學:新一代金融核心突破之全分布式單元化...

2020-12-14 中華網科技

導語:過去幾年是雲原生理念高速普及的黃金時期。微服務、容器、無伺服器架構、服務網格等新技術的出現,在技術社區中激起了一浪又一浪的創新熱潮。然而由於金融行業對性能和安全的嚴苛要求,雲原生技術在企業實際場景中的實施落地,特別是在金融場景的實施落地,仍然面臨諸多挑戰。

本文整理自2020阿里雲線上峰會螞蟻集團資深技術專家尹博學的主題演講,為大家分享螞蟻關於金融級IT架構及分布式架構的思考和應用實踐。關注"螞蟻金服科技"公眾號,螞蟻SOFAStack白皮書即將發布,不要錯過哦~~

以下為演講整理全文:

大家好,我是螞蟻集團的尹博學,今天和大家分享一下螞蟻關於金融級IT架構及分布式架構的一些思考和應用案例,主要包含三個部分,分別是行業常見的分布式架構介紹、螞蟻單元化架構的介紹以及單元化架構的應用案例。

行業常見分布式架構

行業常見的分布式架構主要包含,單活架構、雙活架構和冷備架構。從容災能力角度來看,雙活架構和冷備架構均能做到應用級跨機房容災,但是資料庫因為使用了異步複製的技術,無法做到機房級RPU=0的容災。再看灰度發布的能力,冷備架構和雙活架構都只能做到機房級灰度發布,無法做到更細粒度的灰度發布。

螞蟻單元化架構介紹

在介紹完行業常見的分布式架構後,我們來看一下螞蟻的分布式架構發展歷程,和單元化架構的詳細介紹。

這是螞蟻分布式架構發展歷程。螞蟻也經歷了單活、同城雙活、兩地三中心,三個階段。其中兩地三中心是同城雙活加一個冷備。隨著螞蟻業務和業務量複雜度的越來越高,業務對於基礎架構的要求也越來越高,即擴展能力、容災能力、灰度能力要求越來越高。最終螞蟻發展到了單元化架構,將主要業務拆分單元即分片,裝入不同的邏輯單元內,每個分片的資料庫實現三地五中心部署即三地五中心的單元化架構。

首先我們來看一下螞蟻單元化架構的整體架構設計,整體架構包含RZone、GZone和CZone。其中GZone部署的是無法拆分的數據和業務,GZone的數據和業務被RZone依賴,GZone全局只部署一份,而RZone部署的是可拆分的業務和對應的數據。每個RZone內的數據分片如圖所示有五副本,實現三地五中心部署,每個分片內只有一個可寫入的主副本,其餘副本按照Paxos協議做數據強一致。每個RZone內實現業務單元封閉,獨立完成自己的所有業務。而CZone的出現是因為GZone全局只有一份,不同城市的RZone可能依賴GZone服務和數據的時候需要遠距離調用,延遲比較大,所以在每個城市部署一個CZone作為GZone的只讀副本,為本城市的RZone提供服務。

介紹完單元化架構的整體設計之後,我們從容災、灰度發布、彈性三個方面詳細看一下該架構的能力。

首先看容災能力,容災能力分為同城容災和異地容災,以圖中所示為例,RZone1出現故障先看同城容災能力,我們目標將RZone1切換至同城容災RZone2。先做資料庫分片切換,RZone1對應的分片為分片1,把分片1在RZone2的副本提升為主副本,資料庫副本提升完畢後將RZone1的流量切換至RZone2,實現同城容災RPO=0、RTO<1min。

再看異地容災,同樣以RZone1故障為例。目標切換至RZone3,先做資料庫切換,分片1在RZone3的副本切換成主副本,完成後將RZone1的流量切換至RZone3,實現異地容災,該過程RPO=0、RTO<1min。

接下來我們看彈性。彈性的背景是業務在大促、節假日等流量出現大幅上漲的過程,我們可以短期租借新的城市和新的IDC。如圖所示,我們租借城市X的IDCX作為RZoneX,將RZone5的部分流量彈出至RZoneX,對應流量的數據也彈出至RZoneX內。在節假日大促結束之後,將RZoneX內的流量和數據彈回至RZone5,然後回收RzoneX,這樣大幅節約了機房成本。

介紹完彈性之後,我們來看灰度能力。如圖所示,我們將四個RZone(RZone1、RZone2、RZone3、RZone4)的業務和應用分為A、B組,日常A組和B組各承擔50%的應用流量。在應用新版本發布時,我們將A組的流量全部切換至B組,此時在A組上部署新版本,部署完畢後將B組的流量按粒度切換至A組上,切換粒度等於數據分片的粒度。在切換的過程中可以做A組和B組的服務對比,如果發現A組的服務異常,可以快速將流量切換回B組。在A組服務一段時間後無異常發生,最終可以將B組的流量全部切換至A組,把B組的版本更新為新的版本,在整個切換的過程中實現了可灰度、可回滾、可監控。

我們再深入到架構內部,來闡釋一下架構內關鍵模塊是如何支撐該架構的。

首先我們看流量路由模塊。流量路由模塊的核心是將用戶的uid信息和對應的Zone信息植入到cookie中,供流量路由模塊做精準路由。我們以用戶uid=68、RZone=RZ03為例來看流量路由模塊是如何工作的,首次用戶接入時cookie內無zone信息,流量接入模塊會隨即將該請求發到一個RZone內,如發到RZone1內,RZone1通過zoneClinet會準確計算該請求應發至RZone3,即通過RouteClinet將該請求發送。發送過程中將計算出的uid信息和對應的zone信息植入cookie內轉發至RZone3,RZone3完成本次業務請求後將結果返回給用戶,其後用戶同意session內的其它請求,因為在cookie內已經有了準確的路由信息,會被流量路由模塊準確的發至RZone3完成業務請求。

接著我們再看一下服務路由,服務路由分為本機房服務路由和跨機房服務路由調用。先看本機房服務路由,服務調用端向本機房服務註冊中心訂閱服務,發現服務地址後做本機房服務路由調用。再看跨機房服務路由調用,服務調用端向其他IDC的註冊中心訂閱服務地址,發現服務地址後做跨機房服務調用。

最後我們看數據是如何實現高可靠的。螞蟻使用自研的分布式關係資料庫OceanBase,每個分片的資料庫做5副本部署,部署地域實現三地五中心部署,5副本中有3副本實現強一致,如圖所示可以實現同城、IDC容災和異地容災。

單元化架構實踐場景

介紹完螞蟻單元化架構的主要概念即關鍵模塊信息之後,我們看一下單元化架構在外部客戶實施的一些案例。

第一個案例是一家城商行,它的業務系統、IT系統歷史比較長,無法一步跨越到單元化架構,我們為其推薦了大GZone的模式,即把城商行的所有服務和數據不做拆分,直接裝入一個GZone內,在GZone的基礎上實現同城雙活即應用同城雙中心部署,資料庫同城三中心部署,從而實現同城容災能力,RPO=0、RTO<1min,但無法實現異地容災能力,其可灰度能力和彈性能力都無法做到更細力度。

再看第二個區域銀行的案例。我們為這家區域銀行實現了同城單元化,即將這家區域銀行的主要業務拆分成兩個邏輯業務單元兩個分片,將其裝入一個城市的兩個IDC內,在另外一個城市建設冷備,其資料庫每個分片實現5副本部署,其中4副本在主城市兩個中心內部署,1副本部署在了本機房內。該架構實現了同城容災能力,同時也實現了細粒度的灰度能力和彈性能力,但同樣無法實現異地容災能力。

最後我們看一下螞蟻網商銀行的案例。網商銀行實現了異地多活單元化完整的架構,網商銀行的主要業務拆分成了4個分片,裝入4個RZone內,這4個RZone分別部署在了兩個城市內,各承擔25%的流量,而資料庫實現5副本三個城市部署。其中提供服務的兩個地域兩個城市部署4副本,遠端部署1副本。該架構實現了同城容災、異地容災,同時也實現更細粒度的灰度能力和彈性伸縮能力。

介紹完這三個案例後,我們看到了單元化架構的一個靈活性,既可以大GZone部署,也可以同城單元化部署和異地多活單元化部署。今天我們介紹了螞蟻架構的發展歷程即單元化在一些關鍵外部客戶的應用案例。

我的介紹就到這裡,謝謝大家。

加入我們:

螞蟻集團-商業化產品專家

工作地點:杭州、上海

崗位職責:

1、對金融科技或雲計算相關領域熟悉,結合行業發展趨勢及業務戰略方向對平臺/行業產品的長期發展做出市場判斷和業務規劃,找到產品商業化的突破。

2、作為產品,協同銷售、產品、研發、運營團隊,推進重大產品項目的落地,拿到滿足業務訴求的產品產出,並且能夠以技術商業諮詢的角度協同業務團隊落地重要客戶項目。

3、確保螞蟻在金融科技領域中的產品行業競爭力和影響力,對螞蟻產品的競爭力負責。

4、在產品相關的技術領域,完成競爭對手的動態和優劣勢分析

5、產品生態合作夥伴的建設和運營,結合行業生態,快速形成市場規模形成面向行業的場景化解決方案。

任職資格:

1、5年以上企業級產品設計、規劃、和管理的工作經驗 ,在產品決策、執行和願景規劃上有全面把控能力, 有國際化視野優先;

2. 深入理解雲計算技術和雲原生技術(如:微服務、devops、k8s、serverless等),熟悉業界主流雲廠商 PaaS 平臺和產品,了解其特性和各自的優劣勢;

3、業務能力,對金融科技化有深刻的理解,熟悉領域內領先公司的業務及產品,對業務趨勢有自己的見解和分析;

4、產品能力,能綜合多業務的不同場景,形成產品設計和解決方案設計。

5、協同能力,具備良好的團隊溝通協同能力,能推動多業務、角色的大型項目順利推進,結果導向帶領團隊拿到結果;

6、技術能力,在深度學習、分布式架構、企業級應用平臺,資料庫、大數據等一個或者多個領域有深入研究和理解;

7、敬業精神及抗壓能力,有ownership,有很強的抗壓能力和心力,能在關鍵時刻找到突破點。

簡歷投遞郵箱:

zhenxiong.mzx@antgroup.com

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

責任編輯:kj005

文章投訴熱線:156 0057 2229 投訴郵箱:29132 36@qq.com

相關焦點

  • 長亮觀察:中國銀行業核心系統十年變遷史
    在當時銀行傳統的IT技術架構發展模式下,「主機+x86」的混合架構仍然無法取得突破,而在網際網路領域,基於純「x86」伺服器的分布式架構得到了快速發展。  2014年,「突破」的歷史契機來臨了,中國首家民營銀行和網際網路銀行 -- 微眾銀行成立。
  • 金融企業選擇與應用分布式資料庫的7個核心問題
    以手機銀行、網上理財、網際網路保險等為代表的金融業務創新快速發展,推動新技術正以前所未有的速度與力度發生深層次變革。 這些技術發展,對金融服務模式帶來重大影響,使得金融行業向數位化、分布式轉型成為必然趨勢,金融業務創新與科技創新正在相互促進,重塑金融行業系統能力。
  • 為5G網鋪路 山東移動核心系統換上「支付寶同款」資料庫
    為5G網鋪路 山東移動核心系統換上「支付寶同款」資料庫 螞蟻集團自研資料庫OceanBase正被更多非金融客戶用在核心系統上。
  • 長亮科技中標交通銀行信用卡新核心項目 推動我國國有大行安全可控...
    這也是長亮科技繼今年年初中標郵儲銀行新核心技術平臺和銀行匯款組件項目後,再次以國產科技推動我國國有大行安全可控進程。順應國家戰略,交通銀行拉開國有大行信用卡核心安全可控序幕金融行業是國家經濟命脈,實現金融行業信息技術安全可控對經濟發展和國家穩定至關重要。
  • 中信銀行信用卡StarCard新核心系統正式上線一周年
    作為國內首個具有自主智慧財產權的新一代雲架構信用卡核心業務系統,StarCard  新核心系統順應銀行數位化創新升級浪潮,融合信用場景深度踐行金融科技新生態,實現了「新服務、新技術、新管理」三維一體的綜合能力提升,在驅動信用卡業務高質量發展歷程中具有裡程碑意義,不僅是貫徹落實《金融科技(FinTech)發展規劃(2019—
  • 盤點央行2019年度銀行科技發展獎:分布式技術成為最熱點
    分布式技術成為最熱技術  銀行科技發展獎由中國人民銀行於1992年設立,是國內金融業唯一的部級獎項,其以高質量的項目申報、高水準的專家評審,成為銀行業乃至金融業高水平科技成果評價的標杆和旗幟。獲獎項目所涉及的技術通常會被看作金融業技術發展的重要風向標。
  • 中信銀行信用卡StarCard新核心系統一周年沙龍在深成功舉辦
    近日,中信銀行信用卡StarCard新核心系統一周年沙龍在深圳舉行,作為本屆技術沙龍的主辦方,中信銀行信用卡中心邀請了來自華為、中興、紅帽、江融信、長亮、天陽宏業、畢馬威等七大核心合作單位的高層代表,以及銀聯、Visa、萬事達卡等三大銀行卡組織高層,對於金融數位化轉型、金融核心自主創新的技術新趨勢展開深度研討,同時,11家機構在會上聯合啟動「生態市場
  • 平安銀行信用卡A+新核心系統榮獲財聯社2020年度金融科技傑出案例獎
    2019年初,經過數月的調研和論證,平安銀行決定加快推進分布式金融PaaS平臺研發,基於該平臺自主建設一個行業領先、自主可控的信用卡新核心系統。秉承平安銀行高效協同、創新突破、創新發展的理念,平安銀行信用卡A+新核心系統項目組肩負自主可控的責任,在最高管理層的堅定支持下,克服多種技術困難,最終實現A+新核心系統在2020年10月31日成功上線 。
  • 中信銀行信用卡新核心系統投產一周年,展示數字金融實力
    11月24日,中信銀行信用卡StarCard新核心系統一周年沙龍在深圳舉行, 11家機構在會上聯合啟動「生態市場」,宣布正式開啟無界開放的數字金融新業態,為多元化的信用卡金融服務創造更多新可能。在這場新金融變革面前,銀行信用卡核心系統自身也在快速演變。第一、二代系統以交易為核心,第三代系統已經開始面向精細化管理,新一代系統要以智能為核心,依託實時大數據能力,構建新一代的信用卡核心系統。從一線業務中,新一代系統並不難理解,我們每個辦過信用卡的人都清楚,每個人的信用額度都是不同的,甚至在你辦卡之初,系統就自動給你設定了一個額度。
  • 人民銀行正式發布《金融分布式帳本技術安全規範》
    新華財經北京2月24日電(韓婕)中國人民銀行日前已正式發布《金融分布式帳本技術安全規範》(JR/T 0184―2020)金融行業標準。標準規定了金融分布式帳本技術的安全體系,包括基礎硬體、基礎軟體、密碼算法、節點通信、帳本數據、共識協議、智能合約、身份管理、隱私保護、監管支撐、運維要求和治理機制等方面。標準適用於在金融領域從事分布式帳本系統建設或服務運營的機構。
  • GoldenDB分布式資料庫中標交通銀行信用卡中心試點項目
    近日,中興通訊GoldenDB分布式資料庫成功中標交通銀行信用卡中心試點項目,這是GoldenDB在全國大行關鍵業務上的又一重大突破,將進一步完善中興通訊在金融行業的布局。近年來,移動網際網路及智能終端技術的發展,大大促進了行動支付的普及。
  • 新一代信息技術如何助力信用建設?
    面對構建適應高質量發展要求的社會信用體系和新型監管機制的要求,以及完善誠信建設長效機制,推進信用信息共享的需求,新一代信息技術可以提供哪些方案?今年全國兩會召開前夕,中共中央、國務院發布《關於新時代加快完善社會主義市場經濟體制的意見》(以下簡稱《意見》)。《意見》指出,構建適應高質量發展要求的社會信用體系和新型監管機制。
  • 無界開放,中信銀行信用卡攜手合作夥伴啟動數字金融「生態市場」
    作為國內首個具有自主智慧財產權的新一代雲架構信用卡核心業務系統,StarCard新核心系統順應銀行數位化創新升級浪潮,融合信用場景深度踐行金融科技新生態,實現了「新服務、新技術、新管理」三維一體的綜合能力提升,在驅動信用卡業務高質量發展歷程中具有裡程碑意義,不僅是貫徹落實《金融科技(FinTech)發展規劃(2019—2021年)》的有力體現,同時通過持續增強的科技應用能力和金融風險防控能力
  • 阿里雲中標深圳農商行核心系統項目 攜手打造分布式技術平臺
    1月13日,記者採訪獲悉,阿里雲日前中標深圳農商行分布式核心系統雲平臺與資料庫採購項目,將利用該公司自研的「飛天」雲計算作業系統以及分布式資料庫等產品、技術及解決方案,助力銀行核心系統雲化轉型。據介紹,為推動銀行核心系統的升級,滿足服務模式創新和經營模式創新需求,深圳農商行日前發起針對核心系統的技術採購項目。阿里雲憑藉自研的「飛天」雲計算作業系統和分布式資料庫的技術優勢,以及豐富的金融客戶落地實踐最終中標,將為深圳農商行搭建安全、可靠、彈性、運維方便的分布式技術平臺。
  • 平凱星辰 (PingCAP) 亮相中國國際金融展 助力金融科技創新服務...
    作為雲原生開源 HTAP 資料庫的領導企業,平凱星辰 (PingCAP) 受邀參展,同時合伙人、執行副總裁餘夢傑發表《從關鍵計算走向核心交易——雲原生 HTAP 資料庫 TiDB 全球化金融應用實踐》的主題演講。金融行業在數位化轉型進程推進中對於關鍵業務與核心交易場景中分布式資料庫的關注度與日俱增。
  • 中原消費金融堅持打造核心技術 致力升級金融服務
    隨著調研的深入,考慮到未來業務模式和技術發展趨勢,新核心團隊最終決定採用分布式架構——重新搭建一套架設在「雲」上的新一代核心消費信貸系統。「當初我們是沒敢往『雲』上面想的,畢竟搭建一朵『雲』,投入起碼需要上千萬!」新核心項目組開發組組長吳名說,「這在消費金融領域,幾乎是沒有前例的。」公司領導層的決心給了新核心項目組眾人足夠的信心——上「雲」!
  • 央行發布《金融分布式帳本技術安全規範》BATJ網際網路巨頭均已參與
    每經記者:劉永生 每經編輯:易啟江近日,《金融分布式帳本技術安全規範》(JR/T 0184—2020)金融行業標準由中國人民銀行正式發布。本標準由全國金融標準化技術委員會歸口,由中國人民銀行數字貨幣研究所提出並負責起草。
  • 阿爾法機器狗驚豔支付寶外灘大會,現場透露新一代產品
    「外灘大會」是由上海市政府指導、支付寶和螞蟻集團主辦的全球高級別金融科技大會。9月24日—9月26日在上海世博園區舉行。本屆大會主題為「科技讓未來更普惠」,致力於推動金融科技的普惠,搭建開放的國際交流、共享平臺,邀請全球金融科技領軍企業和專家學者,探討區塊鏈、物聯網、人工智慧等前沿技術在金融、經濟、商業、環境等領域的應用和創新。
  • 中信信用卡上半年核心系統技術紅利持續釋放,讓利實體提振消費
    而另一方面,新冠疫情席捲全球,對金融領域帶來重大挑戰之際,中信銀行保持定力,打磨系統和產品,為經濟回暖後的厚積薄發努力蓄能。截止6月底,去年10月上線的新一代信用卡核心系統StarCard已經穩定運行8個月,整體服務成功率99.999%。大大提高了敏捷作戰的能力,為中信銀行信用卡優化前端產品、提升用戶體驗打下了重要基礎。
  • 中信信用卡的上半年:‌核心系統技術紅利持續釋放,讓利實體提振...
    而另一方面,新冠疫情席捲全球,對金融領域帶來重大挑戰之際,中信銀行保持定力,打磨系統和產品,為經濟回暖後的厚積薄發努力蓄能。截止6月底,去年10月上線的新一代信用卡核心系統StarCard已經穩定運行8個月,整體服務成功率99.999%。大大提高了敏捷作戰的能力,為中信銀行信用卡優化前端產品、提升用戶體驗打下了重要基礎。