螞蟻金服OceanBase資料庫的第十年:市場先行,基因長存

2021-01-08 雷鋒網

恩格斯說:「社會的需求對科技進步的作用要超過10所大學。」

奮戰在「雙11大促」背後的螞蟻金服OceanBase團隊或許對這句話頗有感觸。

與十一年前相比,雙11的許多東西都變了,比如金額---2684億,差不多是十一年前0.5億的5000倍;比如流量---當晚的交易峰值達到54.4 萬筆/秒,是2009年第一次雙十一的1360倍。

而在這個成績的背後,不得不提到螞蟻金服技術團隊OceanBase。作為中國資料庫中的佼佼者,OceanBase不僅在雙十一大放異彩,還於今年十月份打破了美國甲骨文公司保持了9年的世界紀錄,登頂TPC-C榜單,成為首個登上該榜單的中國資料庫系統。TPC-C是專門針對聯機交易處理系統(OLTP系統)的測試基準,幾乎所有在OLTP市場提供軟硬平臺的國外主流廠商都發布過相應的TPC-C測試結果。

今年的雙11金融新技術發布會上,螞蟻金服技術團隊展示了他們在資料庫領域獲得的一些成果。

解決痛點,挑戰巨頭

一直以來Oracle等老牌資料庫佔據著金融等各個行業的的資料庫市場。一步先,步步先。怎樣「虎口拔牙」,從傳統的資料庫廠商手中搶奪市場,這是新興的資料庫團隊要考慮的內容。

螞蟻金服研究員、OceanBase團隊核心成員韓鴻源說道:「讓銀行等金融行業使用新的資料庫,面臨的最大的挑戰是所有業務系統在過去20年裡已經構建好,如果既有系統平滑遷移,用戶會有特別大的開發和改造投入。」

「OceanBase挑戰TPC-C就是要證明我們可以把分布式架構和資料庫表現的和一個資料庫的效果一樣,這樣可以最大程度的降低遷移複雜度。」

「OceanBase於今年的十月份打破了Oracle公司保持了9年的世界紀錄,登頂TPC-C榜單。而在這件事的背後,其實在於OceanBase團隊做的一件有意義的事情:即改變了關係資料庫做交易的處理方法,把交易處理從傳統的集中式系統變成了分布式系統。螞蟻金服高級研究員、OceanBase創始人陽振坤補充道。

20世界80年代後,資料庫的一個重要的應用場景開始得到普遍應用,即在線交易處理On-Line Transaction Processing(OLTP),之後企業應用環境基於資料庫中的數據又增強了商業智能分析的需求,即對銷售結果進行預測、對比、分析等各種需求,所以在在線交易處理(OLTP)之外,還需要資料庫承擔聯機分析處理(OLAP)的負載。

但近些年來,因為數據量不斷高速增長,硬體發展速度趕不上數據的增長速度,原本可以由一個關係資料庫處理的OLTP和OLAP變成了由關係資料庫和數據倉庫兩個分離的系統來承擔。這帶來很大的不便。一來,需要另外架一個橋梁,把數據從交易資料庫抽取和轉載後加載到數據倉庫系統,而且這個過程是非實時的,效率低下。二來,數據倉庫本身是面向某個主題的,如果有多個不同的主題,就要建多個數據倉庫,造成大量數據冗餘。而對交易資料庫進行分庫分表後,當分庫數量變成兩位數或者三位數,不管是業務擴容了,還是業務縮容,都需要應用進行很多的調試。

「能夠做到隨時擴展和收縮,正是2010年公司立項做OceanBase的目標之一。」陽振坤說道。

對標國際,市場先行

「商業成就科技,技術成就商業。」阿里巴巴合伙人、螞蟻金服CTO胡喜告訴記者,「天貓雙十一就是金融新技術的最佳演練場。」而強大的市場需求不斷推動技術前行將成為阿里的一個標誌。

早在2008年,阿里巴巴提出了「去IOE「的概念。即在阿里巴巴的IT架構中,去掉IBM的小型機、Oracle資料庫、EMC存儲設備,代之以自己在開源軟體基礎上開發的系統。今年阿里已完成全部去Oracle,部分使用MySQL的目標。

相比於在業界應用廣泛的Oracle和MySQL,金融IT專家、贊奇科技CTO謝軍博士向雷鋒網(公眾號:雷鋒網)表示,「如果操刀大型系統,他會與阿里的OceanBase合作。如果是一般系統,則更傾向於使用MySQL。」

Oracle是一款誕生早、結構嚴謹、功能多的資料庫產品,但同時存在價格高、安裝較為複雜等問題。使用Oracle的客戶十分廣泛,涉及金融、能源等各個行業。早些時候,世界前100強的公司幾乎100%都使用的是Oracle資料庫。MySQL最大的特點在於開源、便宜、安裝方便、支持平臺多,但比較而言安全係數較低。生於網際網路,興於網際網路的MySQL在高並發等存取能力並不比大型數據差,同時價格便宜,安裝使用簡單便捷,能夠自主選擇存儲引擎,深受網際網路公司的喜愛。

而OceanBase誕生於阿里,應對像雙11這種大流量訪問、高並發的實戰,經驗更充足。相對於傳統資料庫而言,OceanBase有更好的擴展性且效率較高,更適合如聚划算、秒殺以及短時間突發大流量的場景應用。但同時也有一定的缺點:分布式事物的代價較為高昂、管理複雜,如果數據量沒達到一定規模,則使用OceanBase可能沒有明顯的優勢。

此外,謝軍博士對雷鋒網說道:「OceanBase的優勢在於能大規模支持極高並發業務集群;另外,由於是國產資料庫產品,安全可靠。「

近兩年,OceanBase團隊重點在做兼容Oracle的工作,目標可以達到不用改代碼,就能實現業務的平滑遷移,尤其是在金融領域,成就頗豐。目前國內如西安銀行已把Oracle業務遷到了OceanBase。

謝軍表示,OceanBase兼容Oracle對基金、保險行業的意義重大,但如果要大規模賦能銀行,則需進一步兼容DB2。

生命易逝,基因長存

阿里並不是國內第一家研發資料庫的公司。

21世紀初,我國開始了自主研發資料庫的歷程。除了南大通用、人大金倉等傳統國產資料庫廠商;騰訊TDSQL、華為GaussDB等網際網路開源產品廠商也相繼進軍市場。而更早些時候,Oracle等國際巨頭早已搶佔了大部分市場。

雖然阿里巴巴並不是最早開始研發資料庫的公司,但毋庸置疑的是,在資料庫領域,尤其是工業資料庫產品中,處於較為領先的地位。

「今天市場上即便是大廠,也不一定能做到使自己的業務全部運行到自己的資料庫上,而OceanBase這個產品是經過長期的檢驗之後才拿出來的,螞蟻金服的業務量對OceanBase有非常好的支持作用。」螞蟻金服研究員、OceanBase團隊核心成員韓鴻源說道。

支付寶參戰雙11的第十一年,OceanBase再次刷新了資料庫處理峰值,達6100萬次/秒,創造了新的世界紀錄。這些寶貴的經驗是其他廠商所不具備的。

除此之外,今年9月份螞蟻金服和阿里雲的業務合併,將給OceanBase帶來更加積極的改變。阿里雲智能新金融業務部總裁劉偉光說道:「我們的目標是把整個面向金融的技術棧做的更厚,不僅是資料庫,我們還會將雲計算、中間件、智能風控等技術結合在一起,構成一個自頂向下非常完整面向金融級的技術棧,為金融行業的客戶提供更多、更豐富的技術選擇。」

阿里雲沒有做上層金融級架構的基因,螞蟻金服沒有做下層雲計算的基因。一個基礎架構,一個應用架構,合二為一,將會形成指數倍的力量。」雲計算發展頭十年,大部分在公有雲上運行的客戶是一些初創公司和網際網路公司。而發展到第二階段,有了螞蟻金服的技術支持,是幫助傳統企業上雲的時候了。這是所有雲計算廠商在中國走向的第二個階段。」

據悉,在2017年,OceanBase向銀行、保險等金融機構對外開放後,南京銀行國內首個商業銀行分布式網際網路核心業務系統順利上線運營。而在今年阿里雲和螞蟻金服也聯手贏得了四川農信新一代分布式架構平臺項目。

「阿里有非常獨特的優勢,所有的技術都來自於實踐,這點和同行和友商有非常大的不同,在我們場景下驗證過的技術才拿到外部市場。這是阿里區別於其他資料庫廠商的獨特基因。」劉偉光說。

相關焦點

  • OceanBase 十年:一群追夢人的成長史
    他指著作戰會議室裡一扇打開的窗,面前是時任螞蟻金服董事長的彭蕾。這是2014年11月11日凌晨雙11開始的前夕,各個團隊都在自己的作戰室裡熱火朝天地準備,彭蕾到前線給大夥鼓勁,推開OceanBase的作戰室大門,問大家:「有沒有信心?」陽振坤走到窗邊,「你看我們窗子都已經打開了」——不成功就跳樓。
  • 山東移動核心系統採用螞蟻集團自研資料庫 OceanBase
    IT之家11月30日消息 螞蟻集團的自研資料庫 OceanBase 正在被更多非金融客戶用在核心系統上。螞蟻集團表示,山東移動計費業務系統已經正式 「跑上」OceanBase,這是螞蟻集團自研資料庫在非金融領域的又一合作夥伴。
  • 山東移動核心系統採用螞蟻集團自研資料庫OceanBase
    螞蟻集團自研資料庫OceanBase正被更多非金融客戶用在核心系統上。記者今日從螞蟻集團了解到,山東移動計費業務系統已經正式「跑上」OceanBase,這是螞蟻集團自研資料庫在非金融領域的又一合作夥伴。
  • 支付寶OceanBase再破TPC-C世界紀錄 迎接國產資料庫發展風口
    OceanBase是螞蟻自主研發的金融級分布式關係型資料庫,融合了傳統關係型資料庫強大功能與分布式系統的特點,具備持續高可用、高度可擴展、高性能、低成本等優勢。2019年10月OceanBase首次進行TPC-C測試就打破了由美國公司Oracle(甲骨文)保持了9年之久的世界紀錄,成為首個登頂該榜單的中國資料庫產品。
  • 支付寶OceanBase二刷TPC-C新紀錄 樹立國產自研資料庫技術自信
    OceanBase作為該領域標杆性產品,不僅向全球證明了中國自主研發資料庫的技術硬實力,也讓更多中國企業對以國產資料庫處理核心業務抱有巨大信心。實際上,資料庫是IT行業的重要基礎軟體。如同作業系統一樣,資料庫是一切業務順暢運轉的基石。歷經四十多年的發展,資料庫一度被認為在技術和市場方面趨於穩定。困於技術實力和軟體開發的滯後,國內資料庫市場也主要由Oracle把控。
  • IT168 專訪 | OceanBase 獨立這一年
    這一年,OceanBase 二刷 TPC-C 榜單打破由自己保持的世界紀錄,更重要的是註冊獨立公司,踏上了新的發展階段,而中國資料庫市場也是風雲變化多端。 在剛剛結束的 DTCC 2020 大會上,IT168 獨家專訪了螞蟻集團 OceanBase 資深總監、北京奧星貝斯科技有限公司研發中心總經理楊傳輝(日照),聊一聊 OceanBase 獨立這一年。
  • OceanBase上線OBCA認證,推動分布式資料庫人才生態發展
    日前,螞蟻集團資料庫公司OceanBase在官網上線了OBCA 認證。OBCA是OceanBase推出的OceanBase 資料庫專員認證,是對學員掌握OceanBase技術技能水平的全面檢驗和能力認證。
  • 十年磨一劍!阿里OceanBase創紀錄衛冕,中國資料庫從此告別卡脖子
    晶少 雷剛 發自 凹非寺 量子位 報導 | 公眾號 QbitAIOceanBase,十年前有「海洋」一樣的寄託,十年後夢想實現。
  • 周末·評述|螞蟻金服16年監管往事
    回顧過去16年螞蟻金服的監管往事,螞蟻金服就是一部活的金融發展史。如果,我們了解的更多,會不會有不同的理解? 支付寶紅利期 螞蟻脫胎於阿里巴巴集團,起步於 2004 年,支付寶的出現是為了解決淘寶在交易中的信任問題。
  • 性能提升 10 倍,OceanBase 二次 TPC-C 測試結果公布
    時隔半年,螞蟻金服的自研資料庫 OceanBase 又去做了 TPC-C 測試。
  • Ant「金服」更改「科技」,公司對更名作出回應,幾句話的差別
    首先,在全名中,ants刪除了「浙江」的區域組件,顯然,這意味著螞蟻的業務將在拓寬的區域範圍內,而不僅僅局限於浙江甚至中國,而是將走向全世界。支付寶服務範圍已覆蓋俄羅斯、盧森堡等50多個國家和地區,20多種貨幣。從起,螞蟻金服將增加對全球業務的投資。
  • 螞蟻金服,究竟得罪了誰?
    無人知曉,也不敢亂猜,但是我們可以設身處地的站在監管部門的角度上想一想:螞蟻金服的上市是不是一件好事?螞蟻金服,顧名思義就是為螞蟻們提供金融服務。從招股說明書上看,主要利潤來源是發放消費貸款,讓缺錢的螞蟻們也能花唄,借唄....與螞蟻相對的,是大象,即有一定資產規模的企業和個人。
  • OceanBase刷新世界紀錄支付寶再闖「無人區」
    一直以來,在信息技術最核心的三大件「晶片、作業系統、資料庫」上,市場格局穩定,由英特爾、微軟、甲骨文等科技巨頭推動行業和技術發展。 老牌巨頭優勢巨大,但在中國這個爆發式增長需求的市場,技術亟待更新突破。於是,以阿里為代表的科技公司,開始從零研發,走上這條極其艱辛的自研技術創新之路。
  • 阿里巴巴和螞蟻金服:資本開門,一本萬利!
    阿里巴巴和螞蟻金服,雖然與阿拉伯故事,阿里巴巴和四十大盜,不具有可比性,但是他們對財富的渴求,追求一本萬利的心態和模式,還是差不多的:後者是芝麻開門,前者是資本開門。11月份配合雙11大促, 本來是螞蟻集團在滬港兩地風光上市的日子,這是馬雲口中的「奇蹟」「全人類有史以來最大的上市」,他預計將成為亞洲首富,螞蟻集團也料將擠下中國工商銀行,一躍成為中國市值最高的金融公司,全球排名僅次於美國大行摩根大通。
  • 螞蟻金服事件後,兩個多月過去了,馬雲去哪裡了呢?
    其實,馬雲退而不休,表面上推出了阿里巴巴執行主席的席位,其實他手裡還緊握著螞蟻集團的印把子,手握著螞蟻金服這張王牌。螞蟻金服事件後,兩個多月過去了,馬雲去哪裡了呢?有人說,螞蟻金服是個市值過萬億的網際網路金融巨頭,一直都是一隻躺臥的猛虎,倘若讓它站起來,勢必會在網際網路金融市場掀起千層浪。然而,螞蟻畢竟是螞蟻,它最終沒能站起來。
  • 國泰財險調高螞蟻金服關聯交易金額上限,業內:輸入輸出天平傾斜...
    來源:藍鯨財經近日,國泰財產保險有限責任公司(以下簡稱「國泰財險」)公告稱,與螞蟻金服(現更名為螞蟻科技集團)籤訂《關聯交易框架合作協議》,將未來兩年的關聯交易金額調整至不超過35億元,小小動作,卻不排除雙方將有更緊密的合作,抑或是新的規劃。
  • 螞蟻金服百億富豪22人 螞蟻高管及員工持股50%
    首頁 > 見聞 > 關鍵詞 > 螞蟻最新資訊 > 正文 螞蟻金服百億富豪22人 螞蟻高管及員工持股50%
  • 井賢棟退出螞蟻花唄運營主體高管 此前已不兼任螞蟻金服CEO
    北京商報訊(記者 孟凡霞 馬嫡)天眼查數據顯示,1月7日,螞蟻花唄的運營主體重慶市螞蟻小微小額貸款有限公司發生主要人員變更,井賢棟退出監事,由李臣接任。重慶市螞蟻小微小額貸款有限公司成立於2013年8月,註冊資本120億元,法定代表人為螞蟻金服副總裁俞勝法,公司經營包括在全國範圍內開展辦理各項貸款、票據貼現、資產轉讓業務。
  • 【螞蟻金服百億富豪22人】據數據統計,螞蟻集團上市後,螞蟻集團和...
    【螞蟻金服百億富豪22人】據數據統計,螞蟻集團上市後,螞蟻集團和阿里系高管將誕生至少58名億萬富翁,最高身家1400億元,最低身家6.66億元。其中,過百億的22人,500億以上的4人;50億以上的37人。若按2000億美元估值,螞蟻集團多數持股人將迎來財務自由。
  • 螞蟻金服與長江和記成立合資公司 在香港提供電子金融服務
    根據協議,長江和記將以戰略合作夥伴身份與螞蟻金服共同運營香港版電子錢包「支付寶HK」,雙方將整合優勢資源,致力於在港發展線上線下的行動支付服務,為消費者帶來全方位的購物和支付體驗。螞蟻金服透露,「支付寶HK」推出兩周時間吸引了超過10萬名活躍用戶使用。截至目前,已有超過4000家知名香港零售商戶接入了「支付寶HK」掃碼支付服務。