恩格斯說:「社會的需求對科技進步的作用要超過10所大學。」
奮戰在「雙11大促」背後的螞蟻金服OceanBase團隊或許對這句話頗有感觸。
與十一年前相比,雙11的許多東西都變了,比如金額---2684億,差不多是十一年前0.5億的5000倍;比如流量---當晚的交易峰值達到54.4 萬筆/秒,是2009年第一次雙十一的1360倍。
而在這個成績的背後,不得不提到螞蟻金服技術團隊OceanBase。作為中國資料庫中的佼佼者,OceanBase不僅在雙十一大放異彩,還於今年十月份打破了美國甲骨文公司保持了9年的世界紀錄,登頂TPC-C榜單,成為首個登上該榜單的中國資料庫系統。TPC-C是專門針對聯機交易處理系統(OLTP系統)的測試基準,幾乎所有在OLTP市場提供軟硬平臺的國外主流廠商都發布過相應的TPC-C測試結果。
今年的雙11金融新技術發布會上,螞蟻金服技術團隊展示了他們在資料庫領域獲得的一些成果。
解決痛點,挑戰巨頭
一直以來Oracle等老牌資料庫佔據著金融等各個行業的的資料庫市場。一步先,步步先。怎樣「虎口拔牙」,從傳統的資料庫廠商手中搶奪市場,這是新興的資料庫團隊要考慮的內容。
螞蟻金服研究員、OceanBase團隊核心成員韓鴻源說道:「讓銀行等金融行業使用新的資料庫,面臨的最大的挑戰是所有業務系統在過去20年裡已經構建好,如果既有系統平滑遷移,用戶會有特別大的開發和改造投入。」
「OceanBase挑戰TPC-C就是要證明我們可以把分布式架構和資料庫表現的和一個資料庫的效果一樣,這樣可以最大程度的降低遷移複雜度。」
「OceanBase於今年的十月份打破了Oracle公司保持了9年的世界紀錄,登頂TPC-C榜單。而在這件事的背後,其實在於OceanBase團隊做的一件有意義的事情:即改變了關係資料庫做交易的處理方法,把交易處理從傳統的集中式系統變成了分布式系統。螞蟻金服高級研究員、OceanBase創始人陽振坤補充道。
20世界80年代後,資料庫的一個重要的應用場景開始得到普遍應用,即在線交易處理On-Line Transaction Processing(OLTP),之後企業應用環境基於資料庫中的數據又增強了商業智能分析的需求,即對銷售結果進行預測、對比、分析等各種需求,所以在在線交易處理(OLTP)之外,還需要資料庫承擔聯機分析處理(OLAP)的負載。
但近些年來,因為數據量不斷高速增長,硬體發展速度趕不上數據的增長速度,原本可以由一個關係資料庫處理的OLTP和OLAP變成了由關係資料庫和數據倉庫兩個分離的系統來承擔。這帶來很大的不便。一來,需要另外架一個橋梁,把數據從交易資料庫抽取和轉載後加載到數據倉庫系統,而且這個過程是非實時的,效率低下。二來,數據倉庫本身是面向某個主題的,如果有多個不同的主題,就要建多個數據倉庫,造成大量數據冗餘。而對交易資料庫進行分庫分表後,當分庫數量變成兩位數或者三位數,不管是業務擴容了,還是業務縮容,都需要應用進行很多的調試。
「能夠做到隨時擴展和收縮,正是2010年公司立項做OceanBase的目標之一。」陽振坤說道。
對標國際,市場先行
「商業成就科技,技術成就商業。」阿里巴巴合伙人、螞蟻金服CTO胡喜告訴記者,「天貓雙十一就是金融新技術的最佳演練場。」而強大的市場需求不斷推動技術前行將成為阿里的一個標誌。
早在2008年,阿里巴巴提出了「去IOE「的概念。即在阿里巴巴的IT架構中,去掉IBM的小型機、Oracle資料庫、EMC存儲設備,代之以自己在開源軟體基礎上開發的系統。今年阿里已完成全部去Oracle,部分使用MySQL的目標。
相比於在業界應用廣泛的Oracle和MySQL,金融IT專家、贊奇科技CTO謝軍博士向雷鋒網(公眾號:雷鋒網)表示,「如果操刀大型系統,他會與阿里的OceanBase合作。如果是一般系統,則更傾向於使用MySQL。」
Oracle是一款誕生早、結構嚴謹、功能多的資料庫產品,但同時存在價格高、安裝較為複雜等問題。使用Oracle的客戶十分廣泛,涉及金融、能源等各個行業。早些時候,世界前100強的公司幾乎100%都使用的是Oracle資料庫。MySQL最大的特點在於開源、便宜、安裝方便、支持平臺多,但比較而言安全係數較低。生於網際網路,興於網際網路的MySQL在高並發等存取能力並不比大型數據差,同時價格便宜,安裝使用簡單便捷,能夠自主選擇存儲引擎,深受網際網路公司的喜愛。
而OceanBase誕生於阿里,應對像雙11這種大流量訪問、高並發的實戰,經驗更充足。相對於傳統資料庫而言,OceanBase有更好的擴展性且效率較高,更適合如聚划算、秒殺以及短時間突發大流量的場景應用。但同時也有一定的缺點:分布式事物的代價較為高昂、管理複雜,如果數據量沒達到一定規模,則使用OceanBase可能沒有明顯的優勢。
此外,謝軍博士對雷鋒網說道:「OceanBase的優勢在於能大規模支持極高並發業務集群;另外,由於是國產資料庫產品,安全可靠。「
近兩年,OceanBase團隊重點在做兼容Oracle的工作,目標可以達到不用改代碼,就能實現業務的平滑遷移,尤其是在金融領域,成就頗豐。目前國內如西安銀行已把Oracle業務遷到了OceanBase。
謝軍表示,OceanBase兼容Oracle對基金、保險行業的意義重大,但如果要大規模賦能銀行,則需進一步兼容DB2。
生命易逝,基因長存
阿里並不是國內第一家研發資料庫的公司。
21世紀初,我國開始了自主研發資料庫的歷程。除了南大通用、人大金倉等傳統國產資料庫廠商;騰訊TDSQL、華為GaussDB等網際網路開源產品廠商也相繼進軍市場。而更早些時候,Oracle等國際巨頭早已搶佔了大部分市場。
雖然阿里巴巴並不是最早開始研發資料庫的公司,但毋庸置疑的是,在資料庫領域,尤其是工業資料庫產品中,處於較為領先的地位。
「今天市場上即便是大廠,也不一定能做到使自己的業務全部運行到自己的資料庫上,而OceanBase這個產品是經過長期的檢驗之後才拿出來的,螞蟻金服的業務量對OceanBase有非常好的支持作用。」螞蟻金服研究員、OceanBase團隊核心成員韓鴻源說道。
支付寶參戰雙11的第十一年,OceanBase再次刷新了資料庫處理峰值,達6100萬次/秒,創造了新的世界紀錄。這些寶貴的經驗是其他廠商所不具備的。
除此之外,今年9月份螞蟻金服和阿里雲的業務合併,將給OceanBase帶來更加積極的改變。阿里雲智能新金融業務部總裁劉偉光說道:「我們的目標是把整個面向金融的技術棧做的更厚,不僅是資料庫,我們還會將雲計算、中間件、智能風控等技術結合在一起,構成一個自頂向下非常完整面向金融級的技術棧,為金融行業的客戶提供更多、更豐富的技術選擇。」
阿里雲沒有做上層金融級架構的基因,螞蟻金服沒有做下層雲計算的基因。一個基礎架構,一個應用架構,合二為一,將會形成指數倍的力量。」雲計算發展頭十年,大部分在公有雲上運行的客戶是一些初創公司和網際網路公司。而發展到第二階段,有了螞蟻金服的技術支持,是幫助傳統企業上雲的時候了。這是所有雲計算廠商在中國走向的第二個階段。」
據悉,在2017年,OceanBase向銀行、保險等金融機構對外開放後,南京銀行國內首個商業銀行分布式網際網路核心業務系統順利上線運營。而在今年阿里雲和螞蟻金服也聯手贏得了四川農信新一代分布式架構平臺項目。
「阿里有非常獨特的優勢,所有的技術都來自於實踐,這點和同行和友商有非常大的不同,在我們場景下驗證過的技術才拿到外部市場。這是阿里區別於其他資料庫廠商的獨特基因。」劉偉光說。