12月30日,阿里云云原生資料庫PolarDB舉行年度發布。過去的一年是阿里雲資料庫碩果纍纍的一年。11月,Gartner公布阿里雲進入全球資料庫領導者象限,是國產資料庫幾十年積累的重大突破;12月,中國電子學會公布PolarDB獲得科學技術獎一等獎。阿里雲資料庫深耕11年,至今已服務客戶10萬餘。
阿里巴巴集團副總裁、阿里雲智能資料庫事業部總裁李飛飛表示,雲計算正在推動資料庫向雲原生快速演進,阿里雲資料庫已全面布局雲原生。
深耕11年10萬餘客戶
2020年11月,「完美日記「上市了。迅速崛起的「完美日記」,從2017年的全新品牌,到如今的 「國貨之光」,成為今年創投圈的現象級案例。
快速的業務發展背後,是高壓力的系統挑戰。「完美日記」找到了阿里雲資料庫。阿里雲服務天貓「雙11」多個年頭,已具備豐富的應對大流量經驗。
2020年4月,「完美日記」三周年大促,最後一天壓測,訂單系統下單速度達到1萬筆/每秒,對應PolarDB資料庫的寫入速度10萬TPS,比半年前的系統吞吐提升了50倍。在4月14日活動當天,搶購開始瞬間系統湧進了幾百萬用戶。每秒成交的訂單數創歷史新高,訂單峰值比歷史最高峰值再次提高了幾倍,高峰業務流量比半年前提高了50倍。
「完美日記」只是阿里雲資料庫的一個案例,是阿里雲資料庫11年以來,服務的10萬多客戶中的其中一個。
阿里雲資料庫始於2009年。
2009年,阿里巴巴用開源的MySQL替代了Oracle。
2010年,阿里巴巴又基於MySQL著手打造開源資料庫AliSQL,並對淘寶商品庫進行改造。
2012年,AliSQL支撐了首個「雙11」。那是「雙11」的第四個年頭,已從2009年銷售額0.52億、27家品牌參與,發展到了2012年銷售額132億、10000家品牌參與。
2013年,已經家喻戶曉的淘寶下線最後一個Oracle資料庫,這不僅是中國雲計算發展的歷史性節點,也是資料庫技術變革的轉折點。
就這樣,阿里巴巴完成了從商業傳統資料庫到開源資料庫的轉變。
2016年,雲計算在國內風起雲湧,AlphaGo掀起了人工智慧的熱潮,在人工智慧的助推下,雲計算愈發火熱。騰訊宣布「未來5年將投入100億發展騰訊雲」;後來成為雲計算創業公司獨角獸們的UCloud、青雲、七牛雲等紛紛拿到融資,各自以不同的姿勢,嶄露頭角。
同年,」雙11」銷售額已達1207億、98000家品牌參與。這時,阿里雲資料庫已支撐雙11四年。
」雙11」的場景對資料庫提出了極高的要求。如果繼續在開源資料庫基礎上進行改進已經無法滿足業務需求。
於是,阿里巴巴啟動了自研資料庫。
2017年,阿里雲資料庫推出首個雲原生關係型資料庫PolarDB,計算能力最高可擴展至1000核以上,性能比MySQL高6倍。
隨後的幾年,阿里雲資料庫飛速發展。
2018年,阿里雲資料庫進入Gartner資料庫魔力象限,是該榜單首次出現中國公司。
2019年,阿里雲資料庫再次入選Forrester資料庫評估報告,成為國內首個獲得兩大頂級機構認可的科技公司。
進入「雲原生」時代,全面布局雲原生資料庫
如今,阿里雲資料庫經歷了傳統商業資料庫,走過了託管資料庫,已經進入了以自研為主的雲原生資料庫產品階段,並且開啟了全面的雲原生布局,進入「雲原生」時代。
2020年的Gartner的報告中,「阿里雲資料庫」赫然出現在領導者象限中。
這是中國資料庫歷史上重大突破,也是中國基礎軟體行業首次進入Gartner魔力象限的全球領導者。
Gartner用「豐富和深厚的產品「來評價阿里雲資料庫。
在這次的發布會上,一張圖詮釋了阿里雲資料庫的「豐富的種類覆蓋度和完善的產品布局」,這也是阿里雲資料庫雲原生的布局。
阿里云云原生資料庫發展歷程
阿里雲資料庫的雲原生布局,覆蓋了在線交易型資料庫、分析型資料庫、NoSQL資料庫。以PolarDB為代表的雲原生資料庫已經在助力客戶從傳統資料庫升級到雲原生資料庫;在OLAP領域,利用雲原生數據倉庫AnalyticDB(簡稱ADB)、雲原生數據湖分析DLA幫助客戶實現從傳統資料庫倉庫升級雲原生數據倉庫,實現資料庫大數據一體化、離在線一體化。阿里雲推出的雲原生多模資料庫Lindorm,以及雲原生內存資料庫Tair是NoSQL方向的代表,幫助客戶在IoT等場景下的數據實現高效存儲與處理。
為了簡化用戶使用雲端資料庫,阿里雲構建了豐富的雲原生資料庫生態工具,包括傳輸、備份到管理,數據傳輸可以使用DTS,做端到端數據的同步;用DBS數據備份做多雲多端的邏輯備份、物理備份;用DMS可以做企業級的開發建模流程;用ADAM則可以做針對基於傳統資料庫和數據倉庫開發的應用評估和遷移。
此外,基於智能化的技術,阿里雲資料庫還構建了「自感知、自決策、自優化、自恢復」的雲原生資料庫管控平臺。
下一代資料庫的六大關鍵技術
李飛飛認為,雲計算的本質是利用分布式技術將資源高效池化,雲計算推進資料庫向雲原生體系快速演進。資料庫大資料庫一體化、Serverless、彈性已成為今天資料庫的主題。
「從傳統結構化數據,到在線資料庫的交互式分析,再到今天多元異構數據處理,我們見證了資料庫從關係型數據處理,演進到多元異構多模資料庫等產品形態。」李飛飛談到。
那麼下一代資料庫的關鍵技術有哪些呢?
第一是「HTAP:大數據資料庫一體化」,處理分析一體化、離在線一體化。
第二是雲原生+分布式,將雲原生的資源解耦,資源池化的能力,和Share-nothing的分布式水平拓展能力結合起來。
第三是智能化,將機器學習和AI技術應用到資料庫內核、管控平臺,使資料庫系統做到自感知、自決策、自優化、自恢復。
第四是「多模」,隨著數據的多樣性不斷增長,需要多模系統對多元異構的數據進行處理,包括了傳統的結構化數據、日誌、文檔、K-V數據等。
第五是「軟硬體一體化」,需要充分發揮硬體優勢,例如資料庫如何發揮Intel AEP、RDMA高速網絡等。
第六是「安全可信」,在傳統可信的基礎上,比如日誌審計、訪問控制、落盤加密,我們還提供了全加密鏈路、區塊鏈技術來實現不可篡改的日誌等。
這些,就是企業級資料庫需要持續去突破的關鍵技術。
阿里云云資料庫正以雲原生在實踐此。
以PolarDB為例,首先,是「安全增強」。李飛飛表示,從不同的方面,我們將PolarDB的安全推到了新的高度:支持了SSL傳輸、透明數據加密(TDE),從而實現全鏈路訪問加密。另外,備份數據實現了永久保留,可以滿足各類數據合規保留要求。PolarDB的可用性SLA,也從原來的99.95升級到99.99%。
從引擎支持的角度,阿里雲的雲原生資料庫PolarDB第一個支持MySQL 8.0版本。今年,PolarDB發布了MySQL 5.7的支持,對所有主流的MySQL版本進行全面的覆蓋,包括了5.6、5.7和8.0。另外,PolarDB還可以高度支持兼容Oracle,可以幫助客戶快速、成熟的把傳統資料庫遷移到雲原生資料庫。
今年,PolarDB還發布了一系列的降本增效能力,例如存儲包、金融雲等都做了大幅降價,最高達降幅達50%。
隨著數據量的爆發式增長,阿里雲的核心產品企業級雲原生分布式資料庫PolarDB-X使用Share-Nothing架構,實現水平擴展,底層則使用Paxos協議實現三節點同步,具備金融級高可用、高可靠能力。PolarDB-X結合了歷經多年「雙11」考驗的X-DB和分布式查詢引擎DRDS實現。在今年,PolarDB-X發布全局二級索引與透明分區等能力,向用戶提供了透明分布式的能力。具體的:全局二級索引的全新發布,幫助用戶簡單的實現多個不同維度的查詢,業務系統則像使用單機系統一樣,通過編寫簡單的SQL語句就可以實現複雜的、多維度的業務邏輯,而不用關心數據一致性、數據分布等複雜問題。通過基於成本的執行路徑選擇與流量轉發,PolarDB-X的HTAP(混合事務與分析處理)能力發布使得用戶可以更加的簡單支持混合負載的業務。
在剛剛過去的「雙11」,雲原生資料庫PolarDB和雲原生數據倉庫AnalyticDB首次在阿里巴巴大規模應用,PolarDB刷新處理峰值新紀錄,TPS高達1.4億,比去年提升60%;AnalyticDB處理了7.7萬億行實時數據,相當於5.5個國家圖書館的數據總量。
此外,雲原生技術不僅在阿里內部大規模普及,也通過阿里雲服務全社會。以物流行業為例,中國郵政引入PolarDB-X和AnalyticDB,應對「雙11」期間超過上億的訂單業務峰值,10萬人可同時查詢包裹實時狀態;申通快遞將核心系統搬到雲上,大規模部署阿里雲容器,億級包裹過境,系統穩如泰山,IT成本降低了30%。