阿里雲資料庫李飛飛:雲計算推動資料庫向雲原生快速演進

2021-01-08 騰訊網

12月30日,阿里云云原生資料庫PolarDB舉行年度發布。過去的一年是阿里雲資料庫碩果纍纍的一年。11月,Gartner公布阿里雲進入全球資料庫領導者象限,是國產資料庫幾十年積累的重大突破;12月,中國電子學會公布PolarDB獲得科學技術獎一等獎。阿里雲資料庫深耕11年,至今已服務客戶10萬餘。

阿里巴巴集團副總裁、阿里雲智能資料庫事業部總裁李飛飛表示,雲計算正在推動資料庫向雲原生快速演進,阿里雲資料庫已全面布局雲原生。

深耕11年10萬餘客戶

2020年11月,「完美日記「上市了。迅速崛起的「完美日記」,從2017年的全新品牌,到如今的 「國貨之光」,成為今年創投圈的現象級案例。

快速的業務發展背後,是高壓力的系統挑戰。「完美日記」找到了阿里雲資料庫。阿里雲服務天貓「雙11」多個年頭,已具備豐富的應對大流量經驗。

2020年4月,「完美日記」三周年大促,最後一天壓測,訂單系統下單速度達到1萬筆/每秒,對應PolarDB資料庫的寫入速度10萬TPS,比半年前的系統吞吐提升了50倍。在4月14日活動當天,搶購開始瞬間系統湧進了幾百萬用戶。每秒成交的訂單數創歷史新高,訂單峰值比歷史最高峰值再次提高了幾倍,高峰業務流量比半年前提高了50倍。

「完美日記」只是阿里雲資料庫的一個案例,是阿里雲資料庫11年以來,服務的10萬多客戶中的其中一個。

阿里雲資料庫始於2009年。

2009年,阿里巴巴用開源的MySQL替代了Oracle。

2010年,阿里巴巴又基於MySQL著手打造開源資料庫AliSQL,並對淘寶商品庫進行改造。

2012年,AliSQL支撐了首個「雙11」。那是「雙11」的第四個年頭,已從2009年銷售額0.52億、27家品牌參與,發展到了2012年銷售額132億、10000家品牌參與。

2013年,已經家喻戶曉的淘寶下線最後一個Oracle資料庫,這不僅是中國雲計算發展的歷史性節點,也是資料庫技術變革的轉折點。

就這樣,阿里巴巴完成了從商業傳統資料庫到開源資料庫的轉變。

2016年,雲計算在國內風起雲湧,AlphaGo掀起了人工智慧的熱潮,在人工智慧的助推下,雲計算愈發火熱。騰訊宣布「未來5年將投入100億發展騰訊雲」;後來成為雲計算創業公司獨角獸們的UCloud、青雲、七牛雲等紛紛拿到融資,各自以不同的姿勢,嶄露頭角。

同年,」雙11」銷售額已達1207億、98000家品牌參與。這時,阿里雲資料庫已支撐雙11四年。

」雙11」的場景對資料庫提出了極高的要求。如果繼續在開源資料庫基礎上進行改進已經無法滿足業務需求。

於是,阿里巴巴啟動了自研資料庫。

2017年,阿里雲資料庫推出首個雲原生關係型資料庫PolarDB,計算能力最高可擴展至1000核以上,性能比MySQL高6倍。

隨後的幾年,阿里雲資料庫飛速發展。

2018年,阿里雲資料庫進入Gartner資料庫魔力象限,是該榜單首次出現中國公司。

2019年,阿里雲資料庫再次入選Forrester資料庫評估報告,成為國內首個獲得兩大頂級機構認可的科技公司。

進入「雲原生」時代,全面布局雲原生資料庫

如今,阿里雲資料庫經歷了傳統商業資料庫,走過了託管資料庫,已經進入了以自研為主的雲原生資料庫產品階段,並且開啟了全面的雲原生布局,進入「雲原生」時代。

2020年的Gartner的報告中,「阿里雲資料庫」赫然出現在領導者象限中。

這是中國資料庫歷史上重大突破,也是中國基礎軟體行業首次進入Gartner魔力象限的全球領導者。

Gartner用「豐富和深厚的產品「來評價阿里雲資料庫。

在這次的發布會上,一張圖詮釋了阿里雲資料庫的「豐富的種類覆蓋度和完善的產品布局」,這也是阿里雲資料庫雲原生的布局。

阿里云云原生資料庫發展歷程

阿里雲資料庫的雲原生布局,覆蓋了在線交易型資料庫、分析型資料庫、NoSQL資料庫。以PolarDB為代表的雲原生資料庫已經在助力客戶從傳統資料庫升級到雲原生資料庫;在OLAP領域,利用雲原生數據倉庫AnalyticDB(簡稱ADB)、雲原生數據湖分析DLA幫助客戶實現從傳統資料庫倉庫升級雲原生數據倉庫,實現資料庫大數據一體化、離在線一體化。阿里雲推出的雲原生多模資料庫Lindorm,以及雲原生內存資料庫Tair是NoSQL方向的代表,幫助客戶在IoT等場景下的數據實現高效存儲與處理。

為了簡化用戶使用雲端資料庫,阿里雲構建了豐富的雲原生資料庫生態工具,包括傳輸、備份到管理,數據傳輸可以使用DTS,做端到端數據的同步;用DBS數據備份做多雲多端的邏輯備份、物理備份;用DMS可以做企業級的開發建模流程;用ADAM則可以做針對基於傳統資料庫和數據倉庫開發的應用評估和遷移。

此外,基於智能化的技術,阿里雲資料庫還構建了「自感知、自決策、自優化、自恢復」的雲原生資料庫管控平臺。

下一代資料庫的六大關鍵技術

李飛飛認為,雲計算的本質是利用分布式技術將資源高效池化,雲計算推進資料庫向雲原生體系快速演進。資料庫大資料庫一體化、Serverless、彈性已成為今天資料庫的主題。

「從傳統結構化數據,到在線資料庫的交互式分析,再到今天多元異構數據處理,我們見證了資料庫從關係型數據處理,演進到多元異構多模資料庫等產品形態。」李飛飛談到。

那麼下一代資料庫的關鍵技術有哪些呢?

第一是「HTAP:大數據資料庫一體化」,處理分析一體化、離在線一體化。

第二是雲原生+分布式,將雲原生的資源解耦,資源池化的能力,和Share-nothing的分布式水平拓展能力結合起來。

第三是智能化,將機器學習和AI技術應用到資料庫內核、管控平臺,使資料庫系統做到自感知、自決策、自優化、自恢復。

第四是「多模」,隨著數據的多樣性不斷增長,需要多模系統對多元異構的數據進行處理,包括了傳統的結構化數據、日誌、文檔、K-V數據等。

第五是「軟硬體一體化」,需要充分發揮硬體優勢,例如資料庫如何發揮Intel AEP、RDMA高速網絡等。

第六是「安全可信」,在傳統可信的基礎上,比如日誌審計、訪問控制、落盤加密,我們還提供了全加密鏈路、區塊鏈技術來實現不可篡改的日誌等。

這些,就是企業級資料庫需要持續去突破的關鍵技術。

阿里云云資料庫正以雲原生在實踐此。

以PolarDB為例,首先,是「安全增強」。李飛飛表示,從不同的方面,我們將PolarDB的安全推到了新的高度:支持了SSL傳輸、透明數據加密(TDE),從而實現全鏈路訪問加密。另外,備份數據實現了永久保留,可以滿足各類數據合規保留要求。PolarDB的可用性SLA,也從原來的99.95升級到99.99%。

從引擎支持的角度,阿里雲的雲原生資料庫PolarDB第一個支持MySQL 8.0版本。今年,PolarDB發布了MySQL 5.7的支持,對所有主流的MySQL版本進行全面的覆蓋,包括了5.6、5.7和8.0。另外,PolarDB還可以高度支持兼容Oracle,可以幫助客戶快速、成熟的把傳統資料庫遷移到雲原生資料庫。

今年,PolarDB還發布了一系列的降本增效能力,例如存儲包、金融雲等都做了大幅降價,最高達降幅達50%。

隨著數據量的爆發式增長,阿里雲的核心產品企業級雲原生分布式資料庫PolarDB-X使用Share-Nothing架構,實現水平擴展,底層則使用Paxos協議實現三節點同步,具備金融級高可用、高可靠能力。PolarDB-X結合了歷經多年「雙11」考驗的X-DB和分布式查詢引擎DRDS實現。在今年,PolarDB-X發布全局二級索引與透明分區等能力,向用戶提供了透明分布式的能力。具體的:全局二級索引的全新發布,幫助用戶簡單的實現多個不同維度的查詢,業務系統則像使用單機系統一樣,通過編寫簡單的SQL語句就可以實現複雜的、多維度的業務邏輯,而不用關心數據一致性、數據分布等複雜問題。通過基於成本的執行路徑選擇與流量轉發,PolarDB-X的HTAP(混合事務與分析處理)能力發布使得用戶可以更加的簡單支持混合負載的業務。

在剛剛過去的「雙11」,雲原生資料庫PolarDB和雲原生數據倉庫AnalyticDB首次在阿里巴巴大規模應用,PolarDB刷新處理峰值新紀錄,TPS高達1.4億,比去年提升60%;AnalyticDB處理了7.7萬億行實時數據,相當於5.5個國家圖書館的數據總量。

此外,雲原生技術不僅在阿里內部大規模普及,也通過阿里雲服務全社會。以物流行業為例,中國郵政引入PolarDB-X和AnalyticDB,應對「雙11」期間超過上億的訂單業務峰值,10萬人可同時查詢包裹實時狀態;申通快遞將核心系統搬到雲上,大規模部署阿里雲容器,億級包裹過境,系統穩如泰山,IT成本降低了30%。

相關焦點

  • 對話阿里雲李飛飛:雲原生資料庫的時代來了
    值此之際,CSDN 與阿里雲資料庫的總負責人、達摩院資料庫首席科學家李飛飛(花名飛刀)相約阿里雲 EFC 總部的崑崙頂,論資料庫之道,解鎖鮮為人知的阿里雲資料庫故事與其背後的團隊文化。在資料庫這一技術領域已成魁首的李飛飛,由學術界進入產業界已有兩年多,這也是阿里雲資料庫全面開花的兩年,譬如 OLTP 的 PolarDB、OLAP 的 AnalyticDB 和 DLA、NoSQL 的 Tair 與 Lindorm 等。在王堅院士的《在線》一書中,他深入地談到對「進化」的思考,網際網路是世界向「在線」進化,雲計算是計算機向「計算」進化。
  • 對話阿里雲李飛飛:雲原生資料庫的時代來了
    值此之際,CSDN 與阿里雲資料庫的總負責人、達摩院資料庫首席科學家李飛飛(花名飛刀)相約阿里雲 EFC 總部的崑崙頂,論資料庫之道,解鎖鮮為人知的阿里雲資料庫故事與其背後的團隊文化。在資料庫這一技術領域已成魁首的李飛飛,由學術界進入產業界已有兩年多,這也是阿里雲資料庫全面開花的兩年,譬如 OLTP 的 PolarDB、OLAP 的 AnalyticDB 和 DLA、NoSQL 的 Tair 與 Lindorm 等。在王堅院士的《在線》一書中,他深入地談到對「進化」的思考,網際網路是世界向「在線」進化,雲計算是計算機向「計算」進化。
  • 阿里雲資料庫獲浙江省科技進步一等獎,AnalyticDB推動雲原生變革
    7月17日,2019年度浙江省科學技術獎揭曉,阿里雲自研雲原生分析型資料庫AnalyticDB雲原生分析型資料庫是資料庫與大數據領域面向數據倉庫方向的重要分支,AnalyticDB是新一代雲原生數據倉庫,具備良好的彈性、高可用、擴展性以及生態兼容性,可以助力數字經濟時代企業數據處理和分析向實時化與在線化演進和變革。
  • 阿里李飛飛:資料庫將全面進入雲原生分布式時代
    雲原生與分布式是近年來技術發展的熱點,各方爭相布局。2020雲棲大會期間,阿里巴巴正式成立雲原生技術委員會,阿里巴巴高級研究員蔣江偉擔任委員會負責人,達摩院資料庫首席科學家李飛飛、阿里雲計算平臺高級研究員賈揚清、阿里雲原生應用平臺研究員丁宇等多位阿里技術負責人參與其中。
  • 為什麼雲原生+分布式是資料庫的未來?
    李飛飛表示,雲原生的本質就是發揮雲計算資源池化、平臺規模化等技術紅利帶來的業務價值,利用容器化部署、微服務、存計分離、Serverless、多租戶、智能化調度與運維管控等多種技術手段來充分的發揮雲計算帶來的彈性、高可用、靈活部署、簡化運維、易拓展等這些核心業務價值。
  • 阿里雲發布分布式資料庫PolarDB-X,應對海量數據管理
    日前,阿里雲也舉辦了一場線上的活動——雲上的峰會,在會上阿里雲發布了包括第七代ECS、POLARDB-X資料庫、視覺智能開放平臺、新一代阿里雲數據中臺、阿里雲專有雲敏捷版和混合雲管理平臺、雲原生數據倉庫和數據湖解決方案,以及城市大腦3.0、政務中臺、阿里巴巴未來社區等眾多行業解決方案。從全面上雲到加速重構近幾年,雲計算在中國得到快速普及,不少企業或多或少從雲計算技術中受益。
  • 「資料庫大數據一體化」新時代魚和熊掌可以兼得,雲原生開啟
    10月23日數據湖高峰論壇上,阿里巴巴集團副總裁、阿里雲智能資料庫產品事業部負責人、達摩院資料庫與存儲實驗室負責人李飛飛表示:「雲原生作為雲計算領域的關鍵技術與基礎創新,正在加速數據分析全面進入資料庫大數據一體化時代」。
  • 魚和熊掌可以兼得,雲原生開啟「資料庫大數據一體化」新時代
    智能資料庫產品事業部負責人、達摩院資料庫與存儲實驗室負責人李飛飛表示:「雲原生作為雲計算領域的關鍵技術與基礎創新,正在加速數據分析全面進入資料庫大數據一體化時代」。答案是肯定的,李飛飛表示,下一代數據分析演進方向是「以雲原生為基礎,在離線一體化技術融合,實現資料庫大數據一體化」。
  • 雲原生、存算一體、持久化,阿里雲內存資料庫Tair出世不凡
    值得高興的是,隨著技術的不斷進步,特別是雲計算以及新一代存儲技術的出現,內存資料庫面臨的這些挑戰正在逐步得到解決,新一代的內存資料庫也應運而生,阿里雲推出的雲原生內存資料庫Tair正是這樣的一個產品。「內存資料庫正進入了新的階段,雲原生、持久化、融合計算是三大特徵。」 阿里巴巴集團副總裁、阿里雲智能資料庫產品事業部總經理、高級研究員李飛飛表示。
  • 李飛飛:雲原生分布式資料庫面臨哪些機遇與挑戰?
    阿里妹導讀:12月3日,由阿里雲CIO學院主辦的【2020中國企業數字創新峰會】在杭州舉行。400位企業CEO、CTO、CIO齊聚一堂,共同探討企業數位化轉型經驗。阿里巴巴集團副總裁、達摩院資料庫首席科學家李飛飛發表了題為《雲原生分布式資料庫系統——挑戰與機遇》的演講,探討雲原生資料庫的價值和商業應用。文末福利:《阿里雲資料庫客戶案例集》開放下載。
  • 阿里雲推出多款雲原生資料庫升級版 全面布局「雲原生+分布式」
    9月18日雲棲大會,阿里雲正式推出雲原生分布式資料庫PolarDB-X、雲原生數據倉庫AnalyticDB等多款雲原生資料庫產品的重磅升級版本。至此,阿里雲已擁有完整的雲原生分布式資料庫產品矩陣,通過「雲原生+分布式」的深度結合以及存儲計算分離、資源池化、彈性擴展、智能運維等技術能力,幫助企業從容應對業務高峰,加速邁入數字原生時代。
  • 進入雲原生、分布式的時代,什麼才是資料庫的正確打開方式
    阿里雲智能資料庫產品事業部負責人、達摩院資料庫與存儲實驗室負責人、ACM傑出科學家、阿里巴巴集團副總裁李飛飛(飛刀)在2020數據技術嘉年華期間接受了『中國信息化周報』的採訪,本文來自數據技術嘉年華合作媒體『中國信息化周報』的專訪報導。
  • 阿里雲支持Oracle等資料庫一鍵遷移上雲
    企業在使用傳統商業資料庫時,經常會面臨授權費用貴、硬體成本高、架構與運維複雜、遷移難度大等問題,此次雲原生資料庫PolarDB的重大更新針對此類痛點,實現一鍵快速遷移,並提供雲上的完整生態服務。除性能領先外,雲上資料庫成本也低於傳統資料庫,不到後者的1/6。  PolarDB是阿里雲在2018年正式商業化的雲原生資料庫,採用存儲計算分離、軟硬一體化設計,具備快速彈性能力、超大規格、超高可靠性以及兩倍於AWS Aurora的性能。目前已是阿里雲上增長最快的資料庫產品。  隨著移動網際網路、物聯網的發展,數據量劇增。
  • 拋棄傳統商業資料庫,中國郵政引入阿里雲PolarDB分布式資料庫
    據透露,目前新業務平臺已經服務了中國郵政5000多萬線上用戶,PolarDB-X資料庫累計了上十億條業務數據。在雲原生數據倉庫AnalyticDB(簡稱:ADB)基礎上構建的數據分析平臺,也支撐了數十億寄遞數據和客戶關係數據的多維分析。
  • 阿里雲李飛飛:雲原生內存資料庫解鎖存算一體
    「內存資料庫進入了新階段,雲原生,持久化,融合計算是三大特徵」,12月13號,阿里雲資料庫負責人李飛飛在雲內存資料庫峰會上表示,經過多年阿里巴巴經濟體內應用的驗證,今年年初上線的阿里雲內存資料庫Tair進入大規模分享技術和硬體紅利給雲上用戶的階段。
  • 鈦媒體深度 | 雲計算時代的資料庫之戰
    也是在那一年,雲計算技術的興起讓整個資料庫市場呈現暗流湧動的狀態,表現在以AWS Aurora為首的美國資料庫公司和以阿里云為首的中國資料庫公司紛紛開啟了資料庫上雲的新時代。在這個階段中,他們利用平臺管控的優勢,將用戶存儲在傳統單機架構下的數據逐步遷移至雲端,雲原生資料庫的雛形初顯。在距離孫博凱那段發言4年之後,AWS發布了業內首個雲原生資料庫Aurora。
  • 劍指雲內存資料庫,阿里雲在下一盤大棋
    「雲原生內存資料庫解鎖存算一體」。在 12 月 13 日剛剛結束的 2020 雲內存資料庫峰會暨 Tair 大賽頒獎典禮上,李飛飛如是說。為何他如此說?雲原生內存資料庫在企業實踐如何應用?今天我們從阿里雲的角度下,縱觀雲原生時代,內存資料庫的過去與未來。
  • 阿里雲李飛飛:傳統資料庫步履蹣跚,未來的機會在哪裡?
    在採訪中李飛飛表示,隨著計算和數據上雲的趨勢快速發展,傳統資料庫步履蹣跚,雲原生資料庫和數據倉庫利用雲原生技術最大化的發揮池化的計算和存儲資源彈性將是未來。同時隨著AI技術的不斷深入使用,資料庫也將會越來越智能化,阿里雲的目標是實現資料庫的完全自動化和智能化。「李飛飛,現任阿里巴巴集團副總裁、高級研究員,阿里雲智能資料庫事業部總負責人。
  • 阿里巴巴成立雲原生技術委員會 推動企業全面升級雲原生
    今日紅星新聞記者獲悉,2020雲棲大會期間,阿里巴巴正式成立雲原生技術委員會(以下簡稱委員會),阿里巴巴高級研究員蔣江偉擔任委員會負責人,達摩院資料庫首席科學家李飛飛、阿里雲計算平臺高級研究員賈揚清同時,阿里雲推出包括軟硬結合的沙箱容器2.0、離線實時一體化數據倉庫MaxCompute、雲原生多模資料庫Lindorm在內的多款雲原生產品。
  • 使用阿里雲PolarDB替代Oracle資料庫,申通完美扛過618業務高峰
    今年618期間,申通快遞通過引入阿里雲PolarDB雲原生資料庫替代Oracle資料庫,完美扛過618業務高峰,以應對電商大促為例,以往申通要提前幾個月進行相關Oracle硬體和資料庫的擴容,但是大促之後,IT資源的使用率則非常低,投入產出比較低。2019年底,申通決定全面遷移至阿里雲,也因此成為業內首個全面上雲的快遞企業,並率先實現了訂單平臺、巴槍系統等核心系統的上雲,日處理訂單量近3000萬。