2020雙11,天貓又創造了新的紀錄:銷售額達到歷史新高4982億、訂單峰值達到創紀錄的58.3萬筆/秒。可以說,雙11一直在推動著阿里雲計算技術的創新和發展。2020年11月12日,阿里巴巴CTO程立表示,本次雙11阿里巴巴完成了全球最大規模的雲原生實踐。這意味著繼去年雙11核心系統上雲後,阿里巴巴進一步全面雲原生化,底層硬核技術升級帶來了更強計算力以及極致性價比——以支撐峰值為例,每萬筆峰值交易的IT成本比4年前下降了80%!
到底「雲原生」有什麼價值?阿里云云原生應用平臺負責人丁宇強調:雲原生將雲計算的技術紅利釋放到極致,成為業務創新的支柱引擎。例如通過過去4年的雲原生升級,天貓「雙11」實現了萬筆交易成本降低了80%,也就意味著支撐萬筆交易從之前的100元成本降低到20元,這是資源效率的極大提升。此外,雲原生讓天貓「雙11」的研發運維效率平均增效10%以上、規模化應用的交付效率提升1倍,這就意味著在規定時間內抓住更多業務機遇。
簡單理解,雲原生就是通過大規模採用Docker容器、Kubernetes容器集群管理以及ServiceMesh服務網格等雲原生技術,更高效地利用和統一管理各類雲計算資源,降低計算成本、提高研發效率、加速應用交付效率。雲原生技術在上層雲應用以及下層各類雲計算技術和資源之間加了一個標準化適配層,向上統一了雲應用的技術,向下納管了各類雲計算技術及資源,最大的好處就是釋放了前期各類不同技術方案下的雲計算底層資源的技術紅利。
「雲原生是釋放雲計算紅利的最短路徑,也將成為全面上雲的新底座。除了支撐雙11之外,這些雙11的同款技術也通過阿里雲支撐全社會,成為數字新基建的基礎設施。」丁宇強調。
阿里巴巴十分重視雲原生技術及實踐,迄今不僅擁有15年的豐富實踐和技術投入,更在2020年9月的杭州雲棲大會上宣布成立了雲原生技術委員會,雲原生技術委員會將大力推動阿里經濟體全面雲原生化,並沉澱阿里巴巴10多年的雲原生實踐,對外賦能數百萬家企業進行雲原生改造。雲原生技術委員會的成立,可以說是阿里巴巴對於雲原生的「All In」。
在雲原生技術及實踐方面:阿里從2007年就開始落地網際網路的分布式架構,也是今天常說的微服務;2009年成立了阿里雲,自研飛天作業系統;2011年開始落地容器化技術、調度技術,進而提升資源利用率、降低運維成本;2013年阿里業務鏈上小型機全面下線,意味著分布式架構完全落地;2015年開始全面採用阿里雲彈性支撐「雙11」;2017年實現了在線和離線調度的打通,開始落實行業領先的混部技術,進一步提升資源利用效率、降低IT成本;2019年,實現了核心系統100%上雲,即核心業務架構全面跑在阿里雲的公共雲上,並部署了超過200萬個容器,這是全球最大規模的雲原生實踐;2020年,阿里巴巴雙11核心系統全面使用雲原生產品,實現了全面的雲原生化。
從2009年首次上線核心中間件系統,到2011年淘寶天貓開始使用容器調度技術,再到推出自研雲原生硬體神龍伺服器、雲原生資料庫PolarDB等,阿里的雲原生技術經過不斷打磨,達到了新高:2019年雙11,阿里電商核心系統100%上雲,集群的規模超過百萬容器,單容器集群節點數量過萬,資料庫的峰值超過 54 萬筆每秒,對應 8700 萬查詢每秒,而實時計算每秒峰值處理消息超過 25 億條,消息系統 RocketMQ 峰值處理了超過每秒 1.5 億條消息。
丁宇透露,2020年雙11又創造了諸多「雲原生的第一次」,包括:雲原生實時數倉首次在核心業務場景落地,提供毫秒級海量數據處理能力;核心業務首次大規模應用Serverless,彈性伸縮性提升10倍以上;首次大規模應用雲原生資料庫PolarDB,性能提升50%;超大規模容器服務ACK可提供1小時百萬容器彈性能力……
由於阿里雙11和阿里經濟體的體量,阿里巴巴的雲原生實踐無愧於最大規模雲原生實踐,而阿里巴巴每年雙11和阿里經濟體規模的擴張,又讓這個最大規模雲原生實踐每年都有新的突破,可謂沒有「最大」只有「更大」。
丁宇強調,2020雙11,阿里雲使用了數十款雲原生產品支持大促,大幅度提升了技術效率。2019年,阿里電商核心系統百分之百上雲,主要是IaaS層全面運行在公共雲上,而2020年進一步向上層發展,將幾十款技術切換到雲原生產品上。這樣帶來的好處是採用了更現代化、更走在前沿的雲原生理念和工具,更好提升了效率。特別是實現了過去自有技術與雲的開放標準技術實現融合、技術路線統一、降低了技術投入,也帶來整個開發效率、資源利用率和技術迭代效率的提升,大幅提升了生產力。
2020雙11在四大核心技術方面,實現了規模和創新的雙重突破,把技術能力轉化為業務價值。
第一,2020年支撐「雙11」的是全球最大規模容器集群,實現了百萬規模容器和千萬核的單機群能力,同時實現了服務網格技術和業務的解耦,也是全球最大Mesh集群用於支持「雙11」,在此基礎上實現了極致的彈性能力。
第二,國內最大的計算平臺和頂級的實時計算能力。2020年「雙11」的大數據平臺批處理,單日數據計算量達到1.7EB,實時計算每秒30億條。而2020年的一個進展是資料庫全面切換到了雲原生資料庫,支持「雙11」過程中將讀寫性能提高了50%,計算資源利用率提高了60%,這些都是通過切換到雲原生帶給整個「雙11」和阿里集團的技術紅利。
第三是雲原生中間件,分布式應用架構技術首次實現了全面三位一體——自研技術、商用技術和社區標準技術的路線合併,例如2020「雙11」的雲原生中間件服務框架峰值,調用量就超過百億QPS。
第四是核心業務首次規模化落地Serverless。Serverless的6個先進技術特性,包括全託管、免運維、極致彈性、無限容量、按需申請、按用計費等對於整個IT架構實現優化,為運維效率和彈性效率帶來了10倍的提升,大幅度提升了「雙11」的大促支撐效率和穩定性。
截止到2020年10月,阿里雲原生實踐實現了「五個最」:首先是最豐富的雲原生產品家族,阿里雲提供了300多款雲原生產品,阿里雲的雲原生產品能力在Gartner相關報告中比肩AWS;其次是最全面的雲原生開源貢獻,阿里從2010年之前就開始大量投入到開源社區工作中,迄今已有近百款開源項目、形成完整的開源體系,並服務了百萬開發者;第三是有著最廣泛的雲原生客戶群體,阿里雲在網際網路、金融、製造、政府等多個領域多個行業中有大量雲原生客戶、達到了幾十萬規模,而豐富的客戶場景也推動了阿里雲原生產品的適應性和豐富性;第四是最大規模的雲原生應用實踐,沉澱了核心技術能力;第五是最高等級的全球雲原生業界評級,包括阿里雲連續2年國內唯一入選Gartner《競爭格局:公共雲容器服務》報告、2019年容器調度混布彈性核心技術獲得國家技術發明二等獎、高性能分布式中間件獲得了浙江省科技進步二等獎、函數計算在雲原生基金會2019年年度調查中獲得國內第一的市場佔有率評估、Serverless產品線在信通院測評報告中達到國內用戶規模佔比66%等。
作為雲原生領域的領導者和實踐者,阿里雲對於雲原生有著非常深刻的理解,阿里雲認為今天「雲原生是釋放雲計算紅利的最短路徑」,其中至少有三層意義:
雲原生是雲計算的再升級。今天業界流行的容器技術,其價值在於就是向下屏蔽和封裝基礎設施,對於異構硬體、異構環境,可抹平差異性,提供標準化的服務界面;向上能夠支撐多種負載,包括所有的創新應用如微服務,有狀態的應用如資料庫以及大數據計算、基因計算、區塊鏈等,所有的工作負載都可以運行在雲原生體系上,實現更低的成本、更高的維護效率。同時,雲原生還驅動了軟硬一體化,包括零損耗容器網絡,可以帶來更好的算力。
雲原生正在重塑整個軟體生命周期。這對於整個行業來說是一次大變革,雲原生帶來了開放標準技術,推動了雲計算的標準化,向上支撐了多種應用架構、工作負載,驅動多種場景向架構現代化演進;同時雲原生還在進行水平延伸,包括延伸到企業的完整技術支撐體系,從開發、測試、上線、運維、監控、升級等全鏈條都在形成新的技術標準,進而帶來更高的技術效率,以及高容錯、可擴展等新特性。
雲原生正在加速企業的數位化升級。今天諸如容器這樣的雲原生技術,能夠給企業帶來的什麼價值呢?首先是基礎設施的雲化,能夠更好的與各種雲連接,或者更快遷移到雲上,享受資源池化,獲得更好彈性的能力;其次是核心技術的網際網路化,把敏捷、分布式、可擴展等網際網路技術紅利帶給企業和開發者。
通過架構現代化演進的多種場景,雲原生把數據化、智能化的應用帶給企業,再通過降本提效、快速迭代、智能運營,幫助企業實現商業創新,這是阿里雲對於雲原生的核心判斷。
從2011年邁入容器大門,到2019年雙11阿里電商核心系統100%上雲並部署了超過200萬個容器,成為全球最大規模的雲原生實踐,再到2020年雙11核心系統全面雲原生化,阿里雲正在重新定義下一個十年的雲計算技術——雲原生。
阿里巴巴自身就首先是雲原生的用戶。阿里王堅曾表示,從in-house的基礎設施、定製化的平臺能力、到通用的雲平臺,從Cloud Hosting到Cloud Native,這個過程面臨著巨大的挑戰。2011年阿里雲開始邁進容器大門,2013年Docker問世,阿里雲容器迅速融合其先進理念,並在2015年推進集團業務全面的容器化演進。2019 年,阿里實現了核心交易系統100%上雲並完成了全球最大規模的雲原生實踐,讓阿里和客戶真正坐上了同一架飛機。
通過上雲和雲原生化,最大化的讓阿里巴巴的業務使用最先進的雲技術,通過技術架構的演進使業務更好的聚焦於自身的業務發展而無須關注通用底層技術,讓業務研發效率提升、迭代速度更快,從而達成了技術人員的真正目標。隨著阿里巴巴自身應用雲原生技術的成功,也在通過阿里雲把阿里巴巴實踐成功過的雲原生技術帶來廣大企業,打通數位化轉型落地的「最後一公裡」。
在本次雙11前後,完美日記獲得了市場極大的關注度。2020年10月30日,完美日記的母公司逸仙電商正式遞交了美股招股書,計劃在紐交所上市。上市後,逸仙電商將成為首家在美股上市的中國美妝平臺型公司,而旗下完美日記也有望成為首個登陸紐交所的國貨美妝品牌。完美日記在成為「國貨彩妝黑馬」的同時,也是阿里雲原生技術的積極採用者。
此前,完美日記在應對大促等活動時的機器擴容方面,為了保持系統的穩定性,運維人員就需要在每晚23:00點以後通過人工操作進行擴容,然後測試人員進行測試,平均每次擴容都需要半個小時以上。由於雙11期間處於大流量、高並發的場景,整個運維人員對伺服器維護、版本迭代、資料庫運維等都必須格外謹慎,稍有不慎就會導致線上生產事故,伺服器運維壓力巨大。
2019年雙11之後,完美日記就開始針對性測試阿里雲容器服務ACK,並開始容器化改造。之所以選擇容器技術,是因為完美日記要構建一套現代化IT系統以滿足快速變化的需求和挖掘更多的數據價值。一方面,完美日記對業務的快速創新以及現有業務的實時性和交互性需求都在不斷地增長;另一方面,完美日記對數據的重視程度也在不斷提高,尤其是用戶數據的重要性——如何提供優於競爭對手的服務和用戶體驗,如何合理、有效地發掘更多的數據價值,成為完美日記的迫切需求。
除了採用阿里雲容器服務ACK之外,完美日記在一開始進行容器化改造時就使用了阿里雲鏡像企業版ACR EE,其優勢在於比採用開源harbor自建方式要穩定與低成本,並發性能也比自建harbor要高。另外,完美日記也通過阿里雲的應用實時監控系統ARMS Prometheus進行系統監控並有針對性地解決問題,相比採用開源的Prometheus技術,ARMS還可以解決整個K8S底層監控(Prometheus)的維護和成本高的難題。
經過,容器化改造之後,完美日記的整個系統「輕鬆了很多」。2020年1月初,在切換到K8S正式環境後,擴容時間只需要90秒左右,節約了6~8倍時間,減少了一名伺服器運維人員。此外,根據運營節奏進行擴容,完美日記的伺服器擴容成本節約70%~90%;同時,部署效率大幅提升,可根據文件模板秒級創建一個服務,部署時間減少90%以上。
除了完美日記外,還有大量企業採用了阿里雲的雲原生技術,大幅提升企業效率。2020雙11期間,菜鳥運用雲原生實時數倉提升系統效率,IT成本下降70%,整體數據鏈路從小時級同步直接優化到3分鐘;中國郵政引入雲原生分布式資料庫PolarDB-X,億萬包裹過境,系統穩定支撐雙11;申通快遞將核心系統搬到阿里雲上,使用雲原生資料庫PolarDB替代傳統資料庫,並進行應用容器化和微服務改造,日均可處理三千萬訂單,IT成本卻降低了30%……
總結而言:2020阿里「雙11」核心系統的全面雲原生化,極大增強了業界採用雲原生技術的信心,而阿里雲對雲原生技術的「All In」以及完整的雲原生產品矩陣,加上整個阿里經濟體的生態效應,將把雲原生全速推進到數字新基建的「底座」。雲原生將定義下一個十年的雲計算基礎設施,而阿里雲已經先行一步布局了以雲原生為代表的新基礎設施,為未來十年的數位化轉型打下了新的「地基」。(文/寧川)