阿里雲神龍Ⅲ:極限性能的探索之路

2020-12-15 鄭凱Kay

把時鐘向回撥過半年,2019年的雙11購物狂節,似乎和每年的雙11沒有什麼不同,依然是刷新著日訂單世界紀錄,儘管54.4萬筆/秒的訂單量,已經是2009年第一次雙11的1360倍,但這一切放在阿里巴巴身上,就感覺是那麼的理所應當。

其實,這個沒有硝煙的戰場背後,卻有著不同尋常的故事,阿里巴巴早已悄悄將數以十萬計的伺服器遷移到了公有雲上,做到了核心系統100%跑在阿里雲公共雲上。而核心電商業務應用大規模部署在自研的神龍裸金屬伺服器上,這亦是「神龍」首次經受真正意義上的大規模實戰考驗。

我們都知道,神龍雲伺服器的誕生是為了獲得超越物理機的性能,併兼有有虛擬機的體驗。換言之,神龍解決虛擬化損耗的初衷,就是為了獲得極致性能而來的。

所以從2017年到2020年,三代神龍伺服器的架構迭代,本質是就是對伺服器性能極限的一次「衝刺」。

7月15日,阿里雲宣布推出第三代神龍雲伺服器,與上一代相比,第三代神龍雲伺服器的綜合性能提升高達160%,比目前全球最頂級雲伺服器還要快30%以上,整體算力全球最強。

彈性的代價,虛擬化之殤

從2006年,亞馬遜正式發布AWS算起,公有雲行業已經足足走過了14年。雲計算從理念被接受,到公有雲形成網際網路的技術洪流,最近幾年才到了企業客戶上雲的時代。我們知道,企業客戶本身通常有傳統IT的基礎,它們對雲的思考維度更多,思維也更縝密。

早期的公有雲,較為粗放的通過虛擬機來分配計算力,但虛擬機的計算能力、平穩性、彈性由下沉的虛擬化軟體,而不是虛擬機來完成的。所以,必然會導致資源爭搶、算力損失、性能瓶頸,同時也難以支持裸機服務。

虛擬化固然是雲計算的基礎。軟體定義的方式來管理數據中心的計算資源,讓雲計算廠商可以根據企業需求輸出計算能力,但彈性能力的代價則是以犧牲性能損耗的形式來換取的。

正是這些原因讓當時的企業用戶對公有雲產生了一些排斥,部分企業在嘗試了上雲之後,又回歸傳統IT的懷抱,但這絕非公有雲之過,而是虛擬化之殤。

阿里雲彈性計算負責人張獻濤說,企業用戶需要更強的計算性能、需要更快的網絡接入、更高的存儲讀寫能力,存儲的IOPS要高、網絡的PPS要高、網絡的帶寬存儲能力要高。解決所有這些問題的根源就在於變革虛擬化技術。

在阿里雲的成立之初,也是採用了開源虛擬化軟體XEN,做到了準虛擬化,後來在2014年升級到KVM架構,後者在在虛擬機和硬體之間加了一個軟體層,Hypervisor,直接運行在物理硬體之上,大幅降低了虛擬化性能損耗。

但這並不足夠,一個大膽的想法,慢慢在阿里內部滋生。

三代神龍,衝刺極限性能

2016年阿里雲秘密啟動了一項代號為「X-Dragon」的項目,次年即推出了首款自研神龍雲伺服器第一代。

神龍誕生的本質就是軟硬融合的虛擬化技術。而最早的神龍第一代伺服器,還做不到追求真正的極致性能。它更多的是解決上雲後如何支持裸機服務,但是又不能是傳統的物理機,需要充分和雲計算基礎設施融合。

為了實現超越物理機的性能,有虛擬機的體驗,阿里雲設計了神龍MOC卡,通過神龍晶片做高速數據面的轉發,並通過晶片加速引擎,存儲EBS、網絡,所有管控面的東西,都下沉到晶片中,讓所有的接口都和虛擬機保持一致。最終實現了一張晶片其實解決所有問題,物理機可以使用雲存儲、VPC網絡、掛載本地盤的問題。

神龍晶片

而第二代神龍可以叫做融合虛擬化的踐行者,它的神龍晶片能力進一步增強,不但可以支持的裸金屬系統,還可以支持虛擬機。

有了前兩代神龍的探索,第三代神龍伺服器則真正成為了極致性能的追求者。全新發布的第三代神龍雲伺服器產品家族提供了最多208核、最大6TB內存,雲盤IOPS高達 100萬、網絡轉發高達2400萬、網絡帶寬高達100G,均為全球最高性能水平,支持CPU、GPU、NPU、FPGA等多種計算形態,具備3分鐘交付50萬核vCPU的極速擴容能力,堪稱雲原生的最佳載體。

追求性能的極致,將虛擬機的性能損耗降至接近於「零」是最快的捷徑。目前,全球僅有兩家有類似技術實現了虛擬化零損耗,另一家是亞馬遜AWS。

讓雲原生變成雲「原生」

我們知道,在雲計算時代誕生了雲原生(Cloud Native)的概念。它不是一個產品,而是一套技術體系和一套方法論,指的是產品解決方案基於雲計算,不需要再經歷從傳統的架構轉移到雲平臺,讓很多應用不做任何改動就可以在雲平臺運行起來。換言之,雲原生就是距離雲更近,效率也更高。

張獻濤說,「以前虛擬化技術的設計思路,前提都是伺服器和計算架構都已經定了,如何通過軟體適配計算架構。我們做神龍則是反其道而行之。隨著雲計算向縱深方向發展,軟硬一體化的架構設計將成為雲技術架構的主流。3-5年內,容器在IT架構裡面佔比將達到一半以上。雲原生需要我們將虛擬化推向極致。」

的確,今天的雲計算是構建在虛擬化基礎之上的,雲原生趨勢需要將虛擬化推向極致,更極致的啟動速度、並發能力、部署密度,同時又不失安全、成本更低。這是神龍伺服器,讓雲原生真正變成雲「原生」的真正能力。

一方面,神龍架構對雲原生浪潮下容器等產品適配程度極高。通過I/O offload晶片加速,高效調度和自動化彈性伸縮的容器化產品可幫助用戶降低50%的計算成本,綜合性能比物理機還快30%,對雲原生浪潮下容器等產品適配程度極高。

另一方面,與容器服務做到融合。例如2019 年阿里巴巴雙11 系統以雲原生的方式上雲,基於神龍伺服器、輕量級雲原生容器以及兼容 Kubernetes 的調度的新的 ASI(alibaba serverless infra.)調度平臺。其中KubernetesPod 容器運行時與神龍裸金屬完美融合,Pod 容器作為業務的交付切面,運行在神龍實例上。

容器也是一種輕量級的虛擬化方案,神龍+容器+Kubernetes 的結合正是雲原生時代的最佳拍檔,也將是未來的主流技術形態。

事實上,神龍伺服器的成長與壯大,也是阿里雲彈性計算整體發展的一個縮影。從技術角度,阿里雲ECS的單實例穩定性從原來的99.95%提升到99.975%,跨AZ多實例穩定性從原來的99.99%提升到99.995%,均為全球最高水準。

經過10年發展,阿里雲彈性計算已經服務全球上百萬的客戶,在全球22個地域,構建了63個大型的數據中心。在國內超過80%的科技創新企業都運行在阿里雲上,阿里雲彈性計算服務為這些企業的產品業務創新提供著有力的支撐。同時,阿里雲彈性計算已覆蓋網際網路、金融、零售等行業近300種場景,支撐了各種流量高峰:如12306的春運搶票、微博熱點的暴漲流量、釘釘2小時擴容10萬臺雲伺服器等等。

對極致性能的追逐,仍將是雲計算發展進程中的不變的目標,神龍第三代伺服器為代表的阿里彈性計算,以依然在路上。

相關焦點

  • 突破性能極限,阿里雲神龍最新ASPLOS論文解讀
    ,其中包括阿里雲提交的名為《High-density Multi-tenant Bare-metal Cloud》的論文,該論文闡述了阿里雲自研的神龍伺服器架構如何解決困擾雲計算行業多年的虛擬化性能損耗問題,打破物理機的性能神話,讓雲伺服器突破性能極限。
  • 雲計算十年:阿里雲第三代神龍雲伺服器如何挑戰摩爾定律極限
    過去十年,阿里雲的存儲性能提升了2000倍,網絡性能提升了500倍,整體算力以平均每12個月翻一番的速度增長,向摩爾定律的極限發起挑戰。「十年時間的發展,我們重構了整個計算的服務模式。」張獻濤說。在阿里內部,神龍架構已經大規模應用於淘寶、天貓、菜鳥等業務,解決高峰值的性能瓶頸問題。
  • 我國的黑科技,神龍骨架再次亮相
    據悉這款科技能既擁有物理機的性能同時又具備著虛擬機的性能,給我國居民以新鮮又便利的體驗。11月23日,烏鎮網際網路國際會展中心烏鎮廳舉行了世界網際網路領先科技成果發布活動,在活動上,由阿里雲計算有限公司研發的神龍:新一代軟硬一體化虛擬化技術架構令大家眼前一亮。
  • 全球最難資料庫性能排行榜出爐 阿里雲AnalyticDB拿下雙料冠軍
    原標題:全球最難資料庫性能排行榜出爐 阿里雲AnalyticDB拿下雙料冠軍   據權威國際處理性能
  • 劍指雲內存資料庫,阿里雲在下一盤大棋
    在 2019 數據技術嘉年華大會上,阿里雲資料庫產品事業部總經理、李飛飛曾引用 AWS 創始人 Jeff Bezos 的話:資料庫是企業雲上的終極之戰。在這終極之戰中,阿里雲無疑是國內資料庫引領者:據 Gartner 最新發布的 2020 年度全球資料庫魔力象限報告,阿里雲首次進入全球資料庫領導者象限,這是中國資料庫 40 年來首次進入全球頂級資料庫隊伍。
  • 阿里雲彈性計算負責人蔣林泉:億級場景驅動的技術自研之路|問底...
    隨著需求升級,早期的彈性計算已經無法滿足客戶更高的要求,這時雲廠商不僅要考慮提升技術含量,同時也要不斷提升產品的性能品質。對此,阿里雲不斷突破技術難題,用超高的穩定性、可預期的性能以及豐富的產品覆蓋度,針對用戶最為核心的關注點,滿足客戶需求。一系列產品與技術的推出與優化,不難看出從「入門級」到「企業級」的轉變,不僅詮釋了阿里雲彈性計算的技術演進,更是用戶驅動阿里雲技術成熟的最好佐證。
  • 阿里雲Serverless容器:世界第一啟動速度助力越光醫療 雲計算的...
    在將應用部署時間從以天計縮短到以小時計後,雲計算正進入秒計時代:阿里雲推出的最新計算形態Serverless容器服務改寫了雲計算極限,單實例啟動時間為創世界紀錄的10秒,1分鐘可彈出1000實例,這使按需按秒計費成為現實,在雲計算大大降低計算成本的基礎上,讓總計算成本再次降低30%—50%。
  • 共同探索可持續發展之路《翻轉極限》中文版在北大首發
    共同探索可持續發展之路《翻轉極限》中文版在北大首發 2018-10-26 來源 :公益時報  作者 : 皮磊 10月25日,全球頂級智庫羅馬俱樂部繼《增長的極限》之後的又一力作《Come On》中文版在北京大學舉行新書發布會。在中文版翻譯中,該書名為《翻轉極限》,是羅馬俱樂部時隔40多年後的又一部集體智慧的著述。
  • 對話阿里雲褚霸:阿里雲彈性計算產品已走向企業級,自研虛擬化技術...
    今年年初,圈內人稱「霸爺」的阿里巴巴資料庫研究員餘鋒(花名褚霸)轉而擔任阿里雲彈性計算產品線負責人,阿里雲推出的基於神龍架構的彈性裸金屬雲伺服器(以下簡稱神龍雲伺服器)在市場上反響良好,並吸引越來越多的政企客戶關注,這反映了阿里雲彈性計算產品線發生了怎樣的變化?雷鋒網對話餘鋒了解到了彈性計算這一基礎產品線的最新動態。
  • 將公共雲延伸至本地,阿里雲推出本地化部署服務雲盒Cloud Box
    9月18日,杭州雲棲大會上,阿里雲宣布推出的本地化部署服務阿里云云盒Cloud Box,基於自研「神龍X-Dragon架構」,融合計算、存儲、網絡三大公共雲前沿技術為用戶提供本地部署軟硬一體的全託管雲服務,為需要將業務部署在本地機房的用戶提供了和公共雲一致的服務體驗,滿足計算離數據更近的用戶需求。
  • 亞馬遜和微軟都視為最強對手的阿里雲,到底做了什麼
    而在全球雲計算市場排行前三的雲巨頭:亞馬遜、微軟、阿里雲佔住了頭部玩家的位置,成為未來企業上雲的首選。當然,隨著雲計算進入換擋期,增速有所放緩。整個行業都面臨著挑戰,比如全球排名第一的亞馬遜中國換帥,甲骨文經歷了多次裁員潮,頭部玩家中只有微軟和阿里雲呈現出蒸蒸日上的趨勢。
  • 中國技術再下一城 阿里雲自研資料庫AnalyticDB打破TPC-DS世界紀錄
    日前,據權威國際處理性能委員會TPC官方披露,在被譽為「資料庫分析場景珠穆朗瑪峰」的TPC-DS基準測試中,阿里雲自研的雲原生數據倉庫AnalyticDB以1489萬的性能指標刷新了世界紀錄,比第二名提升近30%以上,同時單位計算成本降低到0.08元,首次將數據倉庫的性價比帶入「不足1毛錢」時代。
  • 性能優於 MySQL 6 倍?阿里雲 PolarDB 的底氣在哪?
    9 月 21 日,阿里雲正式發布新一代商用關係型雲資料庫 POLARDB 。
  • 上雲就上阿里雲
    z1d實例具有極高的單線程性能,藉助定製的Intel Xeon處理器,內核頻率最高可達4.0GHz,每核提供16GB 內存和本地NVMe存儲,因此無需擔心算力和存儲的問題。此外,AWS還為EDA的各個節點全部提供了加密,保證每個節點都能以優化安全的形式創建和關閉。
  • 阿里雲河源數據中心正式開服,疫情期間曾2小時擴容1萬臺雲伺服器
    據悉,河源數據中心採用了目前業內最先進的硬體設備,並大規模應用飛天作業系統、第三代神龍架構、盤古存儲等自研雲計算技術,可用區內時延僅為其他數據中心的40%左右,可輕鬆應對金融級企業的海量擴容需求。其中,神龍架構是阿里雲在底層硬體層面的重大突破,通過自研的虛擬化技術,神龍雲融合了物理機和虛擬機的優勢,用戶能在雲上獲得物理機100%的計算能力,目前已全面支持ECS虛擬機、裸金屬、雲原生容器等,並較上一代在IOPS、PPS等方面有5倍性能提升。疫情期間,為打贏抗疫關鍵戰役,上千萬企業近兩億人開啟在家辦公模式。
  • 「良心車」:神龍復興的「關鍵鑰匙」
    成立於1992年的神龍公司曾有過輝煌,28年來,神龍公司在中國市場積累下600萬的客戶基盤,在汽車界曾鼎盛一時。經歷過高光時刻,也陷入過低潮。神龍公司把所有對未來的期盼、對重生的渴望,全部凝聚為對市場的敬畏、對客戶的敬畏、對合作夥伴的敬畏。
  • 全球最難資料庫性能排行榜出爐:這家中國企業拿下雙料冠軍
    日前,據權威國際處理性能委員會TPC官方披露,在被譽為「資料庫分析場景珠穆朗瑪峰」的TPC-DS基準測試中,阿里雲自研的雲原生數據倉庫AnalyticDB以1489萬的性能指標刷新了世界紀錄,比第二名提升近30%以上,同時單位計算成本降低到0.08元,首次將數據倉庫的性價比帶入「不足
  • 挑戰極限:使用雲·速成美站搭建阿里雲官網首頁
    【引言】   本文開始前,請大家跟隨我進行如下操作,第一步:複製下方網址:https://aliyun.wezhan.cn/;第二步:在瀏覽器中打開;第三步:見證奇蹟的時刻到了,很多朋友在打開一剎那,不約而同地說:「這不是阿里雲官網嘛。」
  • 極限之路對話WilliamTrubridge:人與海洋和海洋生物是有聯繫的
    極限之路攜手界拓、深之藍,與世界級自由潛大神William Trubridge,以及廣大自由潛愛好者相約北京、上海,共同創造了屬於自由潛水界的盛世狂歡,為潛水愛好者們接觸、了解世界一流的自由潛知識和技術創造了機會。