寒武紀vMLU技術面世,首推SR-IOV虛擬化功能

2020-12-03 機器之心Pro

機器之心發布

機器之心編輯部

2020 年 4 月，國內 AI 晶片獨角獸寒武紀對外宣布，旗下雲端智能晶片及加速卡系列思元 270 將正式基於寒武紀虛擬 MLU（vMLU）技術，首次支持 SR-IOV 功能。

據了解，SR-IOV 功能具備更好的租戶隔離、應用熱遷移特性，可為雲服務供應商提供安全、優質的 AI 計算資源，以充分保障用戶在 AI 領域的投資。思元 270 是寒武紀首款支持 SR-IOV 虛擬化功能的雲端智能晶片產品。據悉，寒武紀未來的雲端智能晶片，都會支持 SR-IOV 功能。

瞄準用戶痛點：如何高效利用 AI 計算資源

思元 270 是寒武紀推出的面向雲端的智能晶片，其支持全面的 AI 推斷場景部署，包括視覺、語音、自然語言處理等多樣化的人工智慧應用。思元 270 系列支撐數據中心、專業場景乃至桌面等多元化部署場景。

在這些部署場景中，面向雲端部署、多樣化人工智慧推斷、以及配合寒武紀邊緣側板卡進行應用開發時，如何對 AI 計算資源的有效利用是用戶首要關心的問題。也是寒武紀本次推出 SR-IOV 虛擬化功能的核心訴求：

面向雲端部署：在雲部署環境下，雲服務提供商 (CSP) 幫助海量租戶以高性價比、高可用性的方式提供計算、存儲、網絡資源的服務，在此基礎上還可提供高達 99.99% 的高可用服務級別。從 Hypervisor 和底層硬體上對資源進行高效共享以及多租戶、實例進行相互隔離，成為了 AI 雲服務的基本訴求。面向複雜的人工智慧推斷：在 AI 應用進行部署時，用戶通常會遇到業務邏輯較為複雜的場景，需藉助多個網絡模型來構建 AI 輔助決策系統。為保證伺服器節點內的服務質量，通常會採用一機多卡的部署方式。但計算成本和服務質量需要兼顧時，用戶會希望用單張板卡並行多個模型來解決問題。面向邊緣、端側應用開發：寒武紀產品線已在雲、邊、端三個維度實現全面覆蓋，在面向邊緣側和端側的應用開發過程中，用戶經常會受部署側的 CPU、產品形態或網絡條件的限制，無法直接在最終部署的設備上進行開發。寒武紀支持採用端雲一體的開發環境幫助用戶快速將應用落地，而幫助雲側計算資源高效、合理的分配給應用開發組，是思元 270 虛擬 MLU 的開發目標之一。寒武紀首推 SR-IOV 功能：讓 AI 雲、業務部署和應用開發更靈活、高效、安全

為實現以上訴求，思元 270 採用寒武紀虛擬化技術——vMLU，該虛擬化技術允許多個作業系統和應用程式共存於一個物理計算平臺上，共享同一個晶片的計算資源。它為用戶提供良好的安全性和隔離性，還支持如熱遷移等高靈活特性。vMLU 幫助提高雲計算密度，也使數據中心的 IT 資產管理更靈活。

除了虛擬化基本的資源共享特性，思元 270 首推的 SR-IOV 虛擬化技術，支持運行在雲伺服器上的多個實例直接共享智能晶片的硬體資源。傳統虛擬化系統中大量的資源和時間損耗在 Hypervisor 或 VMM 軟體層面，PCIe 設備的性能優勢無法徹底發揮。而 SR-IOV 的價值在於消除這一軟體瓶頸，助力多個虛擬機實現高效物理資源共享。

與傳統圖形加速卡的 vGPU 所採用的虛擬化技術不同，思元 270 採用「非基於時間片的共享」方式，因為其沒有因時間片切換上下文帶來的性能損失，能充分保證各 VF 獨立的服務質量，彼此完全獨立運行互不影響。

硬體環境：: 1x MLU270-S4, Xeon Gold 6140@ 2.30GHz, 測試環境：Cambricon-MLU270 1.2.5，作業系統：Centos7.6

SDK 版本：Cambricon Neuware-mlu270-1.2.5 + neuware-mlu270-driver-4.1.0，框架：Caffe

另外，SR-IOV 還可以避免因分時復用切換應用帶來的性能開銷。如上圖顯示，vMLU 搭配 Docker 或 VM 運行時，單個 VF 業務性能保持在硬體性能的 91% 以上。這使得用戶在多模型並行時，對各 VF 可以做出更準確的服務質量 (QoS) 預期，而不必考慮多模型時的擁塞或切換帶來的性能開銷。

基於 SR-IOV 的 vMLU：更好的租戶隔離性

虛擬化技術被數據中心廣泛採用，除了因為其提供了對資源共享的能力（提供了更好的密度性能），也因為相對於其它技術 (如 docker), 虛擬化提供了更好的隔離性和安全性。寒武紀 vMLU 基於 SR-IOV 的虛擬化技術可以幫助雲用戶實現更好的隔離特性，具體優勢如下：

首先，資源獨立，互不幹擾，能確保服務質量（QoS）；其次，多任務時，沒有無隊列阻塞的煩惱；再次，其具備獨立內存資源，各 VF 之間互不可見；最後，它的部署相對簡單，不需要對開源軟體成分進行修改。

面向 Docker-container 的 SR-IOV flat：更高效部署方式

除了對 VM 提供虛擬化支持，寒武紀虛擬化技術還對 docker-container 提供基於 SR-IOV 的虛擬化擴展 (SR-IOV flat 模式)，用於多個 containers 共享一塊 MLU 卡的計算能力, 同時，提供了基於 kubernetes 的管理插件。該功能為那些對隔離性和安全性需求沒那麼高的數據中心提供更輕量級部署方式。

下圖對比了在 container 環境中經常被用到的 GPU 彈性共享池技術和 SR-IOV Flat 技術。

Elastic GPUs shared pools vs. SR-IOV flat

從上圖可以看出，寒武紀 vMLU 所採用的 SR-IOV-Flat 技術在隔離性, QoS 上都有明顯優勢。

VF 熱遷移 (Live Migration)：幫助 AI 雲應用達到 99.99% 的高可用服務級別

想要達到 99.99% 的高 QoS，要求雲業務的年意外停機時間不超過 53 分鐘。熱遷移（Live Migration）功能可以在虛機及其應用程式仍在運行時將其移動到另一臺主機。AI 計算資源是否具備熱遷移能力是評價其在數據中心的群集配置策略、平衡主機的工作負載、容災處理風方面能力的關鍵指標。

寒武紀 vMLU 虛擬化技術為思元 270 提供了熱遷移的能力, 下圖為 MLU 在熱遷移發生時晶片內部的數據流圖：

在熱遷移（Live Migration）功能的作用下，AI 算力實現不停機轉移，思元 270 可助力 AI 雲實現 99.99% 的高服務可用性。

基於寒武紀 vMLU 虛擬化技術，並支持 SR-IOV 功能的寒武紀思元 270 雲端智能晶片正式推出，其優質租戶隔離、應用熱遷移特性，可為雲服務提供商提供更加安全、優質的 AI 計算資源。據悉，搭載虛擬化 vMLU 技術的寒武紀思元 270 已經與金山雲合作並開始內部部署，預計未來 1 至 2 個月會正式上線，敬請期待。

相關焦點

  • 科創日報丨TCL華星t7項目主設備搬入;寒武紀vMLU技術面世
    明星公司TCL華星t7項目主設備搬入，角逐全球超高清面板市場5月4日消息，TCL華星11代線超高清新型顯示器件生產線項目（簡稱「t7項目」）於4月30日順利完成首臺CVD、PVD和曝光機搬入，搬入儀式在深圳市光明區TCL華星G11產業園舉行。
  • 雲計算底層技術之虛擬化技術
    首先我們先了解一下什麼是虛擬化，虛擬化是雲計算的基礎。簡單來說，虛擬化就是在一臺物理伺服器上，運行多臺「虛擬伺服器」。這種虛擬伺服器，也叫虛擬機（VM，Virtual Machine）。
  • 科普:CPU的虛擬化技術有何作用?CPU虛擬化技術如何開啟?
    我們都知道，不管是Intel的CPU，還是AMD的CPU都是支持虛擬化技術的，只要通過搭配主板的BIOS就可以開啟虛擬化技術了。因為很多主板出廠時都是默認禁用虛擬化技術的，那麼估計很多用戶想問，開啟CPU的虛擬化技術有什麼作用呢？CPU虛擬化技術的開啟方法是什麼呢？
  • 工業控制器的虛擬化技術——邊緣計算走進工廠車間
    商用技術在消費者和信息技術（IT）領域的應用速度幾乎總是比工業技術更快。例如，多年來，虛擬化技術在IT環境中已經非常普遍，最常見的是在基於伺服器的應用中。相比之下，工業自動化運營技術（OT）應用在採用虛擬化方面則落後了數年。
  • 驚人研發速度 寒武紀緊跟技術前沿潮流
    在國內AI晶片領域的「大事」盤點中，獨角獸企業寒武紀登錄科創板一事，成為了不得不提及的重點之一。 2020年寒武紀登錄科創板，對於公司自身來說開啟了全新的篇章，對於行業來說，也是積極的信號，資本市場對於AI晶片的支持和信心展現。 回顧寒武紀的發展歷程，伴隨著政策的持續性向好，寒武紀自成立以來，一直保持著「開掛」一般的研發速度。
  • 微軟:Windows 10支持在AMD平臺啟用嵌套虛擬化技術
    在微軟生態系統裡許多產品都已經支持嵌套虛擬化，然而長久以來AMD處理器沒有得到微軟嵌套虛擬化的支持，不過現在這個情況有所改變了。事實上基於AMD平臺的嵌套虛擬化也是許多用戶的呼聲，針對該功能的意見反饋投票數量下一個反饋的五倍之多，可見許多用戶對AMD嵌套虛擬化的需求非常大。現在微軟終於宣布該平臺的嵌套虛擬化功能的到來，目前微軟正在Windows 10 vNEXT測試版（Build 19636版）裡進行早期測試。
  • Hyper-V虛擬化技術,可在Windows 10中創建虛擬機,安裝作業系統
    小夥伴們如果使用過VMware虛擬機，那麼可能對虛擬化技術並不陌生。通過虛擬化技術可以非常方便地安裝、使用或測試各種不同類型的作業系統或組建網絡環境，提高對計算機硬體資源的利用率，虛擬化技術有著物理計算機無法比擬的靈活性和安全性。
  • 不會在BIOS中啟用虛擬化技術,想運行虛擬機,門都沒有
    在使用Android模擬器或虛擬機，或者執行其他一些任務時，可能需要啟用虛擬化技術，但並非每個用戶都知道如何執行這項操作。本文介紹了如何在BIOS/UEFI中啟用虛擬化以及在運行Windows10、8.1或Windows7電腦上啟用虛擬化時可能出現的問題。
  • 寒武紀的寒武紀
    投稿來源：知頓不知什麼時候，百度詞條搜索「寒武紀」出現了「全球首個深度學習處理器晶片」的定義，而儘管其生產晶片的母公司寒武紀已成功上市，但至今百度依然未能如「華為」般給出完整的定義和詞條索引。回望寒武紀的發展歷程，其速度堪比兄弟二人的求學之路。2016年，寒武紀正式創立，次年拿下華為主要業務。這種深度捆綁的關係為寒武紀的發展創造了條件，就像尖子生被保送一樣，寒武紀研發的用於終端場景的寒武紀1A、寒武紀1H系列晶片分別被直接用在了華為麒麟970和麒麟980上，而前者對應的手機是MATE10，後者則是MATE20。
  • 細數銀河麒麟5大虛擬化安全功能,讓安全無懈可擊!
    銀河麒麟伺服器虛擬化系統不僅能夠提供擴展性好、運行穩定的虛擬化伺服器平臺，還能提供統一、高效的虛擬化資源管理、配置和監控平臺，更能提供實施高效的實體機與虛擬機之間資源遷移解決方案，它將幫助廣大中小企業快速建立易用、高效的虛擬化實施平臺。當社會信息安全已經關係到一個企業和國家安全時，信息安全問題無憂也就為國家和社會穩定提供了可靠的保障。
  • 寒武紀的「高處不勝寒」
    一期，寒武紀主要負責為中科曙光的伺服器提供算力；二期，寒武紀直接負責承建，預計將給寒武紀帶來2億元的「智能計算集群系統」業務收入。三期，將在2022年進行。2019年6月26日，寒武紀又與西安市政府達成合作，負責西鹹新區灃東人工智慧計算創新中心的項目，建立西北地區首個「AI領域的新型基礎設施」。
  • 寒武紀來了
    寒武紀上市申請獲上交所受理事實上，關注中國集成電路發展的讀者都有兩種複雜的情緒：一方面在強調技術自主可控的當下，對中國晶片未來的發展充滿期待；另一方面，又不得不面對中國集成電路產業在過去積累的種種難題。殘酷的現實便是，中國集成電路進口額長期大於出口額。
  • 騰訊雲虛擬化技術團隊:用硬核貢獻表達開源態度
    在騰訊雲，也有這樣一支專門面向開源的小分隊:他們深耕雲計算的最根本技術之一——虛擬化，並始終以擁抱開源、回饋開源作為使命。10 月 29 日，在全球虛擬化頂級技術峰會KVM Forum上， 2020 年全球企業KVM開源貢獻榜正式公布，騰訊雲再度榮登該榜，其中兩項技術方案被評為KVM2020 年度核心突破。騰訊雲因此也成為國內唯一連續四次登榜的雲服務商。
  • 寒武紀擁有產學融合經驗豐富的研發團隊
    寒武紀在技術團隊方面,我們先來看下寒武紀創始人兼CEO陳天石的履歷。陳天石出自「中科大少年班」,師從陳國良院士與姚新教授,2010年獲得博士學位後便在中國科學院計算技術研究所從事研究工作,曾擔任中科院計算所研究員及博士生導師,研究方向為計算機體系結構和計算智能。作為寒武紀的「領舵人」,陳天石在科研方面的實力,對於產業發展所儲備的豐富經驗能夠很好的帶領團隊,撥開迷霧。
  • 勇於開拓 寒武紀尋求合作共贏
    作為一項新興技術,人工智慧在經歷了沉澱積累後,逐漸發酵升級。中國人民大學國際關係學院副院長金燦榮曾表示:人工智慧成為了第四次工業革命重要的五個方向之一。全球網際網路行業的預言家凱文·凱利也曾表示:「未來20年最偉大的事情可能還沒有出現,但可以預判的是,人工智慧將是未來20年內最重要的技術趨勢。」
  • GRID 2.0:提供更立體的虛擬化圖形體驗
    從軟體的角度來講，我們會進一步的不斷去升級這個軟體，未來我們還會在軟體當中植入相關的管理功能。」IT部門可以讓工作人員即時使用功能強大的應用，從而能夠改善資源的分配。同時數據保存在中央伺服器內，而非個人系統中，因此可以更安全地存儲數據。
  • 夢想動畫超前部署GPU虛擬化技術，成就不凡視覺特效
    為了滿足夢想動畫與客戶對高質量的需求，影像視覺出身的執行長林家齊與團隊針對不同應用，使用NVIDIA GeForce、Quadro繪圖卡，同時也早在疫情爆發前便積極導入虛擬化GPU技術，透過NVIDIA RTX
  • 華雲大咖說丨安超虛擬化平臺介紹
    安超虛擬化平臺是擁有自主智慧財產權的虛擬化平臺，支持多芯多棧的伺服器架構，通過整合數據中心的IT基礎資源，為企業數位化轉型提供更敏捷、更高效的軟體定義數據中心。 　　安超虛擬化平臺包括雲管理平臺、軟體定義計算(ArCom)、軟體定義網絡(ArNet)、共享存儲虛擬化(ArSSV)、軟體定義安全等功能。
  • 主要的伺服器虛擬化軟體有哪些?特點是什麼?
    用同一臺伺服器底層硬體，劃分出若干虛機，集中管理，很方便的做集群，負載均衡，熱遷移等功能。XenCenter是Citrix的虛擬化圖形接口管理工具，可在同一界面，管理多臺的XenServer伺服器。管理上，通常會先在XenCenter建立一個伺服器群組(Pool)，然後將位於同一機房內的XenServer伺服器加入。
  • 寒武紀聯合創始人劉道福:智能晶片技術是行業智能化的重要推力
    【獵雲網（微信：ilieyun）北京】12月5日報導（文/李彤煒、小樹）12月2日，逆勢生長-NFS2020年度CEO峰會暨獵雲網創投頒獎盛典在京舉行，國內AI晶片獨角獸寒武紀聯合創始人劉道福在峰會上發表了題為《AI「芯」技術，助力行業智能化》的主題演講。