英偉達的「GPU共享抗疫法」,為什麼沒能走進中國方案?

2021-01-12 鈦媒體APP

圖片來源@視覺中國

文 | 腦極體

它來了它來了,它帶著AI方案走來了!

海外疫情的日益嚴峻,AI投身抗疫的海外版也陸續上線。

在諸多項目中,共享算力方案聽起來格外耳熟。有點像中國人民「躺在家為國做貢獻」類似,英偉達號召遊戲玩家們「開電腦為抗疫做貢獻」。,籲PC玩家們捐獻自家GPU/CPU的閒置算力,支援史丹福大學的分布式計算Folding@home(FAH)項目,以彌補病毒研究算力的不足。

英特爾、MSI微星等巨頭和網友們也紛紛響應,表示自己準備好了:為了拯救世界,多掏點電費算什麼!MSI甚至用了「復仇者聯盟」終局之戰的配圖,用「人人都是超級英雄」來瘋狂暗示。

不過,共享算力能否為抗擊新冠病毒起到作用?為何在中國抗疫方案中卻沒有見到它的身影呢?

共享算力:分布式計算的全民版本

想要了解共享算力對於抗擊新冠病毒的價值,要從史丹福大學 Pande 實驗室發起的Folding@home說起。

所謂算力共享,是指依託建立的網絡信息中心,運用雲端分布式計算技術實現網絡算力的互聯共享,以達成分析計算。

比如這次用於抗擊新冠疫情的Folding@home,就是目前世界上最大的分布式計算計劃(2007年金氏世界紀錄),主要用於疾病的AI研究,為蛋白質摺疊、聚合及由此引起的相關疾病,進行藥物計算設計和其他分子動力學研究。

自2000年10月1日啟動以來,已經吸引了英偉達、索尼等商業巨頭的參與,成功模擬5-10微秒的摺疊過程。目前,Folding@home所有的 GPU 項目,也都瞄準了COVID-19 ,旨在找到它的潛在藥物靶標,未來CPU項目也會儘快加入。

玩家的參與方式,需要在項目客戶端上選擇「Any disease」,就會收到相關需求,根據其進行客戶端設置就好。然後Folding@home就會在後臺,以非常的優先級,也就是在計算機空閒時來供給案例,不必擔心會影響遊戲、視頻等正常的計算機體驗。

而在疫情爆發之前,算力共享也已經有了不少成熟應用。

早在2002年就建立的項目「BOINC算力地球」,就號稱能夠幫助普通人的電腦實現和外星文明的「第五類接觸」。

C端用戶允許BOINC在閒置時調用個人的CPU 和 GPU 計算能力,支持數學、醫學、天文學、氣象學等各個領域的科學研究。英國牛津大學就曾使用BOINC的算力來預測未來 100 年全球氣候變化。

過去十幾年間 BOINC 平臺的算力資源一直在持續增長。截至 2019 年3月,已經有超過 440 萬的志願用戶加入BOINC ,日活的主機大約 60 萬臺,貢獻出大概 30 PFLOPS 的算力。如果按照AWS伺服器同等體量的算力租金來計算的話,共享一年的價值就相當於全球PC用戶為科研捐出了5000萬美元。

而BOINC的創建者,正是加州大學伯克利分校分布式計算領域的著名科學家David Anderson。

BOINC支援過最大的項目,是加州大學伯克利分校發起的、搜索外星智能生物的計算資源共享計劃SETI@HOME。分析位于波多黎各阿雷西博天文臺和望遠鏡,以及位於維吉尼亞州的綠岸天文望遠鏡(Green Bank Telescope)所搜集到的無線電信號,來尋找外星高等智能生物存在的證據,是一個龐大的運算工程。

1999年5月17日啟動至今,吸引了全世界超過 500萬個用戶,有超過71萬臺活躍主機,每天提供約30PetaFLOPS的運算能力。

當然,分布式計算平臺真正大規模走入人們的視野,還離不開「挖礦」的市場化洗禮。

2017-2018年,區塊鏈(尤其是數字貨幣)的火熱也帶動了「共享算力經濟」,出現了眾多可以出租個人計算機資源的平臺。用戶將帶顯卡的機器託管到礦池裡,把剩餘算力租賃給「礦場」挖礦來獲得收益,平臺也得以降低虛擬幣的算力成本。

那麼,共享算力作為分布式計算的「民主化版本」,究竟有哪些利與弊呢?

豐滿理想與骨感現實:共享算力的真實面貌

國王說 :「親愛的大臣,昨晚我夢見一個數字,是190554261410902619,我不知道這個數是不是一個素數,我需要最快知道答案。」

大臣回答 :「陛下,我也不知道,不過,我們剛給王國裡的每個百姓按自然數順序編了身份證號碼,只要發布命令,讓每個人用自己的號碼去除國王所夢見的數字,很快就能得到答案。」

命令發布後的第二天,國王就收穫了兩個報告 ,一個是 456275009,另一個是 456275291。

這個故事中,就蘊涵了分布式計算的思想。

一方面,信息技術的飛速發展、人工智慧的產業化浪潮,讓處理、分析海量數據的算力,成了新的關鍵資源。

比如分析蛋白質這類項目,涉及到複雜的模型結構和龐大的計算量,即便是利用超級計算機也需要消耗很長的時間,以及高昂的伺服器租賃成本。

如果能讓許多計算機參與到運算過程中,將需要大量計算的項目分割成小塊,由由多臺計算機同時處理,再上傳運算結果後統一合併得出數據結論,過程就能夠大為縮短。

而且,與中心化的商業雲計算平臺不同,大量個人計算機的用戶都存在一定的資源閒置。

有統計顯示,全球的電腦年出貨量是2億臺,以每五年為一個更換周期來計算,全球大概有10億臺電腦隨時保持運行的狀態,但利用率只有20-30%,絕大部分時間都在閒置狀態。

如果讓它們成為分布式計算的節點,以公益捐贈或者小成本購買的方式,那些因無力支付算力費用而停滯的項目因此獲得支持,按需取用,豈不是人類的科技進程都要加快很多?

當然,共享算力這事兒出道多年,始終沒有收穫規模化 的個人用戶支持,背後一定是有其特殊的原因。

首先,共享算力一般會發生在高度公益屬性,或是具備高度經濟收益的項目上。

個人閒置算力的確資源龐大,而且成本低廉,試問誰不想在這場算力圈地運動中「一呼百應」呢?畢竟雲服務商自己搭建數據中心,還要投入機房、房租、電費、運維等等成本。如果讓全民為自己打工,這種場景你仔細想……你想得美!

要知道,就算平臺的信譽有所保證,用戶在共享閒置算力時電腦也要持續運行,尤其是使用GPU計算時,會一直會保持在滿負載運行狀態,耗電量也必然會增大,有的還會佔用軟體內存導致卡頓,設備的耐久性和壽命也會因此打折扣。

所以除非有足夠的理由驅使,比如為了人類命運共同體協力抗擊病毒,亦或是給予充分的經濟回報,比如挖礦,否則很難調動起大多數人的積極性。

其次,就算是值得託付的項目/平臺,也未必能管理好共享資源。

一方面,分布式計算只適合那些能夠通過計算來解決全部或部分問題的研究,而且計算過程還需要容易被分割成個人計算機處理能力可接受的大小,這就限制了許多研究採用「共享模式」來進行。

另一方面,項目方/平臺方需要管理海量用戶的GPU/CPU硬體資源,但商業競爭的關係,GPU的設計細節並未公開,不同廠商產品也存在很大的差異。而且算力上傳到雲端虛擬化還會產生性能損耗,這都增加了其部署和管理的難度。

這也是為什麼,在上線21年後,SETI @ Home決定在今年3月31日終止向志願者分配作業。項目小組解釋,是因為已經分析完所有需要的數據,而且數據的分布式計算管理很費事,專案小組決定把精力放在完成數據的後端分析,和撰寫論文上面。

第三,能將共享資源效率最大化的平臺,必然具備強大的技術能力,這也限制了共享項目的擴張。

因為對海量個人算力的雲端虛擬化、調配,需要部署分布計算環境(也稱為中間件),用來提供公共服務,支持分布式應用,否則,項目人員就不得不解決多種作業系統、多種網絡協議、多種資料庫、性能、效率、安全等等,與業務本身沒有直接關係的難題。

比如虛擬化技術,多核 CPU 和擁有大量核數的 GPU出現,讓計算機性能得到數量級提高的同時,也加大了共享的部署難度,很容易造成GPU密集型負載的性能混亂和資源浪費,這就需要通過虛擬化來對豐富的計算資源進行抽象和模擬,讓算力達到原生GPPU/CPU的性能,同時成千上萬個應用相互之間沒有任何幹擾。

這樣功能強大、穩定統一的技術,主要還是掌握在雲計算廠商手中。

這或許也從某個層面,解釋了中國的AI抗疫動作裡,暫時還沒有出現「全民共享GPU」這個選項。

方興未艾,自有擔當:中國雲計算的今日景況

其一,中國雲計算產業規模不斷增長,擁有相對充足的算力資源。

在過去的數年間,從國家政策到企業需求,推動了國內雲計算產業規模的高速增長。信通院、IDC等研究機構發布的數據顯示,2018年,中國雲計算產業規模達到962.8億元人民幣,較2017年增長39.2%,2019年產業規模則預計超過千億,達到1290.7億元人民幣。眾多省市都在建設超級計算中心,這為抗疫期間AI算力的緊缺需求,提供了高效戰略調動的前提。

第二,中國雲服務廠商市場份額和技術能力趨於世界前列,在疫情危急關頭挺身而出開放算力。

IDC《全球公有雲服務市場跟蹤》報告顯示,中國公有雲服務整體市場規模(IaaS/PaaS/SaaS)超 40 億美金,中國雲廠商佔據了全球四強席位。

而這些科技企業的加入,也撐起了算力需求的江山。阿里雲宣布向全球公共科研機構免費開放一切AI算力,百度研究院免費開放線性時間算法LinearFold以及世界上現有最快的RNA結構預測網站;滴滴雲也免費開放了GPU雲計算資源和技術支持,用於抗擊疫情相關工作……此外,一些雲服務廠商也在積極研發,並無償開放多款專門針對疫情調研、排查、防控的智能服務產品,比如至少阿里、騰訊、字節跳動、華為等雲協同辦公廠商先後免費開放多項功能,上海經信委與各運營商商議提供6個月以上雲辦公、雲視頻會議的免費服務……

有這麼多算力巨無霸撐起了計算資源的硬核輸入,自然也就不需要號召全民開機、支持抗疫了。

從這個角度來說,爭分奪秒的「GPU抗疫」,既是對與新型冠狀病毒賽跑的科研人員的強有力支持,也是一個全球雲計算業態的最佳側寫。

相關焦點

  • 亞馬遜加持,英偉達A100 GPU將無人匹敵?
    2020年10月,英偉達A100 在MLPerf基準測試中創下最新記錄,目前已經可以在亞馬遜雲端進行訪問。十年過去了,英偉達現在正在為AWS提供硬體,為下一代開創性的創新提供動力,這是相當有歷史意義的。 在今年的MLPerf中,A100在數據中心推斷方面的表現超過cpu達237x。單個NVIDIA DGX A100系統(帶有8個A100 gpu)在某些AI應用上可以提供與近1000臺雙插槽CPU伺服器相同的性能。
  • 超算安裝GPU-based軟體 (以pytorch為例)
    其中存儲節點的共享存儲可以被所有節點訪問。一般運作方式是,如果我的計算依賴非常共性的軟體,我可以找超算管理員安裝,使用的時候可以通過module load來初始化自己所需軟體。已有共性軟體如下:Vasp和Gaussian是算力消耗的大頭,但是超算用戶覆蓋幾十個學院的幾百個方向,不可能面面俱到,把所有人需要的軟體都裝在/opt 也是不現實的。
  • 如何以最佳的方式利用MultiGPU機器-NVIDIA,英偉達,GPU ——快科技...
    為什麼要浪費資金? 確保 PCIe 晶片組能令您的 GPU 實現所有的性能!英偉達最近發布的 CUDA 4.0 包含了一系列特性,能簡化工作站或計算節點內多 GPU 的使用。愛爾蘭高端計算中心 (ICHEC) phiGEMM 庫利用 CUDA 4.0 特性實現了同時使用多 GPU 和主處理器的矩陣乘法計算。
  • 蘇姿豐發布RDNA2架構RX 6000系列新顯卡,與英偉達RTX 3000決戰...
    4K 的遊戲通常會受到現代 gpu 內存帶寬的限制,AMD 希望用一個更強大的緩存來代替更高速的 GDDR6X ,來滿足這些需求。 同年,AMD做出了一個重大的決策——收購ATI公司,提出CPU結合GPU 的全新解決方案,但這意味著,AMD和NVIDIA從一同對抗英特爾的隊友變成為了競爭對手。因為需要兼顧CPU和GPU兩個市場,AMD腹背受敵。
  • 面向數據中心和雲圖形應用,揭秘英偉達RTX伺服器
    在InfoComm China展會上,有一家廠商可謂是「常客」,它就是NVIDIA(英偉達)。據NVIDIA中國區高級市場總監劉念寧介紹,英偉達以前參加InfoComm China主要講圖形專業圖像產品和解決方案。從三年前,英偉達開始闡述人工智慧和計算機圖形技術的結合,如今,又將5G加入進來。
  • 依圖科技亮相全球GPU大會 攜手英偉達探索AI新疆界
    中國知名人工智慧公司依圖科技在大會展示了業界領先的人工智慧技術及商業應用解決方案,這些方案已經廣泛應用於智慧城市、醫療健康、商業智能、金融等領域。這是依圖科技首次在美國展示其全球最先進的人工智慧算法,並基於英偉達GPU驅動的商業技術方案。
  • 永久免費使用谷歌GPU?英偉達可能要發布專用於挖礦的GPU
    一分錢一分貨:英偉達可能要發布專用於挖礦的GPUNick Bourdakos用它來訓練一個物體檢測模型,它能在MacBook Pro上從每步執行15-20秒鐘,而當運行20000步時,它真的會加起來,每步執行一秒鐘左右。Bourdakos也在P100 GPU上運行了它,並且每步都將其降至0.4秒。不過,正所謂一分錢一分貨,免費的東西不一定是最好的。
  • 英偉達發布新一代GPU架構用於數據中心,遊戲玩家得再等等
    記者 | 彭新1在B站和英偉達官網刷英偉達新一代遊戲顯卡消息的玩家們可能會有些失望了。在自家公司的圖形處理器技術會議錄播視頻中,英偉達CEO黃仁勳在自家廚房大談的是GPU在人工智慧、機器學習和自動駕駛的用途。
  • Computex 2019:英偉達推出移動端VR-ready Quadro晶片
    他們搭載了全新的Quadro RTX 5000, 4000和3000顯卡,這也是英偉達首次把的Quadro系列顯卡用於Max-Q筆記本平臺,而RTX 5000則是第一個搭載了16GB顯存的移動GPU。 它們本質上是面向遊戲的GeForce RTX 2080、2070和2060的Max-Q版本的工作站版本。
  • 英偉達Turing架構Quadro系列GPU國內首次亮相
    DoNews8月24日消息(記者 程侃如)8月23日,英偉達在第二十七屆北京國際廣播電影電視展覽會上介紹了採用全新Turing架構的全球首款光線追蹤GPU:NVIDIA? Quadro? RTX? GPU,並演示適用於廣電傳媒娛樂領域各類專業工作流程的技術與應用。
  • 英偉達晶片顯卡技術和作業系統技術到底是什麼?
    英偉達晶片技術主要包括顯卡技術和作業系統技術。還有nvidia顯示晶片技術、個人計算機顯示晶片技術和人工智慧/深度學習晶片技術。顯卡技術主要包括pc卡、無線網卡、gpu集成顯卡、雷電3、rgb晶片等。作業系統技術包括windows和osx。
  • 近距離接觸英偉達專業級顯卡Quadro系列:都能幹點啥?-NVIDIA...
    英偉達專業可視化業務高級總監 SandeepGupte 表示:對於這部分用戶,大部分是使用類似Ansys、ABAQUS等分析軟體求解複雜工程和產品的結構力學性能。大規模的數據計算往往讓設計分析的過程十分漫長,而如果使用CPU+GPU加速的方案將會大大的節省運算時間。GPU加速計算是指在完成應用任務時,同時利用GPU和CPU。
  • 英偉達證實Pascal與Turing兩代GPU將共存!
    鑑於圖靈(Turing)發布初期的定價很高,很多人猜測英偉達(Nvidia)並不急於清退上一代 10-系 帕斯卡(Pascal)產品。在最近的花旗全球技術大會上,Nvidia 財務長 Colette Kress 證實了兩代 GPU 架構將會共存的消息。
  • GPU大廠英偉達的AI造夢空間_詳細解讀_最新資訊_熱點事件_36氪
    英偉達是誰?它是遊戲宅們口中的錢包「收割機」,也是AlphaGo背後的「硬實力」。1993年英偉達成立,瞄準遊戲晶片市場,以GPU為鉚點,不斷發展圖形渲染能力,並在之後的幾年,成長為遊戲顯卡界的巨擎。 與此同時,GPU的出現為AI計算帶來了新的動力。英偉達通過一系列手段支持AI技術發展,打造性能、構架更高效的GPU,即「通用AI處理器」。
  • 英偉達八代GPU史上的超級大飛躍 較前一代圖靈架構性能提升20倍
    近日,英偉達 CEO 黃仁勳正式發布了新一代 GPU 架構 Ampere 安培,這是英偉達推出的第八代 GPU 架構,較前一代 2018 年發布的圖靈架構性能提升高達 20 倍。據悉,英偉達每代顯卡架構均以頂級科學家命名,這一次以法國物理學家安培命名。
  • 三星獲得英偉達第二份GPU生產訂單,採用8nm製程
    圖片來源: 網絡集微網消息,據businesskorea報導,三星的代工業務最近收到了第二份來自英偉達安培GPU的生產訂單。三星在2020年初獲得了英偉達價值1萬億韓元的訂單,並於9月份交付。據悉,三星在京畿道華城的工廠將使用8nm產線為英偉達生產。
  • 「史上最強」再進一步,英偉達發布科研級 GPU
    2020 年 11 月 16 日,今日英偉達發布 A100 80GB GPU,該產品支持英偉達 HGX AI 超級計算平臺,且內存比上一代產品提升一倍,面向研究人員和工程師提供空間速度與性能,助力實現新一輪 AI 和科學技術突破。
  • AMD將幫助英偉達GPU引入Smart Access Memory功能,同時也會與...
    不過現在事情出現了轉機,據TOMSHARDWARE報導,AMD會放開對英特爾CPU和英偉達GPU的兼容性。上周英偉達確認正在努力讓自己的GPU實現與AMD的Smart Access Memory類似的技術,並且可以與英特爾的CPU配合使用,此事我們也曾報導過。英偉達表示,要實現該功能在技術上不存在問題,因為它屬於PCIe規範的一部分。
  • Arm在數據中心的價值:黃氏定律背後,英偉達打的什麼算盤?
    英偉達在這個平臺很成熟,我們有可用的完整堆棧,有所有必要的合作夥伴,生態系統龐大,有超過200萬開發者;很多初創企業、行業研究都在進行中。」「一旦Arm成為英偉達的一部分,我們將能夠促進Arm在數據中心取得成功。」m5pednc「這樣一來,市場就會有x86之外可行的替代方案,不僅限於移動領域,數據中心、PC等領域都如此。競爭能夠促進進步、推動創新。」