雲原生時代,雲計算成為科研發展新基石

2020-12-12 36kr

編者按:本文來自微信公眾號「青雲QingCloud」(ID:QingCloud-IaaS),作者:黃允松,36氪經授權發布。

10 月 29 日,SciPlus 科研雲於上海浦江創新論壇正式發布。作為行業雲解決方案,SciPlus 科研雲基於雲計算技術構建,具有資源共享、彈性收縮等雲平臺共性,專注於管理與存儲,將計算資源和數據資源合理高效整合到雲端,包括多雲異構雲管平臺、通用分布式計算框架、流式編程計算框架,為科研工作者提供科研數據的計算分析能力與數據共享、學科領域資料庫建設、科研協同協作等服務。

作為 SciPlus 科研雲的重要技術合作夥伴,青雲QingCloud CEO 黃允松受邀出席發布儀式,並發表主題演講《科研加速器——軟體定義的多維雲計算》,本文根據演講內容整理。

在中國有一個非常熱門話題——「下一代汽車」。如果你開過特斯拉,就會知道,駕駛汽車的體驗就像是在駕駛 iPhone。傳統汽車行業也在改變,即使最傳統的 GM 通用汽車也無例外。對「下一代汽車」的投入,最重要的崗位就是軟體工程師。簡單來說,汽車公司會變成軟體公司,汽車功能都會解耦成各種組件,而在科研中也有類似的情況。

軟體定義無處不在

回顧軟體定義的發展,軟體定義網絡差不多是十年前開始的。在此之前,已經開始的是軟體定義伺服器。做科研一定要用伺服器,但是在數據傳輸過程中也一定要用到網絡。越來越多科研設備接入,網絡能力變得至關重要。青雲QingCloud 從創立之初就在建設軟體定義網絡的能力。

整個 SDN(軟體定義網絡)體系發展過程,就是將傳統的交換和路由功能從硬體轉變為軟體,快速進行迭代創新。SDN 的工作邏輯,是讓軟體駕馭數據轉發和數據控制,使創新成本幾乎為零。以手機為例,現在的智慧型手機沒有鍵盤;以前有鍵盤的時代,研發鍵盤並開模的周期長、成本高、調節難度大;現在將鍵盤變成軟體之後,鍵盤來自於輸入法提供商,創新成本幾乎為零。

網絡從單域模式拓展到多域,需要實現跨邊界的網絡連接。以前需要昂貴的設備,現在只要一套軟體,大概率還是開源軟體。這讓調節成本變得非常低,並且問題修復和升級不需要涉及硬體的更換。

從單一實驗室到多個實驗室,從一個省份到多個省份,從一個國家到多個國家,需要跨越區域網路成為廣域網絡,新一代的 SDN 就是 SD-WAN,當然還會繼續演進。現在廣域網的路由從數據中心推到移動端,我們在手機和平板電腦上就可以操作,讓網絡更加貼近實際需求,靠的就是軟體定義。

科學研究正在改變

如何能拿到儘量多的數據?要靠物聯網和邊緣計算。對疾病防治及其他科學的研究需要大量數據的輸入,靠人工去收集數據不太現實,靠傳感器收集的方式更加快速、及時。傳感器通過多樣化的連接,到達邊緣端。大量數據通過物聯網平臺接入到資料庫裡的結構化或者非結構化的存儲介質裡,在雲端進行分析,這個過程稱之為「訓練」。訓練的結果,在人工智慧領域叫模型,在科學領域就是「結論」。比如說,分叉樹怎麼分叉的,這個模型有版本,一個版本在迭代中有不同代際,進行版本標註之後,信息下發至邊緣側的終端上,當類似情況再出現時,可以自動發現和識別。

自動化過程變得很關鍵,算力足夠、存儲足夠,最重要的是足夠廉價。我們經常到全國各地出差或者旅遊,會發現疫情防治的檢測繁重、成本高、有效性低,通過人工智慧及大數據的技術方案,成本變得很低,有效性也能得到提升,進一步推動資源投入到更加底層的病毒研究,使模型更精確。

容器提升數據處理能力

通過網絡連接得到的數據,在雲端處理邏輯有很多方式。比如,科研工作者常用的 HPC(高性能計算),屬於傳統的計算方法;還有新興方法,將容器用於對大量無狀態型數據的並髮式處理及流式處理。向雲原生時代過渡,容器屬於計算領域的基礎設施。以前科學家們做數據處理買的就是伺服器,後來是虛擬機,現在基本上是容器。在極短的時間內處理數以億計的數據就是依靠這樣並行的方式,對工作拆分再拆分。

如果科學形成割裂式的研究,一個團隊只做自己的計算集群,得到的結果是沒有意義的。比如,耳垂摺痕和一個基因組 MRPS22 相關,同時這個基因又和心臟病相關的,如果沒有數據交叉與分享,這個體徵和心臟病就不能聯繫起來。科學一定是交叉的,支持科研的雲形態變得至關重要。

雲計算行業的演進過程很簡單。最早是 2004 年 3 月,矽谷創業教父 Paul Graham 提出的「軟體吞噬世界」,軟體帶來了開源。接下來是雲計算,現在是雲原生時代,並行能力變強,加上存儲與網絡的能力,讓數據處理過程變得更快,幫助科研工作者節省大量時間,在數據中找到邏輯和關聯性。

從「軟體定義」到「數字孿生」

要特別提一下「數字孿生」。舉例來說,港口做危險品檢測,之前主要靠經驗數據,是二維的、複雜的。做數字孿生就變得很簡單,港口原封不動地呈現在屏幕上,因為有很多數位化設施和傳感器安裝在港口的角角落落,把港口幾乎 100% 還原在屏幕上,和真實世界一樣,並且每個環節是可編碼的。

將物理事件在線上進行純數位化還原,稱之為數字孿生。這個模式對科學研究非常有效,比如說病毒,無論原宿主還是中間傳播者,通過數字孿生方式做到非常接近真實的還原,追溯效率極高。

開源是全世界的基礎架構技術協作

以前,我們大部分中國人對開源是沒有概念的,但整個計算機行業完全靠開源推動。信息行業作為一個年輕行業,之所以發展快,關鍵在於開源帶來的高協作性。

現在,越來越多人認識到開源的重要性,開源對中國來說更加重要,需要強調的是「開源是全世界的基礎架構技術協作」。因為基礎架構不會存在國別,就像音樂一樣,一定是全球一體化的。所以青雲QingCloud 都是通過全球化運作方式運作所有開源基礎架構技術,前面提到的容器項目 KubeSphere,從第一天就是這個理念。

雲計算對 GDP 具有高度的正向推動,對科學研究亦是如此。實際上在新冠疫情中,我們已經看到很多領域的研究都是大量使用分布式做數據處理,帶來了巨大便利。進入雲原生時代,雲計算作為新基石,一定會發揮更大的作用。

相關焦點

  • All in 雲時代 雲原生如何影響企業IT化進程
    文/時代財經史成超隨著雲計算時代的到來,「雲原生」作為雲計算時代的新興技術理念,以平滑遷移、快速開發以及穩定運維等技術優勢,成為企業「上雲」重要工具,也成為雲計算廠商搶灘市場的籌碼。廣義的雲原生是全面使用雲服務構建的簡稱。狹義來講,雲原生包含以容器、服務網格、微服務、Serverless為代表的雲原生技術。
  • 匯量科技雲計算事業部負責人蔡超:站在雲原生的風口看未來
    >雲原生的話題近幾年異常火熱,2011年網景創始人馬克·安德森曾說,軟體正在吞噬世界,而後續開源、雲計算技術的發展,也正在吞噬著之前的技術成果。雲計算之後,業界公認的下一個時代,是「雲原生」的舞臺。根據CNCF對雲原生的定義,他的本質是充分利用雲計算的優點來構建和運行應用的方法。他的主要特徵包括微服務、容器技術Devops和持續交付。對比傳統軟體開發方法開發出來的應用,雲原生應用可謂是底層邏輯的顛覆式創新,也是未來大勢所趨。
  • 2020,來「盤」|雲計算市場「馬太效應」加劇,雲原生異軍突起
    2020年以來,受新冠肺炎疫情的影響,雲辦公、雲課堂、雲演出、雲展覽……「雲化」生活極大方便了足不出戶的大眾,雲行業也再次走上了風口。相關數據顯示,2020年我國雲計算市場規模預計可超1600億元,同比增長有望達到50%以上。可以預見,在新基建政策推動與市場需求的刺激下,未來幾年雲市場的強勁發展勢頭有望保持下去,迎來黃金髮展期。
  • 擁抱雲原生2.0時代,華為雲&Forrester雲原生白皮書發布
    十年雲計算浪潮下,DevOps、容器、微服務等技術飛速發展,雲原生成為潮流。雲原生2.0是企業智能升級新階段,企業雲化從「ON Cloud」走向「IN Cloud」,成為「新雲原生企業」,新生能力與既有能力立而不破、有機協同,實現資源高效、應用敏捷、業務智能、安全可信。
  • 我國雲計算企業開啟新的徵程
    綜合來看,雲業務的不斷發展會是運營商未來一段時期內所倚重的重要增收來源,但卻要面對巨大的挑戰和競爭,不過運營商可以利用自身網絡資源優勢在5G時代扳回重要一局。 AWS是全球雲計算企業實至名歸的霸主,2020 Q3營收116.01億美元,去年同期89.95億美元,增長29%。預計2020年營收突破450億美元。最近一則消息,對AWS在國內的業務似如晴天霹靂。
  • 新基建下的雲與開源,您想了解的都在這裡 - IT業界_CIO時代網...
    相對於「老基建」,「新基建」更強調新的信息技術在基礎建設中的作用,比如,5G、人工智慧、區塊鏈等等,其中雲計算作為數位化的基石顯得尤為重要。有第三方預估在2020年到2022年,70%的企業會採用混合雲、多雲的架構,並且需要有一致性的跨雲體驗。同時因為5G、IOT技術的採用,50%的應用會位於邊緣計算。預計到2023年,90%的企業新的應用會通過雲原生的方式部署。
  • 解讀容器的 2020:尋找雲原生的下一站
    這種平臺構建這生態的高度集中,與雲原生希望構建的「普惠式」未來,顯然是不相符的。當然,既然技術發展還沒有跟上願景,那麼雲原生社區也就不會停下腳步。再一次的,你很難在傳統的雲計算「三層架構」中找到適合這些產品的位置,無論是 KubeVela 還是 AWS Proton,它們既不是 PaaS,也不是 IaaS,更不是 Kubernetes 的競爭者:它們是雲原生背景下新一代平臺構建體系逐步崛起的萌芽。   4.
  • 順應雲計算變革大勢,騰訊雲全新星星海自研伺服器真正為雲而生
    從雲計算到雲原生,雲計算的加速進化正在給底層計算帶來新需求。今年以來,受疫情影響和新基建的不斷加速推進,越來越多的企業開始選擇上雲,基於雲的各種新產業、新業態、新模式全面爆發。由騰訊研究院聯合騰訊雲發布的《數字中國指數報告(2020)》顯示,2019年,數字中國總指數增幅繼續保持在73.2%的高位,代表著中國數位化水平在持續高速增長;其中,雲計算作為新基建的底座,2019年全國用雲量實現118%的高速增長,2020年上半年全國用雲量也比去年同期提升了78%,大大促進了外賣、信息服務平臺、團購、經營數位化和供應鏈網際網路化的發展。
  • 飛刀:讓數據實時在線 雲原生內存資料庫時代到來
    「內存資料庫進入了新階段,雲原生,持久化,融合計算是三大特徵」,12月13號,阿里雲資料庫負責人李飛飛在雲內存資料庫峰會上表示,經過多年阿里巴巴經濟體內應用的驗證,今年年初上線的阿里雲內存資料庫Tair進入大規模分享技術和硬體紅利給雲上用戶的階段
  • 從開源到開放架構 KubeSphere為雲原生生態發展打底
    從去年到今天,雲原生技術受到了眾多開發者的追捧,不僅網際網路企業在加速探索雲原生應用的落地,一些傳統行業也開始加入其中。可以說,雲原生實現了從概念到落地實踐的轉變。但這並不足以解決企業在混合雲及雲原生應用上的需求。而這些,在KubeSphere 3.0中得到了很好的解決,KubeSphere容器平臺產品負責人於爽表示, KubeSphere 3.0的亮點主要體現在三個方面。首先,多集群管理。多集群管理是混合雲時代K8s必須具備的能力,也是用戶最迫切的需求。
  • 雲原生、微服務、容器、DevOps概念掃盲,資深技術人員請迴避!
    但採用的傳統的雲計算服務模式,即按照傳統模式開發業務系統然後部署到雲上,會使得雲計算按需定製、彈性伸縮等優勢難以充分發揮。為解決以上問題,「雲原生」就此誕生。更具體來說,雲原生涉及一系列技術,典型技術包括以Docker和Kubernetes編排工具為主的容器技術、以Service Mesh為發展方向的微服務技術,以及以快速迭代、持續交付為目的的DevOps(開發運維一體化)技術。關於容器技術。
  • 加速企業數位化創新 阿里雲宣布成立雲原生實戰聯盟
    阿里云云原生應用平臺負責人丁宇新冠疫情期間,雲計算向市場證明了自身價值,如何充分挖掘雲紅利成為企業搶灘數字創新的當務之急。丁宇表示,"雲原生是釋放雲計算紅利的最短路徑,加速企業數位化創新升級。當企業面對業務變化、迭代、創新以及安全挑戰時,雲原生是實現資源高效極致彈性、應用敏捷交付、業務智能化、核心業務安全保障的最佳途徑。"
  • 2020年阿里云云原生市場現狀與發展趨勢分析 雲原生促阿里雙11訂單...
    阿里雲已擁有國內規模最大的雲原生產品家族和開源生態,在Gartner發布的2020年公共雲容器報告中,阿里雲排名全球第一。阿里云云原生構建目標明確,未來阿里云云原生發展可期。雲原生促阿里訂單峰值創新高2020天貓雙11狂歡季成交額為4982億,同比增長26%,再次創下新高。
  • IDC:2021年中國雲計算10大預測
    雲計算在中國市場經過十多年的發展,已經從單純的以滿足資源型需求為主的中心雲基礎設施,發展成為匯聚各類信息技術、覆蓋不同區域部署
  • 騰訊Techo Park開發者大會召開,發布雲原生線路圖、雲梯計劃
    其中包括,面向全球開發者,騰訊雲發布的企業雲原生最佳實踐路線圖、SuperEdge 邊緣容器開源項目、八大雲原生系列新品、以及騰訊雲未來開發者雲梯計劃等,全面釋放雲計算價值,為企業上雲提供全方位支持。騰訊雲副總裁王慧星表示:「數位化技術正在給各行各業帶來巨大的變革,但同時也給作為支撐的雲計算基礎設施提出更高的需求。
  • 雲原生生態大會Day1,網易數帆揭秘雲原生軟體生產力三重境
    陳諤將雲原生軟體生產分為三個階段,包括業務架構微服務化階段、雲計算作業系統階段和應用平臺階段,分別以服務治理與監控體系建立、中間件全面融合Kubernetes、應用視圖與運維視圖分離為重要特徵。他斷言,雲原生的發展已經歷了微服務階段,當前處於雲作業系統階段,而應用平臺階段的發展也已經起步並將是未來的發展方向。雲原生的起點:幹掉微服務架構的複雜性微服務階段技術演進的訴求發端於網際網路/移動網際網路的興盛,明晰於微服務架構的複雜性。網際網路時代,業務方需要在高度的業務複雜性下快速迭代軟體。
  • 盤點雲計算2020:初成的市場格局,網際網路向傳統行業縱深的分水嶺
    綜合來看,雲業務的不斷發展會是運營商未來一段時期內所倚重的重要增收來源,但卻要面對巨大的挑戰和競爭,不過運營商可以利用自身網絡資源優勢在5G時代扳回重要一局。AWS是全球雲計算企業實至名歸的霸主,2020 Q3營收116.01億美元,去年同期89.95億美元,增長29%。預計2020年營收突破450億美元。最近一則消息,對AWS在國內的業務似如晴天霹靂。
  • 騰訊Techo Park開發者大會正式召開,發布雲原生線路圖、雲梯計劃
    包括面向全球開發者,騰訊雲重磅發布的企業雲原生最佳實踐路線圖、SuperEdge 邊緣容器開源項目、八大雲原生系列新品、以及騰訊雲未來開發者雲梯計劃等,全面釋放雲計算價值,為企業上雲提供全方位支持。騰訊雲副總裁王慧星表示:「數位化技術正在給各行各業帶來巨大的變革,但同時也給作為支撐的雲計算基礎設施提出更高的需求。
  • 騰訊Techo Park開發者大會正式召開,重磅發布雲原生線路圖、雲梯計劃
    包括面向全球開發者,騰訊雲重磅發布的企業雲原生最佳實踐路線圖、SuperEdge 邊緣容器開源項目、八大雲原生系列新品、以及騰訊雲未來開發者雲梯計劃等,全面釋放雲計算價值,為企業上雲提供全方位支持。騰訊雲副總裁王慧星表示:「數位化技術正在給各行各業帶來巨大的變革,但同時也給作為支撐的雲計算基礎設施提出更高的需求。
  • 騰訊雲首發雲原生線路圖 王慧星稱將加大基礎設施投入和自研創新力度
    產業還是新興產業都正在加快數位化步伐,數位化技術也越來越成為疫情之下支撐經濟發展的重要力量之一。同時,業界首次提出雲原生系統,包括開發雲原生、計算雲原生、架構雲原生、數據云原生和安全雲原生,用戶在部署時,系統中各模塊既可獨立進行,又會形成串聯或並聯關係。此外,還首次提出雲原生實踐「ISO」,為部署雲原生的企業提供最佳參考。  騰訊雲還重磅升級和發布了八款產品,以成熟穩定的服務方式,推動雲原生新技術能快速落地。