分布式雲算力市場:區塊鏈新動能

2021-01-12 新財富網

移動端和物聯網智能設備的迅猛發展,勢必需要算力從集中向終端分布式部署,最終在中心化和分布式兩者間取得平衡。人工智慧在算法優化階段需要投入大量的算力,Google的明星機器人AlphaGo在擊敗李世石之前,DeepMind團隊使用了48顆TPU對AlphaGo進行了數個月的3000多萬盤對弈訓練。顯然移動時代,大量的數據在本地存儲的模式不在適合。因此,算力一定會隨著行動裝置和物聯網智能設備的發展而向邊緣傾斜,實現算力的分布式部署。服務端與客戶端分離的結構,移動端的分布式機器學習就成為重要的方向,Google在這方面已經獲得產品級突破——Google基於TensorFlow構建了全球首個產品級可擴展的大規模移動端聯合學習系統,目前已在數千萬臺手機上運行。

分布在全球的大量IDC和個人算力節點資源由於網絡和算法瓶頸,其潛能未被充分挖掘。根據IDC和Seagate聯合發布的白皮書,預測到2025年,全球連接數達1000億,為2015年的10倍。全球數據存儲量由2018年的32 ZB擴大5.5倍,達到175 ZB。隨著數據的指數級增長,超大型數據中心作為數據的物理承載,成為信息基建的重要組成部分——同時,遠離網絡入口的IDC和分布在網絡裡的大量計算節點成為一個新的市場主角。過去由於存在網絡時延以及算法效率瓶頸,網際網路巨頭建立集中的、具有網絡出口優勢的數據中心,提供網際網路服務。而如今,在數據計算和存儲等業務領域,無論是大型的IDC還是更加分散的個人節點算力資源,都有極大的待挖掘的潛能未被激發。

以Google聯合學習算法為典型,分布式AI使得移動端分布式機器學習成為現實,分布式算力的潛力被激活。今年2月谷歌宣布實現了全球首個產品級的超大規模移動端分布式機器學習系統,目前已經能夠在數千萬部手機上運行。谷歌基於TensorFlow構建了全球首個產品級可擴展的大規模移動端聯合學習系統,目前已在數千萬臺手機上運行。這些手機能協同學習一個共享模型,所有的訓練數據都留在設備端,確保了個人數據安全,手機端智能應用也能更快更低能耗更新。研究人員表示,該系統有望在幾十億部手機上運行。聯合學習能產生更智能的模型,更低的延時和更少的功耗,同時確保用戶的隱私。這一切都依賴於聯合學習(FL)方法,聯合學習是一種分布式機器學習方法,可以對保存在行動電話等設備上的大量分散數據進行訓練,是「將代碼引入數據,而不是將數據引入代碼」的更加通用化的一個實現,並解決了關於隱私、所有權和數據位置等基本問題。

分布式聯合機器學習使得分散算力可以聯合執行算法任務,並在大規模的分散設備部署,有效突破通信瓶頸,實現分布式算力的聯合協同完成數據計算任務。指數級增長的全球終端節點設備使得算力大量分散在網絡不同節點,而GPU計算性能的提升使得每一個設備都是不可忽視的算力資源。網絡快速增長的數據量是一個價值潛力巨大的資源池,如果能夠將分布式算力、大規模數據和算法結合起來,將創造極具價值的服務市場。

網絡算力資源不僅來自於企業自身、大型雲計算公司,更廣泛的分布式雲算力資源市場有待進一步挖掘。傳統的網際網路巨頭掌握大量的數據、算法和算力資源,閒置網絡算力資源是一種浪費,彈性復用的想法下誕生了雲計算服務。亞馬遜、阿里、騰訊和華為等傳統IT巨頭在雲計算服務的投入使得這些公司獲得了不小的回報。但更為廣泛閒置的是雲算力——畢竟依靠中心化網際網路巨頭集中投入的計算資源只是網絡算力的一部分,我們不應該忽視更為廣泛的分布式節點的計算資源,這些節點可能來自於個人、小團體或其他無意成立專門的部門輸出雲計算服務的公司。大型雲計算平臺的模式仍是是中心化的運作,在商業拓展和數據隱私方面都存在一定的瓶頸。構建一個去中心化的雲算力市場,既保護節點的隱私又能是的雲算力獲得應有的市場回報,是雲算力市場值得挖掘的潛力。

網際網路巨頭的雲計算業務主要以消費網際網路公司為主,更關注實時性消費級業務,雲算力有望成為新崛起的藍海市場。從2018年雲計算市場來看,主要集中在亞馬遜、微軟、谷歌、阿里雲與IBM手中,Cannlys數據顯示,上述五大巨頭佔全球65%市場份額,其中亞馬遜AWS佔全球31.7%市場份額,規模高達254億美元。排在第二的是微軟Azure,營收規模為135億美元,佔全球份額16.8%。亞馬遜AWS業務的頭部客戶主要是蘋果、Adobe、Snap、Lyft和Pinterest等消費網際網路公司,其他雲計算巨頭的客戶同樣集中在社交、娛樂等領域,對實時性交互要求較高。

對網絡實時性不敏感的大規模數據計算和存儲業務,雲算力有望打造藍海市場。基於網際網路大致可以分為三類:一類是實時性強的業務,用戶需要流暢的訪問和瀏覽,比如網頁瀏覽、視頻娛樂、支付等等;一類是需要大規模數據計算的業務,這類業務並不需要太強的實時性,但需要強大的算力資源做支撐,進行大工作量的數據計算,這類業務以加密貨幣挖礦、科學計算等等為代表;還有一類是對實時性和算力要求都不高的冷數據業務,比如存儲備份等。其中對後面兩類業務場景是雲算力最理想的市場。這類業務平臺目前處於發展的初期,典型的項目如BOINC,(全稱Berkeley Open Infrastructure for NetworkComputing,伯克利開放式網絡計算平臺)誕生於2003年,是全球最早、最知名、用戶量最大的分布式計算網絡。目前,全球大約40個科學項目正在使用BOINC。整個網絡包含超過15萬名志願者和65萬臺計算機。這些計算機每秒產生30「PetaFLOPS」的計算能力,或30億次浮點算術運算,與世界上排名第二的超級計算機相當。如果將Folding@Home項目算力計入,BOINC所有志願者的計算量比任何超級計算機都要大。對於大規模數據計算,對時延並不敏感,可以充分調動分布式雲算力,實現算力提供者的資源復用和數據計算的成本優先的雙贏局面。

加密數字貨幣挖礦為雲算力率先開闢了一個快速增長的市場。以加密數字貨幣挖礦為例,經歷數字貨幣市場熊市背景下,比特幣全網算力接近歷史新高。這些算力背後都是分布在全球各地的礦場和礦機,大部分礦場對IT環境和網絡環境要求極低,挖礦的主要關注點和成本就是電力。調動分布在全球的雲算力——無論是大型IDC還是個人節點,都可以為各類數據計算提供保護數據隱私、高效的服務。加密數字貨幣挖礦為雲算力率先開闢了一個快速增長的市場,具備一定的示範效應。將挖礦中的算力消耗引向數據因業務計算,改進共識機制的算法,那麼等於將「挖礦」拓展到數字貨幣外更多的場景和領域——雲算力市場將是一個更大規模更廣泛的挖礦市場。

相關焦點

  • RMG集團打造基於區塊鏈的分布式超級生態市場
    傳統行業的區塊鏈破冰之行  RMG集團斥資打造的RMG鏈是利用區塊鏈底層技術,搭建全新數字信用體系,實現為用戶提供,點對點金融交易的數字信息服務平臺。針對傳統網際網路金融的一場創新性革命是要從根本上,解決借現金流生態裡不良信用體系的惡性循環,RMG集團將建立一個真正能讓萬眾用戶共同參與的點對點金融生態,實現資金快速、安全、良性的循環。
  • 前瞻區塊鏈產業全球周報第48期:杭州將打造成「中國區塊鏈之都...
    浙江發布新基建三年行動計劃,杭州將打造成「中國區塊鏈之都」近期,《浙江省新型基礎設施建設三年行動計劃》(以下簡稱《行動計劃》)正式發布。未來三年內浙江省將完成新基建投資近 1 萬億元,重點聚焦完成四項建設目標。
  • 全球新冠肺炎疫情如何終結區塊鏈市場波動
    IT供應商試圖說服首席信息官和首席技術官他們的區塊鏈相關解決方案受到了市場觀念明顯轉變的挑戰,分布式帳本技術的炒作達到頂峰,因此上行增長潛力大幅下降。 區塊鏈市場發展 這明顯抑制了區塊鏈在其他市場的整體採用,許多初創公司紛紛倒閉,不同的垂直企業明顯缺乏市場採用。此外,新冠疫情的爆發對新區塊鏈應用的投資機會和需求產生了重大影響。 也就是說,根據英國保險協會的評估,這種收入的大幅下降可能是短暫的。
  • 區塊新看點:什麼是分布式帳本技術(DLT)?
    分布式帳本技術(DLT)是世界上增長最快的技術領域之一。儘管大多數人認為區塊鏈和DLT是可互換的,但事實並非如此。實際上,區塊鏈只是DLT領域的一小部分。重要的是,分布式帳本是一個資料庫,它在網絡的多個點之間重複存在。顧名思義,這些網絡的主要特徵是分散化。因此,所有DLT都包含運行分布式網絡所需的技術基礎結構和相關協議。
  • 究竟什麼是區塊鏈?這篇文章說透了
    如果人類能解決互相信任的問題,那麼人類將完成一次非常大的跨越,步入一個更高階段的文明,而現在區塊鏈的發展,已經逐漸為這個方向打下基礎,人類正在進入「智能合約」時代!人是善變的,人性尤其複雜,而數據卻是不會撒謊的,區塊鏈正在使我們從個人信任、制度信任進入到數據信任的時代。1、它的價值在哪裡呢?
  • 什麼是區塊鏈分布式存儲、IPFS挖礦分布式存儲的商機與Filecoin...
    什麼是恆訊雲分布式存儲?對於計算機系統,計算和存儲是非常重要的連結。可以這樣理解,分布式計算解決了數據計算成本的問題,每個人都可以幫助進行計算。雖然分布式存儲解決了數據安全性問題,但每個人都可以幫助保持帳戶在一起。
  • 2020杭州區塊鏈國際周圓滿閉幕,這一份金句集錦不能錯過
    ,此次舉辦「2020杭州區塊鏈國際周」活動,是未來科技城響應中央和省市區號召,搶抓先發優勢,聚焦創新驅動,培育未來產業,抓推動新基建縱深開展的重要舉措。我們也將紮實推進區塊鏈技術和產業的融合發展,將區塊鏈產業培育成為重要的未來產業。 中國著名經濟學家朱嘉明:產業新浪潮具有產業硬科技化、產業數位化和產業區塊鏈三大新特點 產業新浪潮有哪些新特點,我概括三個方面:1.產業硬科技化。2.產業數位化。3.產業區塊鏈。
  • ipfs分布式存儲和區塊鏈中的礦工主要區別是什麼?
    ipfs分布式存儲礦工和區塊鏈中的礦工些什麼人?他們在挖什麼?說到挖礦和礦工,我們首先想到的是煤礦工人。這些挖煤礦工他們渾身沾滿煤渣,拿著工具在煤坑開採,日夜不歇。但自從區塊鏈誕生以來,礦工不再僅僅是煤礦工人的稱呼了。這些礦工的身份對外界來說相當神秘。
  • 區塊鏈系統中的集中式分布式和分散式的區別是什麼
    打開APP 區塊鏈系統中的集中式分布式和分散式的區別是什麼 發表於 2019-08-12 09:46:22 聽到「區塊鏈」這個詞,你的直覺是什麼?
  • 全球最大算力網絡BOINC將區塊鏈化,它是比特幣分布式計算的鼻祖 |...
    自比特幣引發的區塊鏈技術浪潮興起以來,不同領域都在陸續出現新的區塊鏈應用範例。5月16日,鏈得得(微信ID:ChainDD)獨家獲悉,全球最大的算力網絡平臺BOINC將開啟其全新的底層區塊鏈改造之旅,一旦成型,這可能會是2019年全球最大的區塊鏈應用項目。
  • 「從零學習區塊鏈之12」區塊鏈世界,你不可不知的四大核心技術
    從2013年進入中國市場開始,區塊鏈行業在市場與政策演變起伏中,逐漸趨於成熟化。如今,區塊鏈在中國早已走出理論階段邁向實踐區域,從虛擬經濟跨步實體經濟之中。近十年來,區塊鏈技術正在與人工智慧、大數據、物聯網等前沿技術一起引領著全球新一輪技術變革和產業變革,諮詢機構麥肯錫甚至將其稱之為繼蒸汽機、電力、信息和網際網路科技之後,最具潛力觸發第五輪顛覆性革命浪潮的核心技術。作為比特幣的底層開發技術,區塊鏈獲得了長足的進步,分布式帳本、共識機制、密碼學和智能合約四大核心也在不斷的迭代完善。
  • 區塊鏈「加持」Cat.1:這是什麼物聯網新業態?
    Gartner的一項調查顯示,美國75%的物聯網技術已經採用或計劃在2020年底前採用區塊鏈技術。在中國這個物聯網規模全球最大的市場,借力政策的東風,物聯網與區塊鏈的結合將更具想像力。本次發布的Cat.1區塊鏈晶片和模組,有望為備受壓抑的物聯網新業態,提供一波起飛的新動能。
  • 關於區塊鏈的普遍誤解:狹義區塊鏈和廣義區塊鏈的區別
    在眾多討論中,我們發現人們對於區塊鏈的理解確實存在許多誤區,往往將區塊鏈具象成分布式帳本、智能合約、密碼學這 狹義區塊鏈和廣義區塊鏈的區別其實從本質上來說,區塊鏈是一種底層基礎架構,它的應用範圍不僅局限於金融行業,也可以在其他行業。在眾多討論中,我們發現人們對於區塊鏈的理解確實存在許多誤區,往往將區塊鏈具象成分布式帳本、智能合約、密碼學這些具體的技術和概念。 區塊鏈其實並不神秘,小到日常生活,大到管理,它其實真實存在於我們生活的方方面面。區塊鏈本質上就是一種多方參與的共識系統,它是開放架構的強安全機制。
  • 你對那種力量一無所知 致敬區塊鏈的新世界
    那麼這些跟區塊鏈有什麼關係呢?簡單的說,區塊鏈是一系列分布式算法,可以用於建立分布式帳本,並在一個有不可信節點的網絡裡達成分布式共識。利用區塊鏈技術我們可以發行虛擬貨幣(比特幣是最早也是市值最大的虛擬貨幣),運行智能合約,並且支持各種各樣的分布式應用。如果你認為比特幣是泡沫,虛擬幣可能不是泡沫。
  • 趣鏈科技成為中國市場信息調查業協會區塊鏈委員會常務理事單位
    近日,杭州趣鏈科技有限公司加入中國市場信息調查業協會區塊鏈委員會,成為協會常務理事單位。中國市場信息調查業協會區塊鏈委員會秘書長黃永彬先生與趣鏈研究院院長陳曉豐先生就促進「區塊鏈+新基建」在金融、政務、司法等行業應用落地,推動區塊鏈行業健康快速發展達成共識。
  • BEYOND-2020區塊鏈產業大會暨年度頒獎盛典圓滿落幕
    他表示,本次峰會是獵雲一年一度的區塊鏈產業大會,聚集了產業區塊鏈、新基建融合、數字金融、數字礦業、分布式存儲等幾大方向,邀請了很多重磅嘉賓,希望給各位觀眾帶來一場思想盛宴。爆炸的關鍵毫無疑問是技術的爆炸,區塊鏈是其中爆炸的一個爆心。現在的浪潮是財富的數位化,未來萬物互聯、萬物交易將基於區塊鏈實現,區塊鏈分布式存儲將扮演非常關鍵的地位。火幣大學校長於佳寧隨後,阿里雲新金融事業部數字金融解決方案專家周銘表示,區塊鏈可以讓雲上的數據變得更加可信、安全、透明。
  • 一文看懂區塊鏈:具有兩大核心性質、三大關鍵機制的分布式資料庫
    中共中央總書記習近平在主持學習時強調,區塊鏈技術的集成應用在新的技術革新和產業變革中起著重要作用。我們要把區塊鏈作為核心技術自主創新的重要突破口,明確主攻方向,加大投入力度,著力攻克一批關鍵核心技術,加快推動區塊鏈技術和產業創新發展。
  • Celer Network宣布與Conflux合作共同打造下一代區塊鏈分布式系統
    打開APP Celer Network宣布與Conflux合作共同打造下一代區塊鏈分布式系統 發表於 2019-05-17 11:18:06
  • 光觸媒+區塊鏈誕生PHT光觸媒區塊鏈生態模型
    金融機構開始意識到,作為區塊鏈運行的底層支撐技術—區塊鏈實際上是一種極其巧妙的分布式共享帳本技術,對金融乃至各行各業帶來的潛在影響甚至可能不亞於複式記帳法的發明。2014年前後,業界開始認識到區塊鏈技術的重要價值,並通過智能合約技術將其用於數字貨幣外的分布式應用領域。
  • 悅宜盈礦:雲算力挖礦有著更靈活的選擇
    因此,通過購買雲算力合約的方式獲得比特幣,成為很多礦工新的選擇,因為這樣會幫助準礦工們節省大量的入門時間,省去了購買礦機、選擇礦場、運營維護等環節。  「雲算力」簡要來說是指礦場運營方將礦機的算力分散出租的一種產品。「T」是雲算力的基本單位,根據比特幣全網算力可以推算出每T算力每天產出的數字貨幣,將數字貨幣換算成為法幣扣除成本後就是雲算力礦工的收益。