從裡德-所羅門算法到Flex EC,數學是華為雲真正的「硬核」

2020-12-14 donews

「宇宙之大,粒子之微,火箭之速,化工之巧,地球之變,生物之謎,日用之繁,無處不用到數學」

----華羅庚

2012年,一本由吳軍博士編著的《數學之美》暢銷中國,書中將高深的數學原理講得更加通俗易懂,讓非專業讀者也能領略數學的魅力。吳軍博士在書中提到知名的計算機科學家Randy Katz發明了RAID(計算機獨立磁碟冗餘陣列)系統,而正是RAID技術奠定了商用存儲系統高性能高可靠的根基。RAID的核心思想就是使用EC(Erasure Code)糾錯碼來靈活地配置數據冗餘度,在保持存儲系統高性能高可靠的基礎上,提供比多副本技術更優的存儲利用率。

一.Erasure Code和Reed-SolomonCodes:

隨著雲計算領域的發展,雲端算力成指數型增長,5G和AI應用的崛起,海量的數據上雲已經是不可逆的趨勢,而雲存儲系統所管理的數據已經從傳統企業存儲TB級邁向了EB級(1EB = 1 000 000 TB),在雲存儲發展初期,受限於技術能力,各雲存儲廠商主要沿用多副本機制(通常是3副本),導致雲存儲系統的空間利用率只有33%,數據存儲成本高居不下,而後業界通常採用EC方式來降低成本。

傳統的的EC(Erasure Code) 糾錯碼使用的是裡德-所羅門碼(Reed-Solomon Codes,簡稱RS Codes),其在雲存儲系統中應用方式為:

把雲存儲(主要是公有雲對象存儲系統)的所有存儲單元(單硬碟或存儲節點)視為一個Erasure Code存儲池,可以將對象按照N+M的方式存儲(N為對象的數據分片,M為校驗片),它將對象切分成N個數據片,M個校驗片。以6+3的EC為例,空間利用率可以達到67%,更大比例的N+M將會具有更高的空間利用率,在成本上非常具有競爭力,同時,系統的吞吐量較3副本(或多副本)有較大的提升。因此,EC技術在雲存儲領域得到大規模的應用。

但是傳統的EC機制在公有雲場景下,面臨著以下諸多問題:

1、在對象大小不確定的場景下,需進行補零和填充計算,浪費存儲空間,成本較高。

2、如不補零, 需進行多次覆蓋寫以保證EC成員組的原子性。會導致系統複雜度提升,吞吐量降低,需配置更快的CPU和更大的網絡帶寬,存儲成本增加。

3、此外,還有一種增加Cache-Tier的方式以避免EC時單元不滿的問題:先以3副本的形式寫入高性能的SSD Tier,湊滿EC單元後再進行計算和搬移至HDD Tier。這種off-line的EC方式,其缺點有:

a)額外的SSDTier,成本高;

b)持續寫入對SSD可靠性的挑戰;

c)數據搬移消耗大量內部帶寬。

4、傳統的EC在大比例N+M(如20+3)下,如果出現節點/介質故障,就需要讀取大量數據片和校驗片進行數據重構,會導致系統性能陡降。

基於以上,我們可以知道,衡量一個使用EC的數據存儲系統的優劣可以通過以下幾個維度來綜合考慮:

1、高效的空間利用率:一個系統能夠穩定地提供多少空間利用率,在給定的N+M,空間利用率恆定。

2、高效的寫入性能:無論業務層如何變化,對象的大小如何變化,應該有恆定的寫入帶寬、IOPS等。

3、高效的重構性能:儘可能少的系統重構IO帶寬,儘可能少的佔用跨AZ/DC的網絡帶寬。

二.華為雲「On-line Streaming Erasure Coding」和「Flex Erasure Coding」:

華為雲OBS服務通過創新的「On-line Streaming Erasure Coding」和」 Flex Erasure Coding」提供on-line的Erasure Coding存儲機制,在公有雲對象存儲系統中解決了上述的幾個關鍵問題。

1、On-line Streaming Erasure Coding

如下圖所示,整系統的核心部件是Streaming ErasureCoding Unit, 多個對象的數據可以流入處理單元,由其進行encoding操作。通過多個對象數據的combine,可以消除對象不滿時,數據寫入補零計算浪費的空間。

此過程不需要複雜低效的分布式事務,也不需要讀取已經寫入的數據。通過這個Streaming ErasureCoding Unit,提供on-line的EC機制,避免內部的數據搬遷動作。

2、Flex Erasure Coding算法:

華為雲通過應用全新的Flex Erasure Coding編解碼算法,在保持數據重構效率的基礎上,重構帶寬需求大幅度降低,極大地提升了故障時數據重構性能,有效地縮短了重構用時,保證數據的持久度和系統吞吐量。

通過上面2個自研算法,華為雲OBS單流帶寬達到業界友商的3~5倍,超過300MB/S,超千萬並發連結能力,並且在高業務負荷下仍然保持穩定低時延,整體性能和空間利用率相比多副本或傳統EC技術大幅提升:

在大數據應用場景,由於寫放大極具減少,單流帶寬大幅提升,大數據對象case下性能倍數提升,用戶能更快地獲取數據分析結果。

在IOT場景,海量的IOT設備都需要實時向雲端進行數據傳輸,而OBS超千萬的並發能力,能支撐數億IOT設備的連接訪問。

在視頻應用(視頻監控,直播和點播)場景,華為雲OBS的穩定低時延支撐高畫質視頻快速播放且無卡頓。

在更多的應用場景中,華為雲OBS 用同樣出色的表現證明:數學算法的優化能讓軟體產品能力再次領先業界一個時代。

三.軟體的靈魂是算法,算法的硬核是數學

「我認為用物理方法來解決問題已趨近飽和,要重視數學方法的突起。」——任正非

正是由於華為在數學領域長期持續的投入,讓其在雲+AI+5G時代的產品具有領先的競爭力。

早在1999年,華為就在俄羅斯成立了專門的算法研究所,基於俄羅斯科學家的數學能力,連續突破了3G/4G行動網路技術特殊瓶頸,使華為成為全球4G行動網路設備的領導者。而在2016年,華為再次宣布在法國設立歐洲第二個數學研究所,繼續加強基礎科學研究。

除了在俄羅斯和法國建立的數學研究所,華為還積極參與並投資包括中國在內的全球數學家的科研項目,積極推動數學研究和數學成果在產業的落地。在華為的長期支持下,Erdal Arikan教授在Polar碼上取得了多項突破,最終成為5G控制信道編碼標準,推動了通信技術的發展。

而正是基於數學和其他基礎科學研究成果在晶片設計、集成電路開發、軟體算法和質量管理等方面的應用,華為才能成為ICT行業的長跑選手,並且能在外部環境風雲變幻的當下,保持著持續前行的動力。

華為曾在其官方媒體上發表了《基礎研究與基礎教育是產業誕生和振興的根本》(連結)的文章,以官宣的方式闡述了基礎研究特別是數學研究對產業發展的貢獻,更是提出了「數學是開啟一切的工具」的論斷。

數學,是華為繼續前行指路燈,也是華為雲真正的「硬核」實力。


相關焦點

  • 從裡德-所羅門算法到Flex EC 數學是華為雲真正的「硬核」
    圖1:裡德-所羅門碼數學公式傳統的的EC(Erasure Code) 糾錯碼使用的是裡德-所羅門碼(Reed-Solomon Codes,簡稱RS Codes),其在雲存儲系統中應用方式為:把雲存儲(主要是公有雲對象存儲系統)的所有存儲單元(單硬碟或存儲節點)視為一個Erasure
  • 華為招兵買馬強化AI藥物研發?業內人士:符合華為硬核科技定位
    日前華為雲官網顯示正在招聘藥物研發算法工程師,崗位職責是從事應用計算化學及計算機輔助藥物設計(CADD)方法進行小分子藥物設計工作,並開發 AI 輔助藥物研發的深度學習算法,這從側面反映出華為正在加強 AI 藥物研發領域的布局。
  • 華為雲資料庫多重防護硬核保證數據安全
    華為雲資料庫多重防護硬核保證數據安全 最近有個關於刪庫的帖子在網上引發熱議,資料庫的安全可靠性又一次成為很多企業管理者的擔憂,資料庫安全和備份機制再次成為行業關注的重點。那麼,刪庫的悲劇是否可以避免?刪了資料庫可以恢復如初嗎?
  • ec 文章 - ec_電子產品世界
    ec 文章
  • EC編碼的數學原理及LRC編碼簡介
    首先我們先回顧下傳統的ec編碼的數學原理。ec編碼背後的數學原理這裡以ec 4+2為例,來說明下ec編碼的數學原理,ec 4+2是把原始的數據切分成4塊,然後再生成2塊多餘的校驗塊,允許最多兩塊數據的丟失,數學公式如下:如上面的公式所示,原始的數據切分成4塊數據d1、d2、d3、d4之後,經過左邊的矩陣相乘之後,就得到了6份數據(4份原始的數據和兩份編碼塊)。
  • 這是一個關於「華為與數學」的故事
    從追趕到5G的引領,任正非將之歸功於「數學的力量」。任正非表示, 「在過去的20多年,凡是我們在數學和算法上投資比較大的,有專門的團隊在做工作的,我們在這個領域的產品在全球都逐漸走向了領先;凡是不重視在數學和算法上投資的,這些產品目前來看都是落後的。」而事實上,華為的崛起,也和數學有關。
  • 華為雲存儲All-Flash戰略:成就不凡的微秒時代
    近日,在「成都·選擇不凡-華為雲城市峰會2019」上,華為雲正式發布存儲All-Flash戰略,並推出戰略落地的首款產品——全新一代極速IO雲硬碟,這標誌著華為雲在存儲這項基礎雲服務上實現了大幅的性能提升,率先引領雲上存儲從毫秒進入到微秒時代。
  • 華為雲NLP算法專家:全面解讀文本情感分析任務
    在此文中,華為雲 NLP 算法專家李明磊為我們介紹了情感分析的概念以及華為雲在情感分析方面的實踐和進展。 基本概念 為什麼:隨著移動網際網路的普及,網民已經習慣於在網絡上表達意見和建議,比如電商網站上對商品的評價、社交媒體中對品牌、產品、政策的評價等等。
  • 看得見的智能攝像頭和看不見的華為雲HiLens平臺
    當偵測到移動物體時,該攝像頭可以及時推送預警,並追蹤物體的運動軌跡,可以讓用戶及時掌握物體運動狀態。除此之外,當偵測到寶寶哭聲時,該攝像頭也會第一時間推送消息預警。事實上,人形偵測、哭聲檢測、手勢識別等視覺AI功能在多年前便已經出現,卻遲遲沒有相關產品應用,主要是因為兩大瓶頸:硬體水平無法跟上AI算力要求,算法精度不足導致其被束之高閣。
  • 告別消費主義的雙12,是華為雲12.12會員節真正的意義
    看起來距離數位化和智能化很遠的農業,也在嘗試利用華為雲的AI能力來低成本、高效率地實現轉型。慧雲信息打造的農業智能生產平臺——耘眼,使用華為雲AI開發平臺ModelArts,通過其自帶的優化模型算法,解決了算法優化問題,同時通過自動標註功能,只標註少量圖片就能訓練出初級模型,再根據初級模型自動標註一部分圖片,反覆迭代直至標註完成,直接降低了人力標註成本。
  • 專訪華為雲業務總裁鄭葉來:數位化轉型是產業經濟穩定的關鍵
    新一代人工智慧將把知識驅動和數據驅動結合起來,通過同時利用知識、數據、算法和算力等四個要素,構造更強大的「四位一體」AI。鄭葉來強調,站在政企智能化升級的重要關口,華為雲的目標是要構建智能世界的「黑土地」,通過技術創新助力政企行業夥伴輕鬆跨越技術鴻溝,幫助政企客戶更好地聚焦在業務創新上。
  • 華為雲ModelArts Pro,簡化行業AI落地
    (原標題:華為雲ModelArts Pro,簡化行業AI落地)
  • 華為的崛起,依靠俄羅斯的數學,網友:國內的數學成了腦筋急轉彎
    華為正是看中了俄羅斯的數學人才,1999年便在俄羅斯的莫斯科建立一個研究所,這個研究所的主要研究方向是算法。這個算法說簡單點就是:之前,不同的網絡制式,算法是不一樣。比如最先開始的2g網絡手機,需要的是2g的算法;後來的3g網絡手機需要3g的算法。如果算法沒有實現突破的話,只要手機網絡更新換代,下面的基站也要隨之更改,耗資巨大,一般的國家投資不起。
  • 江蘇省人工智慧學會與華為終端雲服務聯合開啟DigiX極客校園大賽
    3月24日,江蘇省人工智慧學會與華為終端雲服務聯合舉辦的DigiX極客校園大賽兩項賽事——人工智慧校園創新大賽及算法精英大賽於南京大學啟動,此次賽事將加速中國AI產業產學研一體化的進程,將商業實戰經驗和專業技術輸送到校園之中,為廣大年輕高校學子提供創新沃土,構建校園創新生態。
  • 華為雲餘虎:雲服務是智能升級的必由之路
    2020年5月20日華為全球分析師大會上,華為雲首席戰略官餘虎做了《華為雲:賦能應用,使能數據,做智能世界的黑土地》主題演講,介紹華為雲戰略和業務發展情況。 華為雲Stack, 加速政企智能升級針對政企客戶智能升級的關鍵需求,華為雲打造了全新的華為雲Stack——位於政企客戶本地數據中心的雲基礎設施,滿足客戶在創新、智能、數據、安全、應用生態方面的一系列訴求。
  • 華為布局AI新藥研發 招聘藥物研發算法工程師
    日前,華為雲正在招聘機器學方向的藥物研發算法工程師,邀請醫藥研發方面的博士加盟,作為一家通訊技術公司,華為此舉被視為進軍醫藥產業的前端領域。新藥研發歷來是九死一生,據國家藥監局官網和各藥企官網發布數據的不完全統計,截至12月6日,2020年大約有43個新藥在中國大陸獲批上市,外資藥廠依舊是絕對主力。
  • 2019華為雲將讓你看到不一樣的智能雲
    上周,華為雲又將AI的熱力延續到2019年伊始,在北京798工廠舉辦的「華為雲普惠AI年度峰會」不僅空間設計未來感十足,而且吸引了眾多合作夥伴和客戶到場。+智能正是用數學家的算法與行業應用相結合,從而迎接更美好的未來。」他還指出,+智能這些通用技術將會改變行業的未來,而華為雲的出發點非常簡單,要麼改變用戶的生產效率,提升產品質量,要麼幫助用戶節省成本,這二者都是用戶普遍追求的,所以華為雲和用戶往往一拍即合。
  • 城市大腦獨樹一幟,阿里雲比騰訊雲華為雲厲害在哪?
    城市大腦是阿里雲在2016年發布的智能城市解決方案,你也許感到陌生,但很多人其實已經享受到它帶來的便捷。阿里雲佔下這個市場後,廣受歡迎,一時間騰訊華為紛紛跟進,都想分一杯羹。但細觀浪潮,不難發現阿里雲、騰訊、華為諸家中,阿里雲依舊是行業標杆,而華為雲和騰訊雲有不免有舊瓶裝新酒之嫌。
  • 微秒級數據處理,華為雲存儲的「快」節奏
    華為公司副總裁、華為雲業務總裁鄭葉來就在這次大會上,華為也發布了雲存儲All-Flash戰略,並推出戰略落地的首個產品——全新一代極速IO雲硬碟,這標誌著華為推動著雲存儲正式從毫秒走向微秒時代。微秒這個名詞,相信大多數人都沒有什麼概念。
  • 尋路者華為雲:在產業AI迷宮裡走直線
    其中提出了「全棧全場景」的華為雲,就是一個典型的「尋路者」。在過去一年中,華為雲用昇騰系列處理器搭建的底盤,融匯輸出的AI、計算、存儲能力,以及針對開發者打造的一站式AI開發與管理平臺ModeArts和AI開發應用平臺HiLens。似乎正在從混亂的迷牆與拐角中尋找到一條通向產業未來的通路。