微秒級數據處理,華為雲存儲的「快」節奏

2021-01-17 IT大嘴巴

「以前(人家總以為)我們自己寫膠片吹吹牛,現在不用吹,大家都知道我們是真牛了」,華為公司副總裁、華為雲業務總裁鄭葉來在日前成都舉行的「成都·選擇不凡 華為雲城市峰會2019」上表示。

 

 華為公司副總裁、華為雲業務總裁鄭葉來


就在這次大會上,華為也發布了雲存儲All-Flash戰略,並推出戰略落地的首個產品——全新一代極速IO雲硬碟,這標誌著華為推動著雲存儲正式從毫秒走向微秒時代。

 


微秒這個名詞,相信大多數人都沒有什麼概念。長久以來,受限於網絡和存儲的因素,微秒級時延或者響應時間在實際應用中是可望不可及。但是,伴隨著5G等新興技術的發展,越來越多的智能化應用都開始湧現出來——比如今年3月,中國人民解放軍總醫院的醫生就在遠隔3000公裡外操作手術器械,完成全國首例基於5G的遠程帕金森病「腦起搏器」植入手術。

 

這項成就得益於5G網絡高速率、大帶寬、低時延特性。既然網絡已經能夠提供微秒級的應用,那麼對於存儲介質來說也必須迎合這種發展趨勢,才能夠最大限度地發揮系統效能。於是,才有了剛剛我們介紹的華為雲存儲All-Flash戰略,它的出現將傳統意義上的「慢車」——存儲和網絡大大提速,並與計算一起,構成了數據處理邁向智能時代的「三駕馬車」。

 


「從毫秒進入微秒時代,數據中心客戶主要面臨兩大時延瓶頸:一方面是傳統軟硬體協同,特別是網絡傳輸的時延瓶頸;另一方面則是傳統HDD介質的物理能力瓶頸。」華為雲CTO張宇昕介紹道。「在我們印象中,網絡時延一直是數據處理能力的「硬傷」,這期間哪怕是瞬間的等待也會帶來糟糕的體驗。另一方面,HDD存儲介質的發展的確遇到了越來越多的問題。如今伴隨著16TB容量硬碟的出現,HDD的響應時間依然是大眾吐槽的重點。」

 

面對大量客戶的需求與痛點,華為雲也從多個層面著手解決。針對系統層級的時延,華為雲通過軟硬體架構和數據中心架構的優化,實現了極簡網絡,也實現了多核免鎖並發,使得軟體的時延和網絡的時延降到了極低。所以整個數據處理IO從進來到出去,能實現50μs -100μs的穩定時延。而關於存儲介質時延問題,華為雲採用Flash替代掉了HDD,將介質時延從原本四毫秒左右縮短到幾十微秒的級別。

 

當然這並不是簡單的替換就可以的。俗話說好馬配好鞍,有了高速Flash介質,還需要對軟體進行優化才能讓介質性能得到最大限度的發揮。同時,儘可能的降低時延,達到與網絡時延的一致性,需要徹底解決硬體層面的瓶頸問題。



「傳統硬碟是物理碟片,在提供算法的時候需要考慮到大圈小圈的問題,所以之前的算法都是對於物理磁頭的讀寫性能進行優化,隨機讀寫方面的性能就明顯低得多。」張宇昕說,「更換為Flash介質之後就完全不存在這種問題,隨機讀寫的性能表現非常不錯。但是對於Flash來說,我們需要保證不在某一個位置持續、頻繁地讀寫,所以在算法上也要進行調整。」而對於這一點,華為雲的工程師們進行了大量、複雜的算法優化工作,在提升性能、降低時延的同時,也保證了Flash介質的壽命和應用可靠性。

 

我們正處於數據爆炸的時代,在邁向智能化的道路上,數據成為了我們賴以生存的「食糧」,而掌握了數據應用,就能掌握未來的智能時代。據華為全球產業展望(GIV)報告預計,2025年的全球年數據增量將提升至180ZB,但是,目前企業數據利用率卻只有10%,數據價值沒有得到充分釋放。而如果想讓數據發揮價值,則需要從多個方面採取措施,為此華為本次也帶來了全新的「數據底座」概念。

 


華為雲指出,制約雲計算為智能時代更好地服務的瓶頸就在「最後一公裡」。在雲端,「最後一公裡」就是數據通過服務端軟體、網絡、存儲伺服器,最終抵達介質的這一過程。


為了實現「最後一公裡」的百微秒級突破,華為雲從存儲引擎到架構,從自研晶片到算法優化,再到最終的AI加持,進行了大量的工作。這其中,AI應用是最引人期待的內容,也是華為雲存儲得以持續發展的源動力之一。按照張宇昕的話說,華為雲存儲可以做到「越用越快」,也成為了重續「摩爾定律」的重要保障。那麼問題來了,我們遇到的許多電子設備都是越用越慢的,為什麼華為雲能夠反其道而行之?

 

「越用越慢」這種事兒,大家在日常都有深刻的體會。比方說,剛買來的手機向來是響應快速、運行如飛。但是過了幾個月之後,隨著系統垃圾越來越多,手機運行速度便會下降,就需要不斷地清理和優化,但是這也只是緩兵之計。等過了一年之後,手機就會變得卡頓,點開一個APP都要等幾秒鐘,嚴重影響用戶體驗。其實也不僅僅是手機,所有的電子產品都會有類似的問題。按照「摩爾定律」的說法,每18個月系統性能提升一倍,老系統自然也就越來越跟不上時代了。

 


但是基於AI的華為雲存儲正在解決這個問題。「在雲端,伴隨著用戶越來越多,雲的業務負載越來越高,資源的爭搶也就越發明顯。雲服務商可以通過好的資源規劃,通過運維人員及時響應客戶需求,去調整、優化配置,但這一過程畢竟需要一定的響應時間。如今藉助於人工智慧,華為雲存儲可以在很大程度上實現系統自動化感知和調整,而不是通過人工幹預。這樣華為雲存儲就可以做到通過快速調整系統來響應客戶的需求。」張宇昕表示。

 

很明顯,張宇昕所希望的,就是藉助於AI算法實現資源的自動調度,儘可能降低時延和性能損耗,並在條件允許的情況下實現「越用越快」的效果。在實現這一點之後,華為雲存儲也從技術層面保證了系統性能的最大化,讓每一款硬體產品的性能得到儘可能的發揮,最終「逼近介質能力的極限」。

 


微秒級響應,聽起來似乎有些超前,但正如張宇昕在演講中提到,萬物感知、萬物智能、萬物互聯的時代已經到來,為加速各項依託雲計算的創新產業發展、滿足各類新興應用對數據實時性的訴求,華為雲將持續創新,打造出全新一代智能數據底座,最終引領雲上存儲進入微秒時代。

相關焦點

  • 準確定位敏感數據存儲分布,華為雲DSC核心能力之敏感數據識別
    隨著越來越嚴峻的數據安全威脅以及越來越嚴格的數據保護相關的法律法規,如何有效保護敏感數據,成為了企業面臨的一大難題。識別敏感數據是實現敏感數據保護的前提保護敏感數據的先決條件是在企業存儲的海量數據中準確定位到敏感數據所在的位置,識別到敏感數據的存儲位置後還需對數據進行分級分類標記,劃分不同的敏感級別,以採取不同的保護措施,將主要精力和資源投入到需要重點保護的數據上。那麼問題來了,數據資產那麼多,如何從億萬級文件中找出個人隱私數據,在TB級資料庫中快速找到敏感欄位呢?
  • 應對大數據風暴的必殺技 華為融合存儲解決方案
    在日前舉辦的Interop2013東京展上,大數據成為了現場最為熱門的話題,無論是網絡廠商還是IT廠商,都不約而同的展示了各自針對大數據應用的產品以及解決方案,其中華為展示的N9000大數據存儲產品尤為引人矚目。
  • 雲數智驅動數據高速增長,浪潮存儲提供EB級容量擴展
    新數據時代對海量數據的存儲系統提出嚴苛要求 其一,高密度、大容量、可擴展。數據的爆發式增長和保存周期的延長,帶來了對存儲空間的直接需求。傳統的存儲架構已經無法解決如此大數據量的存儲空間問題。需要一套具有EB級擴展性、支持千億級文件並支持多種服務接口的新型存儲系統,滿足海量、多元化數據存儲的同時,實現跨平臺無障礙對接。
  • 華為發布全新一代OceanStor存儲Pacific系列 釋放海量數據價值
    當前,數據成為新生產資料,企業需要採集和存儲更豐富的數據,包括核心業務的結構化數據和5G、IoT、超高清等帶來的海量非結構化數據,並結合人工智慧對數據進行分析和處理,將數據轉換為知識和服務,提升生產效率。
  • 華為全面啟動數據基礎設施戰略,開源數據虛擬化引擎HetuEngine
    在智能世界,算力成為新生產力,數據成為新生產資料,「5G、AI、雲」成為新生產工具,將使能千行百業邁入智能時代。兩個月前,華為在全聯接大會上發布了「一雲兩翼雙引擎」的鯤鵬計算產業布局,基於「鯤鵬+昇騰」雙引擎,全面啟航計算戰略,為世界提供最強算力。「一雲」是指華為雲,是生態夥伴發展的黑土地。
  • 阿里雲、亞馬遜雲布局IPFS,分布式存儲勢不可擋丨星際數據
    近年來,大部分投資者都曾有過一個疑問:「為什麼華為、阿里、亞馬遜不使用IPFS&Filecoin,IPFS&Filecoin發展前景如何,到底能否取代傳統的數據中心」,其實,傳統的雲存儲和分布式存儲之間並不是非此即彼的選擇題,雙方是可以求同存異、共生互補的,同時,由於IPFS&Filecoin分布式存儲順應時代需求,具有足夠的創新性和廣闊的應用場景
  • 全球首款支持鯤鵬硬體架構,GaussDB T資料庫雲服務上線華為雲
    近日,全球首款支持鯤鵬硬體架構的企業級OLTP資料庫GaussDB T的雲服務,正式上線華為雲。意味著GaussDB T除了為企業提供本地部署外,同時具備了在雲上為更多企業提供高效、穩定、易用和高價值的OLTP資料庫服務能力。
  • 華為的「少年天才」攀登者,出發向智能存儲的「奧林帕斯山」
    拿到高檔offer的「天才少年少女」,都選擇加入的華為存儲相關領域,是十分值得關注的領域。存儲究竟有多重要?隨著各行各業智能化的深入,數據基礎設施自然也需要跟上節奏。越來越多的企業需要高效的數據存儲與管理系統,來實現海量的數據管理與保護,為業務發展與經濟增長提供保障。
  • 微秒級超低時延!上海聯通重磅發布金融智網
    中國聯通上海公司(下稱「上海聯通」)今日重磅發布金融智網FLASH LINK,依託微秒級時延等突出優勢,為金融行業打造轉型升級的堅實底座,助力國家「新基建」及數字經濟發展。「金融實時交易現已成為金融企業的基本業務需求,安全和可靠則是生存和發展的生命線。上海聯通低時延金融智網真正做到分秒必爭、安如磐石、極速開通、網隨心動,滿足金融行業客戶時效與安全雙重需求。」
  • 華為雲自研資料庫DDS增強版商用
    華為雲自研資料庫DDS增強版商用     日前,華為雲自研文檔資料庫 DDS 增強版正式商用。作為華為雲在資料庫產品矩陣上的重要布局,它不但兼容最流行的 NoSQL 資料庫 MongoDB,而且基於華為自研核心技術存儲計算分離架構,在讀寫性能、擴容能力、備份恢復性能、故障容忍能力等方面全面提升。
  • 華為欽州雲數據地址_華為雲伺服器怎麼連接雲資料庫 - CSDN
    可以看到,早在2017年3月,錦州市就與華為展開雲計算、大數據產業的戰略合作。目前,依託華為雲計算平臺,錦州市50餘家部委辦局、100多個業務系統,實現政務數據統一雲化管理。早在2013年,烏蘭察布就與華為一起規劃了雲產業發展藍圖,開啟了雲產業的發展;2016年7月烏蘭察布與華為一起進行雲數據中心投入
  • 我國成功研製出EB級雲存儲系統
    新華社天津11月30日電(記者 周潤健)國家863計劃雲計算關鍵技術與系統(二期)項目課題驗收會11月29日在天津召開,由我國高性能計算領軍企業中科曙光承擔的「EB級雲存儲系統研製」課題通過技術驗收。
  • 華為雲GaussDB亮相DTCC2020,全面釋放數據新動力
    如何在變革中創造新的機遇,在機遇中尋找新的突破口;如何滿足企業對雲資料庫的高要求,助力企業核心數據安全上雲,成為雲廠商不得不思考的問題。  GaussDB聚焦全場景,服務全行業  面對挑戰,華為雲資料庫積極融合創新、生態開放,全新推出GaussDB資料庫品牌,依託華為雲與華為雲Stack,通過全棧軟硬體優化,基於統一的DFV分布式存儲架構,支持關係型與非關係型資料庫引擎,提供全場景雲服務。
  • 威騰電子「分區存儲「技術席捲2019中國數據與存儲峰會
    未來幾年,我們將邁入一個新的數據時代,其中處理數據是一個非常關鍵的因素,涉及到ZB級數據存儲和處理,會有三個重要的趨勢:一個是在多雲、雲應用之間,保持數據的流動;第二個趨勢是根據數據的熱度,或者說數據生命周期,採用不同的存儲介質進行數據分層和保護;第三就是藉助人工智慧技術,智能化管理數據。總之海量數據存儲和處理已經成為用戶面臨的主要挑戰。
  • 數據存儲洪流下 PCIe快閃記憶體緣何脫穎而出?
    數據需要能夠被即時訪問,以便其能夠被實時的處理、分析和解析。為滿足這樣的需要,企業客戶正主動將快閃記憶體加入到其存儲基礎設施中。  由於需求加速增加,以及獲得客戶的認可,各公司的CIO們迅速認識到,快閃記憶體非常適合於資料庫、數據倉庫和大數據分析等性能密集型應用。  儘管業界在大談全快閃記憶體和混合快閃記憶體陣列,然而,伺服器端快閃記憶體尤其是PCIe快閃記憶體出貨量已經開始起飛。
  • 華為雲GaussDB(DWS)數據倉庫滿分通過信通院最大規模分布式資料庫...
    華為雲GaussDB(DWS)為各企業用戶提供最佳性能、按需擴展、穩定可靠的企業級數據倉庫,滿足客戶超大規模數據的高性能查詢分析訴求。在本次大規模集群測試評估中,華為雲GaussDB(DWS)一次性通過50項測試用例,包括27項必選用例和23項可選用例,交出了完美的答卷。
  • 從邊緣到數據中心到雲,HCP對象存儲八大利器
    在數字新基建的大趨勢下,市場規模潛力的巨大與業界在對象存儲領域的紛紛看好,必然加速了對象存儲在雲計算與大數據時代下的發展。  從對象存儲整體市場增長情況來看,全球和中國市場的發展也呈現出令人興奮的狀態。特別是在中國市場,參與到對象存儲領域的廠商越來越多,從企業級IT廠商到公有雲廠商,紛紛將對象存儲作為了在數據存儲領域重要的發展方向。
  • Gartner魔力象限:雲資料庫下半場,華為雲GaussDB後勁十足
    雲產品組合和生態的廣度:報告指出,「華為雲專注於提供全面的混合堆棧,構建了全面、穩健的產品組合,能夠滿足跨雲和本地環境的全方位數據管理用例,其許多產品與雲基礎架構緊密集成,以提供增強的性能和可靠性。」為此,華為雲提供一站式傳統商業資料庫上雲解決方案,通過異構資料庫對象遷移和應用遷移工具UGO來提供資料庫源庫畫像,綜合兼容性、性能、對象複雜度、使用場景等,智能推薦不同選型下的規格及成本;數據遷移/同步工具DRS實現對象過濾、語法轉換、對象校正和驗證上線循環驗證,最終幫助用戶實現從主流商業資料庫到雲資料庫的平滑遷移,讓資料庫輕鬆「搬家」。
  • 華為全面啟航計算戰略:「鯤鵬+昇騰」雙引擎、硬體開放、軟體開源...
    兩翼指智能計算業務以及智能數據與存儲業務。在智能計算領域,面向端、邊、雲,提供「鯤鵬+昇騰+x86+GPU」的多樣性算力。在智能數據與存儲領域,融合了存儲、大數據、資料庫、AI,圍繞數據的全生命周期,讓數據的每比特成本最優、讓數據的每比特價值最大。一雲指華為雲,通過全棧創新,提供安全可靠的混合雲,成為生態夥伴的黑土地,為世界提供普惠算力。
  • 先河私有雲伺服器,輕鬆打造家庭級NAS網絡存儲
    這兩年隨著網絡進入雲計算2.0時代,各種私有雲伺服器產品也應運而生。這類產品最初都是針對公司企業而研發,但如今針對家庭和個人使用的私有雲伺服器也陸續出現,我這次要體驗的先河私有雲伺服器就是定位於家庭級NAS網絡存儲。究竟它有哪些功能和設計,實際體驗又是如何?就讓我為大家解答一二吧。