雲數智驅動數據高速增長,浪潮存儲提供EB級容量擴展

2020-11-28 美通社

北京2020年9月22日 /美通社/ -- 根據IDC報告，在2014-2020年，IT從業人員數量僅僅增長1.285倍，但平均每個IT人員管理的數據量從230GB增加到1231GB，超過5倍。而在未來兩年，企業數據預計仍將以42.2%的速度增長。儘管大多數企業認為數據是企業的無形資產，然而目前企業僅捕獲了56%的可用數據，幾乎一半的數據流失掉了，如何擴展數據存儲系統的容量成為企業面臨的重要議題。

從2014年到2020年，企業IT人員人均管理的數據量增加5倍

隨著大數據、人工智慧、物聯網、5G等科技手段的不斷推進，人們已經走進數據互聯的時代。在數據需求日漸強烈的當下，邊緣設備的工藝、精度越來越高，數據採樣的方式逐漸增多，產生的數據量也快速增長，到2025年44%的數據將在邊緣和核心創建，將有越來越多的物聯網設備向企業輸送數據。同時，基於數據挖掘和智慧應用，數據的生產者也不再只有人和設備，數據本身也參與到了生產數據的環節中來，成為了新的數據生產者，數據的產生進入一個巨大的循環，數據總量呈指數級增長。

浪潮存儲產品線總經理李輝曾表示，「人工智慧、大數據、5G新技術驅動下，數據發生本質改變，從過去『人工採集、人工幹預』過渡到現在『機器產生、機器處理』的新時代，數據量爆發式增長成為新常態。」據IDC預測，2020年全球將有超59ZB的數據被創建、捕獲、複製和消費，其中原始數據與複製數據（主要為機器處理產生的數據）的比率大約為1:9，未來複製數據將推動全球數據的增長，預計到2024年複製數據將達到原始數據的10倍。

這些數據來源廣泛，它對存儲有什麼要求？IT人員如何管理這些迅猛增長的數據呢？

新數據時代對海量數據的存儲系統提出嚴苛要求

其一，高密度、大容量、可擴展。數據的爆發式增長和保存周期的延長，帶來了對存儲空間的直接需求。傳統的存儲架構已經無法解決如此大數據量的存儲空間問題。需要一套具有EB級擴展性、支持千億級文件並支持多種服務接口的新型存儲系統，滿足海量、多元化數據存儲的同時，實現跨平臺無障礙對接。

其二，高可靠、高可用。存儲系統承擔著用戶的核心數據，與業務系統交互頻繁，一旦出故障，將直接影響業務系統的運行狀態，甚至引發數據完整性、安全性問題。而大規模存儲系統，硬體故障將成為常態，對存儲集群的負載均衡，數據冗餘，系統重建和故障排除都有著較高要求，如何有效的避免故障和高效的管理、處理故障就顯得尤為重要。

浪潮分布式存儲應運而生

面對挑戰，浪潮存儲提出「雲存智用運籌新數據」的理念，並發布了「AS13000G5超大規模數據中心級分布式存儲平臺」，幫助用戶解決海量數據的存儲問題，為用戶的數據中心打造面向未來的存儲平臺。

首先，浪潮分布式存儲系統基於Scale Out架構實現了容量極致擴展。浪潮分布式存儲系統AS13000G5，通過Scale Out橫向擴展的基礎架構，實現單存儲系統節點擴展數達5120個，可形成EB級海量存儲空間，支持千億數據文件管理。系統通過海量存儲系統對底層硬碟資源進行池化，形成統一資源池，同時提供文件存儲、對象存儲、塊存儲、大數據四種存儲服務，支撐上層多種應用，承載多元化的海量數據。依賴橫向擴展的分布式存儲架構，存儲性能隨容量擴展而線性提升，從而達到千萬級IOPS和百GB帶寬的極致性能。

浪潮分布式存儲

其次，浪潮分布式存儲依託多項高級功能優化容量資源利用率。依託強大的研發實力，浪潮AS13000G5分布式存儲在研發過程中實現多項技術突破，並演進迭代成為功能特性，進一步提升大規模存儲集群的整體可用性、可靠性。

一是高級糾刪。浪潮存儲基於高級糾刪技術將空間利用率相較三副本提升2倍以上，在保障空間利用率的前提下，升級磁碟故障的可靠性。同時，支持通過故障域劃分技術將一個故障單元劃分成兩個邏輯的故障單元，使得糾刪策略的配置更加靈活；

二是數據均衡。浪潮存儲採取全局一致性容量均衡技術，通過為每個硬碟增加引用計數，保證數據在集群所有硬碟中均勻分布。控制硬碟容量使用率偏差在2%以內，系統容量實際利用率最高可達98%；

三是急速拷貝。浪潮存儲基於急速拷貝技術，無論文件大小都可以瞬間完成拷貝操作，一個源文件可以拷貝成多個目標文件，每個文件的數據只在修改時複製，節約空間；

四是元數據集群。浪潮存儲通過部署多個active元數據服務，優化元數據服務的內存佔用及多服務間負載均衡，提高元數據並發處理能力。實現海量元數據管理的同時，提升元數據處理性能；

五是快速重構。浪潮存儲在硬碟發生故障時數據重構速度最快可達4TB/h，支持根據業務情況配置重構速度，採用合理的重構策略。

極致容量下的極易管理

存儲集群在大規模部署的情況下，運維的量級和難度對用戶來說都是極大的挑戰。浪潮智能統一存儲管理平臺InView面向全系浪潮存儲平臺實現管理，採用大數據和AI技術採集硬碟、系統壓力等數據，發送給AI引擎執行分析，輸出結果和處理建議，構建智能化運維管理平臺，實現對存儲平臺自動化部署、狀態監測、容量預測、性能優化、遠程巡檢、故障診斷、磁碟故障預測、資產管理等智能化運營，解決大規模IT系統運維難題，提高運維效率，降低運維成本，優化用戶體驗，保障業務連續性。

InView基於深度學習的智能分析和主動預防

通過配置InView，系統運維由被動模式轉換為主動模式，大幅提升系統運維能力和穩定性。為用戶帶來看得見的收益，比如多套存儲平臺統一管理、統一入口，實現存儲平臺精細管理；又如基於神經網絡算法和先進訓練模型，在3年多時間內收集超50萬個硬碟樣本，實現故障類型100%覆蓋，再如實現14天內磁碟故障預測預測準確率高於85%。此外，浪潮存儲還可以進行容量、性能智能預測。例如，InView的容量智能預測如下圖。

浪潮存儲可實現容量智能預測

浪潮存儲圍繞解決數據存儲問題，在「存得下」的基礎上，充分考慮大規模存儲集群對成本和硬體故障的敏感性，在低投入的情況下實現高容量的數據存儲，並且通過多種功能特性給予存儲系統更高的可靠性、安全性和可用性，進一步實現了「存得穩」、「管得全」。

浪潮存儲基於七大極致硬核技術形成了強大的產品競爭力，二季度浪潮分布式存儲出貨量同比增長313%，遠超業界平均增速。浪潮存儲在殊多行業斬獲大單，為中國移動大雲5.0、全球最大天文望遠鏡FAST、中國氣象大數據研究等超級工程項目提供彈性、靈活、高效的數據存儲服務。浪潮存儲將持續以「雲存智用運籌新數據」賦能智算中心，在分布式存儲領域加速創新，釋放數據要素價值驅動行業數位化轉型。

作者：浪潮存儲資深架構師葉毓睿、李錚鋆

相關焦點

  • 多活元數據技術,讓浪潮軟體定義存儲管理EB級數據
    北京2018年3月2日電 /美通社/ --移動網際網路與人工智慧時代，非結構化數據呈海量增長態勢，數據存儲平臺在彈性與性能上面臨巨大挑戰。浪潮軟體定義存儲通過提供元數據存儲與管理方案，給海量數據提供彈性空間，讓用戶自由馳騁於數據智能世界。
  • 中國SDS市場最新數據出爐:浪潮分布式存儲為何成增速第一?
    而面對「新基建」帶來的新數據挑戰，企業應當充分利用分布式存儲架構在性能和容量擴展方面的優勢，解決大規模、高並發場景下對數據存儲的挑戰，同時要考慮快閃記憶體陣列，以提升存儲性能，滿足實時數據處理對百萬級IOPS、亞毫秒級時延的需求。顯然，能夠真正應戰並為企業用戶帶來更加匹配的數據存儲平臺，當屬分布式存儲。
  • 中國天眼、華中大、清華為何不約而同選擇浪潮的數據存儲平臺？
    ,如果採用之前的成像系統,一臺系統至少需要花費20年時間才能完成數據的採集,選擇了浪潮存儲,重在其具有分布式橫向擴展能力,可提升其並發性能,讓數據的採集與分析更加快速,確保其研究項目的高效。據悉,浪潮存儲與華中科技大學有著多年的緊密合作。早在八年前,華中科技大學和浪潮從盤陣、分布式系統、雲存儲等多個領域持續開展合作,雙方合作的第一套海量存儲系統在資源衛星領域成功應用,並聯手展開了大量標準方面的合作。同時,在其他高校的腦科研領域,清華大學一直走在前列。
  • 浪潮存儲聯合華中大，探索科研新基建背後的大數據奧秘
    「當前科研領域在存儲等基礎設施方面主要有容量、性能和穩定性三個典型挑戰。」華中科技大學計算機學院院長馮丹教授在浪潮雲數智中國行武漢峰會上如是說。體現到存儲趨勢，可以提煉為三個字：雲、閃、智。在眾多廠商中，浪潮存儲近年來已經成為市場中一股不可或缺的力量。根據IDC最新數據顯示，浪潮存儲在今年第二季度出貨量躍居中國第二，增長速度位列中國第一，並且增速遠超其他廠商。這背後是浪潮存儲致力於幫助用戶為「新數據時代」做好準備的戰略布局。
  • 被BAT集體看好的對象存儲 有什麼了不起?
    背景：當網盤、跑遊戲、做備份、存視頻……雲數智趨勢下，對象存儲過得風生水起，從BAT的公有雲到企業私有雲都有出鏡。IDC中國SDS市場數據顯示，2018年對象存儲增長率超過150%，2019Q1對象存儲在中國SDS市場佔據19.6%的份額，實現了「very fast」的增長。
  • 浪潮存儲憑什麼實現跨象限晉級?
    名員工為中型市場）和中型以上（≥1000名員工）的客戶群中；4、賣方需以其品牌作為獨立陳列平臺出售產品，不得捆綁其它品牌出售存儲產品；5、供應商必須提供企業級支持和維護服務，並且提供全天24小時客戶支持。
  • 計算力就是生產力 淺析浪潮智算中心的多維價值
    在這背後，數字經濟早已成為國家經濟增長核心關鍵力量。2019年，我國數字經濟增加值規模達到35.8萬億元，佔GDP比重36.2%，對GDP增長貢獻率67.7%。隨著數字經濟不斷發展，預計到2023年，其佔GDP比重將達51.3%。 數字經濟蓬勃發展，以5G、AI、數據中心等為代表的「新基建」將增強新一代數智經濟基礎設施的能力，促進傳統行業數位化、智慧化轉型升級。
  • 回顧2020:一路領漲的浪潮存儲,做對了什麼?
    作為新基建的數字基石，數據存儲成為雲、大數據、5G、AI等新業務發展的剛需，帶動中國存儲市場實現了穩健增長。根據IDC最新數據顯示，2020年前三季度中國存儲市場規模220億元、同比增長13%，銷量14.5萬套、同比增長7%，成為全球市場規模第三、增速最快的區域。
  • 100%數位化,中南醫院聯合浪潮存儲應對影像大數據挑戰
    在中南醫院，PACS「寫」的過程經常是多臺設備同時、連續在工作，為了解決PACS系統並發寫入問題，中南醫院採用兩臺浪潮全快閃記憶體儲搭建雙活架構作為PACS一級存儲，向下可以快速存入不同檢測設備的影像數據，向上可以提供統一虛擬化平臺，為中南醫院各個科室影像數據實時查詢和讀取提供支撐和保障。
  • 象限晉級,「挑戰者」浪潮存儲的新挑戰
    除此之外，雲計算使得企業的數據分布從本地的數據中心擴展到了更高算力、更大空間的公有雲平臺。在整個IT架構當中，存儲是最接近數據的行業，要能夠幫助應用企業實現自身的數據中心與公有雲平臺之間更密切關聯，以期建立一個順暢的數據流動模式。　　這是主存儲市場的大勢，也是存儲廠商未來發展的方向。新勢力：浪潮存儲緣何能成為「挑戰者」？
  • 泛圈雲盤:什麼是驅動企業雲存儲市場發展的重要因素?
    什麼是驅動企業雲存儲市場發展的重要因素？儘管仍然有大約65％的業務數據存儲在本地存儲設備上，但是越來越多的企業正在將其數據遷移到雲存儲，這帶動了雲存儲市場的大幅增長。雲存儲市場有多大？預計全球雲存儲市場將處於大幅增長的態勢，從2015年的189億美元，預計到2022年將增長到1120億美元。 數據的爆炸式增長是IT基礎架構轉型的主要原因之一。在過去的幾年中，許多企業的數據顯著增加，這也促進了企業雲盤存儲市場的增長。目前驅動企業雲存儲市場發展的關鍵因素是成本。
  • 讓亞洲象生生不息 浪潮雲數智融合護航西雙版納生態保護
    雲數智融合，科技護航亞洲象保護毫無疑問，亞洲象保護需要建立一個龐大而複雜的系統，既要考慮保護區地貌複雜、道路不暢的不利自然條件，因地制宜的布設多類型的數據採集設備並保證數據順暢傳輸；同時也要將亞洲象實時智能監測系統、多終端預警系統、熱帶雨林與象群大數據挖掘分析系統、可視化系統、綜合資源管理平臺等數十個不同類型的業務系統進行有機融合，以實現智能化、立體化、可持續的亞洲象科學保護與研究
  • 拋出智算中心概念,浪潮要給智能社會新基建添磚加瓦
    用王恩東的原話來解釋就是「智算中心」將以融合架構計算系統為平臺，以數據為資源，以強大的計算力驅動AI模型對數據進行深度加工，源源不斷產生各種智慧計算服務，並通過網絡以雲服務的形式，向組織及個人進行供應。智算中心將是智慧時代計算力的生產與供給中心，是新「電廠」。
  • 從名創優品的「數智化轉型」,看其如何實現「雲上」增長?
    數位化也成為名創優品的增長飛輪。打造名創優品數位化增長飛輪，京東智聯雲也是重要參與者之一。之所以選擇京東智聯雲，主要也是基於其技術和生態優勢。2020年3月，京東將旗下的京東雲、京東人工智慧、京東物聯三個品牌統一為京東智聯雲，通過雲化部署、連接協同、智能驅動三階引擎，為企業的技術設施雲化、產供銷服價值鏈、在線供應鏈、運營數據化、智能決策等提供場景服務。
  • 分布式存儲的輝煌,Filecoin迎來1EB裡程碑丨星際數據
    根據Benet所說，從那時起，這個去中心化區塊鏈網絡租借的計算機存儲容量已經達到了1eb——大約相當於Dropbox在2018年提交IPO時的規模。　　「很多人認為，要達到與傳統雲計算競爭的規模是不可能的。當我們剛開始做這個項目的時候，很多人都嘲笑我們，直接嘲笑我說『你不可能讓一個去中心化的網絡容量超過幾個pb，也許10 pb。』直到現在我們超過了1eb。」
  • 我國成功研製出EB級雲存儲系統
    新華社天津11月30日電（記者 周潤健）國家863計劃雲計算關鍵技術與系統（二期）項目課題驗收會11月29日在天津召開，由我國高性能計算領軍企業中科曙光承擔的「EB級雲存儲系統研製」課題通過技術驗收。
  • 浪潮助力寮國建設地震監測數據中心
    在與承建方溝通項目概況後，針對該項目的主要特點有如下分析：首先該項目是國家援建寮國項目，這就需要數據中心的建設具有一定的先進性，能更好的體現出我國的信息化建設水平；其次項目落地地址是寮國萬象，這就需要數據中心的建設符合方便遠程安裝、運維、管理的特點，方便我方技術人員後期的維護工作；最後平臺需要運行的業務系統，一部分對數據讀寫有時效性要求，一部分有大容量存儲的要求，這就需要所提供的平臺能夠兼顧這兩種需求
  • ...出席 2020 中國數據與存儲峰會 詮釋雲原生時代存儲「進化論」
    作為企業級分布式存儲創新產品，QingStor 堅持 100% 自主研發、自主設計，全面適配國產化生態系統，用數據驅動企業決策，以更敏捷、易用、低成本的方案引領數字業務創新，服務雲時代高效的數據存儲和處理，加速存儲進化與轉型。
  • 2020中國數據與存儲峰會在京召開
    「2020中國數據與存儲峰會」主會場本次峰會為期兩天，由百易傳媒（DOIT）主辦，以」新數智·新未來」為主題，特邀中國工程院鄭緯民院士以及中國電子學會2020中國數據與存儲峰會採用了虛擬主持人和真人主持搭檔互動的創新形式。虛擬主持人雨涵，由騰訊雲小微與騰訊AI Lab聯手打造，為大會增添一抹亮色。
  • 新數據時代，科研需要什麼樣的創新基礎設施
    「當前科研領域在存儲等基礎設施方面主要有容量、性能和穩定性三個典型挑戰。」華中科技大學計算機學院院長馮丹教授在浪潮雲數智中國行武漢峰會上如是說。「雲存智用，運籌新數據」，在趨勢上為：雲、閃、智。在眾多廠商中，浪潮存儲近年來已經成為市場中一股不可或缺的力量。根據IDC最新數據顯示，浪潮存儲在今年第二季度出貨量躍居中國第二，增長速度位列中國第一，並且增速遠超其他廠商。這背後是浪潮存儲致力於幫助用戶為「新數據時代」做好準備的戰略布局。