數據驅動型的企業正在成為數字經濟時代的主力軍,而在指數級增長的數據規模背後,如何高效處理紛繁複雜的數據集和數據類型,是每家企業都在思考的問題,尤其是當非結構化數據變成了企業內部未經開發的「重要價值」。「企業存儲著大量的數據,但並沒有有效手段把數據價值挖掘出來,所以我們需要數據的提煉。數據的存儲、提煉非常重要,更重要的是要有一個安全可靠的『煉油廠』即存儲設備,不要被黑客或意外事情所影響。」Hitachi Vantara中國區首席技術官吳衛平說。
IDC預測,到2025年全球數據總量將達到175ZB。在企業組織的存儲系統中,非結構化數據佔據了數據總量的80%-90%。無論是金融行業的數據分析還是醫療行業的影像資料,亦或是教育行業的教學文檔、媒體行業的音視頻素材等等,都可以看到非結構化數據的影子。然而在非結構化數據高佔比的趨勢之下,僅有不到1%的數據被有效利用,其原因在於企業缺乏有效的使用途徑,如對象存儲曾被認為是一種僅用於合規、歸檔、次級或冷數據的存儲,但如今並非如此。
一個顯著的趨勢是,越來越多的企業在使用對象存儲支撐實時、智能化、高性能的工作負載,除了要滿足性能和存儲擴展性的需求,還要獲得數據洞察以便更好地做出決策。與此同時,更好、更快的數據訪問能夠讓非結構化數據成為營收增長的重要推動力。調查顯示,只要數據可訪問性增加10%,就能帶來超過6500萬美元的額外淨收入。進入5G時代之後,企業不僅要面對高帶寬、低時延所帶來的大數據計算,更要讓這些數據存得可靠、管得智能、用得簡單。
為了幫助客戶更快速地訪問包括郵件、文檔、健康記錄、音頻、視頻和圖像等在內的非結構化數據,並從中獲得洞察,Hitachi Vantara推出了全新的分布式文件系統和管理解決方案,對Hitachi Content Platform(HCP)進行了多維度的擴展。全新的HCP產品組合包括HCP G11全快閃記憶體節點、HCP S11和S31系列存儲平臺、HCP S系列軟體,以及與WekaIO合作的端到端DFS和對象存儲解決方案,能夠以較好的性價比支持多數性能密集型應用。同時,客戶還可以把VSP 5000系列、VSP E990等Hitachi Vantara最新存儲平臺作為HCP容量擴展的後端存儲池。
全新的HCP產品組合
其中,與WekaIO的全球OEM合作關係實現了集對象和文件存儲優勢於一身的特性。吳衛平介紹稱:「WekaIO是一個海量、高速的集合NAS和對象的管理平臺,它有自己的算法和引擎,使大規模的NAS可以根據要求去計算,同時又可以實現計算和存儲分離。熱數據可以通過前端計算,溫、冷數據可以通過對象存儲把數據卸載下來,提高效率。」
HCP通過性能優化的全快閃記憶體節點,可更好地支持新一代非結構化數據工作負載。這些增強的功能可幫助客戶在Amazon Simple Storage Service(S3)協議上實現與以往相比3.4倍的吞吐率,並降低多達34%的成本。此外,更新後的S11/S31存儲節點將讀寫的性能提升了三倍,在與上一代產品相同的機架空間中實現了三倍的容量提升,客戶無需擔心機架上量之後引發的管理複雜度加大和機房佔地空間增加,幫助其快速將關鍵任務和雲原生負載遷移到對象存儲。
區別於傳統的分布式文件存儲系統,Hitachi Vantara在實現數據高可靠存儲時並未採用多副本,而是通過糾刪算法,獲得比Hadoop三副本算法高得多的存儲效率。吳衛平表示,數據存放在S節點上,只需要額外消耗30%的空間就可以避免常見的硬碟故障造成的數據丟失隱患,相比之下Hadoop採用三副本的保護模式需要額外消耗200%的空間,「舉個例子,存1PB的數據,我們只需要不到1個機櫃的空間,而Hadoop需要60個節點120U,大約需要5個機櫃。1:5的空間消耗對比,根本上來源於HCP與Hadoop、與一般的x86伺服器堆疊而成的分布式文件系統在算法上的不同。」
在對象存儲和文件存儲結合方面,熱數據會通過前端NAS實現在線的順利生產,溫、冷數據則可以轉移至對象存儲,在後端長期保存。同時,還可以利用Hitachi Content Intelligence最大限度挖掘數據價值,為關鍵業務數據和存儲運營提供全面的數據洞察。例如,數據寫入到對象存儲之後,用戶可以隨時通過HCI去快速查找數據,HCI相當於一個搜尋引擎,能夠根據用戶需求來定義,在海量複雜的場景中藉助索引把數據找出來。
Hitachi Vantara資深解決方案顧問蔡慧陽認為,文件存儲系統包括傳統的NAS或分布式文件系統更適合於熱數據(活躍數據)的文件存放,熱數據通常只佔20%,而分布式的對象存儲系統更適合於溫冷數據的文件存放,數據量相對更大一點,通常佔80%以上。「傳統NAS和分布式文件存儲如同工廠裡面的生產車間,而分布式對象存儲更像是車間後面的一個大倉庫。」
對於有遠程辦公需求的企業,HCP會幫助其內部進行主動加密,通過哈希算法的方式讓用戶享有控制權,且不會被第三方篡改。同時,用戶還可以決定訪問者權限,以及產品的版本變化,256位加密等安全防護措施使得HCP能夠符合歐美主流平臺的驗證規範。「我們實現了數據分層,有些用戶希望主數據在本地,存儲部分放在雲上。加密算法可以在本地,能夠控制數據的遷移。換句話說,如果你訪問我的雲數據,必須通過本地授權或者控制訪問,不可能跨過這一步,這樣可以把核心部分保留在本地,部分數據通過低成本放在雲上。」吳衛平稱。
Hitachi Vantara幫助企業組織獲取更多價值
目前,HCP產品組合已服務於金融、電信、媒體等行業的超過2500家全球客戶,通過深入數據運維領域,支持更好的數據獲取、可視化、保護、成本優化、檢索和分析等,連接了邊緣和用戶設備,並且支持私有雲、公有雲、混合雲之間的智能數據移動性。對於Hitachi Vantara來說,其希望利用豐富的產品組合和運維經驗,結合Hitachi在IT領域長期的數據採集和分析能力,使平臺+業務成為一個整體解決方案,幫助客戶實現業務重構從而推動數位化轉型。
「Hitachi Vantara的優勢是數據的管理,包括安全管理,數據存儲,數據查找和數據分析。我們有諮詢公司,有各個行業的專家,諮詢部門會根據行業經驗,為不同的行業提供模型和方案實施。」吳衛平說,「同時,我們也願意和廣大的合作夥伴、本土企業合作,我們提供底層的平臺,他們來做諮詢管理或實施,與大家攜手共創,實現最終的價值體現。」