XSKY發布X3DS立體數據管理系統,解決海量非結構化數據管理難題

2020-12-16 騰訊網

1

非結構化數據管理難題

IDC預測，2018年到2025年之間，全球產生的數據量將會從33ZB增長到175ZB，其中超過80%的數據都會是處理難度較大的非結構化數據。

Gartner也預測，到2024年，大型企業以文件或對象存儲在企業內部、邊緣或公有雲中的非結構化數據量將是2020年的三倍。

非結構化數據其體量要比結構化數據大得多，而且，隨著現在非結構化數據在企業生產系統中的重要性不斷凸顯，多數企業都面臨海量非結構化數據的管理難題：

1、海量小文件快速遷移

更換設備廠商，新老系統替換都需要遷移數據。但當數據規模較大，特別是涉及海量的小文件的時候，傳統的遷移方式遷移的速度極慢，無法滿足業務連續性需求。

2、從NAS向對象轉型

很多企業都在去NAS化，利用對象存儲的自定義標籤屬性進行數據賦能，支持業務創新。但是，原有的NAS數據如何遷移到對象存儲上？傳統的遷移方式不支持S3協議，無法把文件格式數據轉換為對象格式數據。

3、對象存儲的數據備份

目前國外主流的備份軟體，可以支持NAS的備份，但鮮有支持對象存儲備份，也就是它們一般都支持把對象存儲作為備份目標，但不能備份對象存儲裡面的數據。很多中國的用戶都已經把對象存儲用在生產系統裡，裡面的數據也需要完善的保護。

4、文件系統的勒索病毒防護，誤刪除保護

現在文件系統，受到勒索病毒和人為誤操作的風險很高，需要有完善的數據備份和恢復機制。

5、數據生命周期管理

現在非結構化數據需要保存的時間越來越長，一直保持在主存儲上，成本居高不下，而且數據量太大以致沒有足夠的備份窗口完成備份。如果把主存儲的老文件及時遷移到對象存儲、藍光存儲甚至公有雲，可以完美解決主存儲的成本和備份窗口問題。

6、文件分發，多地共享

很多企業都有很多分支機構，總部的文件需要及時分發到分支機構的NAS裡，方便分支機構就近快速訪問。

7、共享災備中心

大型組織都有很多分支機構，如果每個分支都建立自己的災備系統，成本太高。總部建立一個共享災備中心，可以集中解決分支機構的數據備份問題。

8、數據採集匯總

很多邊緣計算場景，需要邊緣節點及時回傳採集的數據，匯聚到總部。由於邊緣節點眾多，調度和運維比較複雜，需要採用Kubernetes進行編排。

……

02

全新發布X3DS

為了應對上述問題，日前，XSKY發布了全新的圖形化數據管理軟體X3DS。

X3DS（XSKY 3D data management System）是XSKY提供的立體數據管理系統。其基於微服務架構，具有極大的彈性和擴展性。X3DS可提供非結構化數據的DR（Disaster Recovery，災難恢復），DP（Data Protection，數據保護）和DM(Data Migration，數據遷移)這三大管理能力，是一個立體的三維(3D)數據管理平臺。

X3DS基於微服務架構，自帶Kubernetes平臺，也支持外部的Kubernetes，部署簡單靈活。X3DS支持單節點部署，也支持多節點集群實現高可用，支持以虛擬機或容器形態獨立部署，也可以內嵌在XSKY的SDS存儲節點裡，大大節省用戶的投資。

X3DS支持非結構化數據的複製、遷移、備份、歸檔功能，支持豐富的數據管理策略，滿足不同用戶的個性化要求。

X3DS架構圖

X3DS支持跨廠商的文件和對象存儲之間數據相互移動，支持跨雲的數據上雲和下雲，適應性廣，避免用戶被設備廠商和公有雲廠商鎖定。

03

產品特點

X3DS界面

1、微服務架構，彈性擴展

基於微服務架構，支持外部Kubernetes平臺，具有極大的彈性和靈活性；

單節點或多節點集群部署，可靠性高，性能好。

2、完善的非結構化數據管理功能

支持複製，RPO為分鐘級別，具有容災切換功能。支持數據校驗，保證複製數據的一致性；

支持遷移，支持多目錄並發，性能高；

支持備份，支持上千個恢復點，RPO為小時級別。支持重刪和加密；

支持歸檔，歸檔策略豐富，刪除數據前會再次確認數據已經歸檔，更加安全；

一鍵跳轉到XSKY S3 Console，可以對對象存儲進行創建桶，上傳下載文件，搜索對象屬性等管理工作。

3、跨廠商跨雲數據流動

支持NFS/SMB/FTP/S3/fastDFS數據相互流動；

支持多對一的數據移動，支持豐富的數據整合策略；

支持阿里雲、百度雲等公有雲的上雲和下雲，具備豐富的控制策略；

支持在不同廠商的對象或文件存儲間數據移動，避免鎖定。

04

應用場景

X3DS可以作為企業非結構化數據管理平臺，具有豐富的使用場景：

1、災難恢復

利用異步複製技術，滿足企業分鐘級別RPO要求。

2、數據備份

支持永遠增量備份，支持重刪和加密，支持上千個恢復點，有效防止勒索病毒和誤操作。

3、數據生命周期管理

支持歸檔到文件存儲、對象存儲、藍光存儲、公有雲等，策略豐富。

4、數據遷移

源端和目標端協議無需一致，高並發，遷移速度可控，對業務影響小。

5、NAS轉對象

支持NAS數據遷移到對象存儲，助力企業業務創新。

6、混合雲/多雲

支持數據在雲上雲下自由流動，避免被雲鎖定。

7、共享災備

支持多對一複製，一套系統可保護企業所有分支機構非結構化數據的安全。

8、文件分發

支持一對多複製，總部數據及時分發到分支機構，分支機構就地訪問，體驗好。

9、邊緣計算

支持數據中心集中部署一套X3DS，從多個分支機構或邊緣節點採用標準協議採集各種數據，完成數據自動匯總。也可以和邊緣計算的Kubernetes聯動，採集邊緣節點的本地盤的數據。

XSKY X3DS的推出，幫助用戶以極簡的方式，靈活高效地對非結構化數據進行立體的管理，讓數據資源真正變成數據資產，挖掘數據價值。

—END—

相關焦點

  • 釋放海量非結構化數據潛能,愛數AnyShare技術探索之旅揭秘
    海量非結構化數據正在洶湧而來　　如今,非結構化數據已佔據數據總量的90%,且保持高速增長;非結構化數據存在於各種設備以及各種系統之中,無處不在。毋庸置疑,海量非結構化數據的時代已經到來,海量非結構化數據的管理、處理、保護等巨大挑戰與難題也接踵而至。
  • 釋放海量非結構化數據潛能,愛數AnyShare Family 7技術探索之旅揭秘
    海量非結構化數據正在洶湧而來如今,非結構化數據已佔據數據總量的90%,且保持高速增長;非結構化數據存在於各種設備以及各種系統之中,無處不在。毋庸置疑,海量非結構化數據的時代已經到來,海量非結構化數據的管理、處理、保護等巨大挑戰與難題也接踵而至。
  • 數據佔比高於80%?關於這些非結構化數據你管理了多少?
    而在這些數據中，結構化數據僅佔到全部數據量的20%，其餘80%都是以文件形式存在的非結構化和半結構化數據，日誌文件、機器數據等又佔據非結構化數據的90%。所以巨大非結構化數據管理和運用對於企業來說愈發的重要，今天就和大家聊聊非結構化數據管理這些事。
  • 結構化數據 vs. 非結構化數據
    結構化數據 vs. 非結構化數據：結構化數據由明確定義的數據類型組成，其模式可以使其易於搜索。而非結構化數據通常由不容易搜索的數據組成，其中包括音頻、視頻和社交媒體發布等格式。  　　非結構化數據與結構化數據並不表示兩者之間存在真正的衝突。
  • 如何解決大規模非結構化數據的存儲挑戰
    【IT168 評論】存儲非結構化數據是存儲系統的主要挑戰之一，大數據、人工智慧、5G等技術的進步正在產生大量的必須進行管理、存儲和分析的數據，這為存儲系統帶來了許多挑戰。　　當然，處理非結構化數據並非是一個「世紀難題」，越來越多的提供商正在興起，幫助企業滿足處理大量數據的需求。
  • 理解Human Information和海量數據
    這些海量數據和human Information廣泛地存在於我們每天接觸的電子郵件、幻燈片、電話、文本、微博和視頻中。惠普宣布推出全新信息優化解決方案，幫助具有前瞻性的企業做出更好的決策。 　　傳統的信息優化方式不能處理分散的、海量的、非結構化的信息數據。惠普最近的一項調查顯示，只有2%的受訪者可以在合適的時間提供合適的信息，以實現實時支持合適業績的目的。 　　全新惠普信息優化解決方案 　　惠普可以通過全新惠普信息優化解決方案滿足上述需求，其中包括惠普下一代信息平臺——智能數據操作平臺（IDOL）10。
  • Taste Analytics如何解決海量非結構數據分析
    全世界都在談大數據，大數據有價值這點毋容置疑，但是在面對海量的數據，如何挖掘出自己需要的價值是當前大數據領域最大的門檻。其實，國內也有很多做大數據分析的企業，而且也做的非常的好。在談大數據分析的時候，非結構化數據是無法繞過的話題，那麼首先究竟什麼是非結構化數據呢，Derek Wang給我們做了詳細的解答，他表示，非結構化數據主要包含三大塊，第一是文本文字，就是人們所說的語言；第二非結構化數據是圖像、圖片，包括現在社交網絡上的交流圖像、圖片等；第三大非結構化數據是視頻流、電視流。
  • 文件虛擬化:四種管理非結構化數據方法
    【IT168 技術】你將從本文中學習到：探索四個文件虛擬化策略，幫助你管理非結構化數據。　　主要有4種虛擬化文件訪問策略：文件系統虛擬化，集群文件系統，集群NAS和NAS網關。每一種文件虛擬化方法的目的是幫助IT部門掌控非結構或者基於文件的數據，這些數據往往遍布在整個系統的各種位置。目前面臨的挑戰很嚴峻，圍繞非結構化數據存取的技術在過去15年中一直沒有改變。　　但是現在正在發生巨大的變化。NAS系統架構正朝更具擴展性，多節點向外擴展並且支持全局命名空間的架構發展。
  • 試驗數據管理系統TDM6.0產品功能介紹之——問答機器人
    面對行業變化與業務變化，業務人員在進行試驗的過程中時常會遇到各種各樣的業務難題。大部分人員會依賴百度搜索去解決問題，但是卻因為網絡上的內容五花八門，時常無法找到滿意的答案；另一部分人員會在公司內部找同事協助解決，但是又不清楚哪一個同事能具體解決此問題，只能一個人一個人依次問詢，浪費大量的時間。
  • 試驗數據管理系統TDM解決方案
    企業在產品檢測和試驗環節要面臨的最大挑戰來自於如何科學地管理試驗數據。解決試驗數據的存儲、檢索、基於權限的安全共享的問題；試驗數據的展示分析、結論的快速得出；試驗經驗的積累，從歷史試驗數據中分析出未來試驗可能的趨勢，數據挖掘；試驗流程的規範化管理。
  • Taste Analytics落地中國,讓中國非結構化數據分析不再落後美國
    一位中國的年輕人在美國獲得博士學位,在隨後的研究工作中接觸到了大量文本分析的先進技術——自然語言處理和機器學習，在看到美國眾多企業對非結構化數據分析的強烈需求後，他開始了非結構化數據的研究，深厚的學術功底加上有前景的研究方向，讓他在2015年籌得近100萬美元的資金，組建了一個由多位博士和博士後組成的團隊進行研發。
  • 2021年,非結構化數據的對象和文件存儲的融合將有所增加
    分布式文件和對象存儲軟體解決方案的領導者Scality宣布了2021年的數據存儲預測，重點關注云原生應用程式和容器化的快速增長。根據IDC的數據，到2023年，將使用雲原生方法開發和部署超過5億個數字應用程式和服務。相當於在過去40年中開發的應用程式總數之和。
  • 非結構化數據之困:先歸檔 才能少備份
    【IT168 評論】在大數據備受關注的今天，企業不能盲從，而是應該明白大數據為什麼會如此之熱，為什麼去關注它。其中一個重要原因就是，大數據不同於普通數據，它增加了很多半結構化數據和非結構化數據，並且其數量級和價值不可同日而語。
  • 你看到的是視頻,我看到的是「成噸成噸」的非結構化數據
    因為這可都是「成噸成噸」的非結構化數據！IDC說，現在全球70%的數據都是非結構化數據。它們遍布醫療、傳媒、教育等幾乎所有行業。無處不在的非結構化數據，我們是如何存放？如何管理？如何利用的呢？最近，戴爾科技集團舉辦了一場以「管理數據，論道價值」為題的技術交流會。
  • 如何使用 SQL Server FILESTREAM 存儲非結構化數據?
    作者 | ALEN BRI譯者 | 火火醬，責編 | Carol封圖 | CSDN 付費下載於視覺中國在本文中，我將解釋如何使用SQL Server FILESTREAM來存儲非結構化數據。同時，還會介紹FILESTREAM的優缺點。
  • 數據戰爭——直面海量處理+實時分析的雙重挑戰
    日前，在北京舉辦的大數據世界論壇上，內存計算、實時查詢、有效的存儲管理、智能挖掘分析，成為了眾多IT人士關注的焦點。用戶需求——海量+實時分析來自IDC全球存儲及大數據研究項目副總裁Benjamin Woo表示，到2020年，全球數據使用量預計暴增44倍，達到35.2ZB。35ZB是什麼概念呢？
  • 應用冷庫管理系統可以解決哪些難題
    冷庫管理系統是集倉儲、租賃、庫內作業管理、費用結算、業務報表等冷庫信息管理解決方案，可以使企業的業務流程化、規範化、固定化；使員工作業更有效率和準確率，從而節省大量的人力物力去對帳、記帳、業務審核和庫內作業；詳細報表，使管理者更清晰的了解企業的運營情況，為企業的管理提供有力支持，最終讓冷庫企業發展越來越好
  • 幫您分析非結構化數據的 10 個實用步驟
    【IT168 導購】數據分析正在成為企業發展的重要部分。對於企業來說，了解結構化和非結構化數據是非常有必要的，以便為業務發展做出正確的決策。 下面的10個步驟將幫助企業來成功的分析非結構化數據。
  • 「智能」的產生,本質上是非結構化數據結構化的過程
    每天了解一點創投圈2019 年 9 月 19 日，IT 桔子邀請循環智能（Recurrent）聯合創始人&CEO 陳麒聰為人工智慧社群，帶來「挖掘非結構化客戶交互數據，Recurrent.ai 的商業化之路」
  • 元數據管理系統解析
    那麼我們為什麼還要多此一舉，再開發一個元數據管理系統對這些信息進行管理呢？這麼做，可能的理由很多，需要集中管理可以是其中一個理由，但更重要的理由，是因為本質上，這些系統自身的元數據信息管理手段通常都是為了滿足系統自身的功能運轉而設計的。