亂花漸欲迷人眼:淺談關於分布式存儲的五大「謊言」

2021-01-08 IT商業網

  要說近幾年存儲這條街最靚的仔,莫過於分布式存儲了。

  自誕生以來,分布式存儲就被視為存儲的未來,被萬眾期待。然而分布式存儲起步於寒門,最早應用於網際網路日誌、企業備份歸檔、開發測試等場景,追求極致成本,性能和可靠性卻不敢恭維。但它還算爭氣,憑藉多年的打怪練級,越來越多地開始承載自動駕駛研發、超高清編輯、運營商5G網絡雲等企業的關鍵業務,走上變成高富帥、贏取白富美的道路。

  正所謂人紅是非多,存儲領域也是一樣,坊間一直流傳著關於分布式存儲的各種流言蜚語。好事的筆者今天就來探尋一番,揭開謊言背後的真相。

  謊言:分布式存儲就是軟體+伺服器

  目測分布式存儲領域有兩個派系,一派是SDS(軟體定義存儲),一派是軟硬一體。前者以vSAN、Ceph為代表,以軟體廠商為主在推廣。分布式存儲軟體+通用伺服器組合,打著重定義存儲市場的旗幟,頗有「有王侯將相寧有種乎」的氣勢;另一派是老牌存儲玩家的產品,他們以軟硬一體為主,如Isilon、HCP等。

  楚河漢界已然形成,未來誰主沉浮?

  誰主沉浮很難判斷,不過我們不妨從產業動態窺見一斑。雖然用過的客戶都詬病分布式存儲軟體+伺服器的方式存在各種兼容性、可靠性、可維護性的問題,但筆者認為SDS這種模式會長期存在,尤其是在傳統的低端領域,如備份歸檔、開發測試環境。而越往高端走,軟硬一體越是佔據主流。業界主流廠商也在持續推出軟硬一體的產品:

  •國外,DELL&EMC的PowerScale(Isilon)、DDN的EXAScaler等產品;

  •國內XSKY、浪潮等Ceph系開源廠商也推出了軟硬體一體產品如XScaler Express。尤其有趣的是XSKY,這可是國內Ceph系軟體定義存儲的旗幟啊,你品,你細品。

  另一方面,筆者也注意到近些年運營商開展了大規模的分布式存儲集採,有文件的有塊的。以中國移動2019~2020年分布式塊存儲集採為例,3個標段中2個為軟硬一體採購,佔比超過了90%;電信集團2020年集採也放棄了分布式存儲純軟體採購,首次全面轉向軟硬一體。從這個角度看,用戶在嘗試了多種採購模式之後,也開始逐步轉變到軟硬一體的道路上來,尤其是大型用戶。

  #真相#:分布式存儲誕生初期主要是純軟形態,近十年來,隨著分布式存儲逐步進入企業市場,軟硬一體的形成已經成為主流。

  謊言二:分布式存儲就是低價值存儲

  如文章開頭講到的,分布式存儲早期主要用於網際網路日誌、企業備份歸檔、開發測試等場景,這些場景無疑是低價值場景,成本是第一訴求甚至唯一訴求。

  然此一時彼一時,士別三日也當刮目相看。

  首先是分布式存儲產品能力已今非昔比,逐漸具備了承載企業高價值業務的關鍵能力,例如毫秒級時延、TB/s級帶寬、雙活/3DC業務級容災、端到端DIF等,無論是結構化數據還是非結構化數據的承載,功能完備性的最大短板早已補齊。

  其次,分布式存儲已走入眾多高價值關鍵業務,如運營商BOM業務、金融渠道類業務以及超算、油藏探測HPC等高價值業務,通過大規模應用實踐來檢驗成色。(小道消息,某些高價值場景全閃出貨價達到1000美金/TB以上啦)

  看完當下還要看看未來,筆者認為未來高價值的非結構化數據場景,分布式存儲的版圖還會持續擴展。如自動駕駛訓練、4K/8K超高清、5G日誌留存等場景,對多協議訪問、極致帶寬、擴展性訴求強烈,分布式存儲已然成為這些未來業務的首選架構。

  #真相#:分布式存儲早期主要用在備份歸檔等低價值、強成本訴求的場景,如今隨著企業級能力的提升,分布式存儲也逐步成為企業生產系統的承載平臺,尤其是面向海量非結構數據場景,全面支撐文件資源池和HPC等高價值場景。

  謊言開源架構分布式存儲的未來

  筆者對開源從來是持開放、支持的態度,正是因為開源的存在,IT產業才能有今天的繽紛色彩;也正是因為開源,存儲這個高大上的產品,才走進了更多的尋常百姓家。

  但如果說存儲的未來在開源,我不敢苟同。

  開源分布式存儲軟體的出現,一定程度上降低了存儲的門檻,小公司可快速包裝出存儲產品,帶動伺服器銷售。但產品同質化問題是所有開源不得不面臨的問題,由於架構限制,很難在不動架構的情況下,真正做出差異化競爭力。網際網路類公司、部分科研機構,以及有技術情結和充足資金投入的客戶可能選擇開源,而對於金融、電信運營商、大企業商用HPC、政府等對可靠性、性能、安全合規有要求的企業,開源從來不是第一選擇,因為數據太重要了。(聽說,國內某知名銀行曾經投入500人基於開源軟體搭建分布式存儲,投入巨大且無法達銀行業務對性能、可靠性、易運維訴求,最終於2年後放棄。)

  也有認為開源更自主可控的。筆者認為開源給了用戶一定的自主權,但和自主可控是兩個概念。據SNYK 2019 年開源安全狀況報告說明,開源軟體漏洞在兩年時間內增加了88%,開源風險的解決強依賴於社區版本發布,不能及時規避。同時,近兩年國際形勢的大變化,給開放著稱的開源蒙上了一層陰影。

  此外,業界TOP主流分布式存儲產品均是閉源架構,如PowerScale(Isilon)、Spectrum Scale、Nutanix、OceanStor Pacific、VSAN、HCP,翻看了一下三個月前發布的IDC市場份額報告,TOP5分布式存儲廠商中,基於開源二次開發的廠商份額僅佔18%。

  #真相#:開源只是部分廠商的商業選擇,分布式存儲產業的主流還是非開源,並且開源並不代表更加自主可控。

  謊言分布式存儲全面取代企業外置存儲

  這是一個在存儲領域爭論最大的問題。

  正所謂長江後浪推前浪,分布式存儲快速增長是不可否認的,這從各大廠商的業績報告和分析師報告就能看出來,但想要把企業外置存儲這個前浪拍死在沙灘上還是步子邁太大,不現實。

  企業外置存儲在相當長的一段時間內,仍然是主流。它主要面向企業傳統應用如ERP/CRM/HIS等,數據量不大但對可靠性、性能有極致要求,如銀行Core-Banking,從可靠性、生態層面,分布式存儲都不是最佳選擇。分布式存儲主要面向海量數據、新興業務場景,如HPC/EDA、大數據,這類場景以二進位文件、視頻、圖片等非結構化數據為主,數據量極大。所以從場景來看,二者場景是有明確區隔的,按場景並存是最好的選擇。

  從技術的角度,分布式存儲的發力點在大規模的擴展性,基於此逐步優化性能、可靠性,讓海量數據存得下、用得起;企業外置存儲的技術方向在於保持穩定性的基礎上,利用更快的介質、更低時延的網絡為核心業務提供加速,讓業務更穩、效率更高。因此,從技術方向上來看,二者也是各有側重的。

  #真相#:分布式存儲和企業外置存儲並非取代關係,二者相輔相成、互為補充。企業外置存儲主要面向結構化數據市場分布式存儲主要面對海量非結構化數據市場(高價值分布式文件、分布式對象)。

  謊言分布式存儲是「雲」

  IT潮流滾滾向前,每隔幾年總是需要有一些新概念。

  雲和分布式存儲一樣,這些年正在大行其道、炙手可熱。Cloud First、All in Cloud、Cloud Native等概念風靡業界,CIO見面不提雲貌似都不好意思打招呼。早期人們也習慣把分布式存儲叫做「雲存儲」,那麼分布式存儲和雲是什麼關係?

  筆者認為,分布式存儲是一種技術架構,而雲是一種商業模式。分布式存儲可以被用作各種雲的數據底座,也可以單獨成為數據底座,是配合的關係,而非替換和包含關係。

  其實,從與業界公有雲廠商的溝通了解到,公有雲雖然近年來加強對傳統IT市場的轉換,但公有雲數據增長更多還是來自新興場景。以美國市場為例,近年來AWS持續快速增長,但PowerScale(Isilon)作為Dell&EMC面向非結構化數據場景的主力產品,並且近60%的銷售收入來自於北美市場,依然保持以每年近20%的速度穩步增長。

  從場景看,多數海量存儲場景,因客戶數據安全、生態、招標模式等原因,以線下採購為主,公有云為輔助。以HPC為例,雲上HPC給業界提供了一種新的方式,讓更多用戶能享受到公有雲帶來的便利性。但實際上HPC主要用於創新研究,對數據安全要求高,上雲是有顧慮。參考Hyperion Research報告顯示,到2024年雲上HPC的收入佔比僅17.7%,收入佔比很低。

  #真相#:分布式存儲是一個產品雲是一種商業模式是一種服務形式,二者不衝突長期共存是未來

相關焦點

  • 什麼是區塊鏈分布式存儲、IPFS挖礦分布式存儲的商機與Filecoin...
    什麼是恆訊雲分布式存儲?對於計算機系統,計算和存儲是非常重要的連結。可以這樣理解,分布式計算解決了數據計算成本的問題,每個人都可以幫助進行計算。雖然分布式存儲解決了數據安全性問題,但每個人都可以幫助保持帳戶在一起。
  • IPFS 分布式存儲前景是什麼
    網際網路的控制越來越集中在少數幾家大型科技公司的手中,通過像分布式存儲對網絡進行去中心化,始終以社區為中心並面向用戶 ,分布式存儲是對信息技術和未來網際網路功能實現的願景。通過分布式存儲,我們可以創建更自由,更創新,更民主的網際網路體驗。現在是時候將網際網路提升到一個新的水平。
  • 什麼是分布式存儲?深入研究Filecoin
    2020年分布式存儲以其獨特的姿態湧入我們的視野之中,可是我們好像從來沒有思考過,究竟什麼是分布式存儲?而我們為什麼需要分布式存儲?實際上採用分布式存儲可以說是「被迫」的,因為面對越發飛速發展的網際網路、整個生態應用不斷創新、用戶數量不斷龐大、數據階梯式增長這些無疑不給現有的本地存儲帶來巨大的壓力。因此,必須通過採用其他分布式存儲系統去緩解相應的壓力,所以分布式存儲和分布式文件系統應運而生。
  • 深信服發布企業級分布式存儲aStor-EDS
    在大會主論壇上,深信服副總裁陳彥彬隆重發布了深信服2019年春季重量級新品:企業級分布式存儲 aStor-EDS,標誌著深信服在雲計算領域又添一款強勢產品。  作為深信服雲計算業務版圖新成員,深信服企業級分布式存儲 aStor-EDS 集合 AI 人工智慧技術,通過分布式架構構建雲存儲服務資源。本次共發布兩個型號的分布式存儲一體機,以及可部署在 X86 伺服器上的 EDS 軟體。
  • 考拉財經線下沙龍《走近分布式存儲》
    論壇主題為《走近分布式存儲》主持人:考拉財經CEO代姍姍2020年11月16號下午19:30,由考拉財經主辦的超算論壇主題沙龍《走近分布式存儲》在深圳市南山區花火咖啡館盛大舉行。嘉賓們在一起討論分享了國內分布式存儲的問題,以及發表了對分布式儲存未來的一些看法。本次論壇由考拉財經CEO代姍姍對話嘉賓,由問答的方式解答近期行業內熱點內容。並向大家分享了—如何提高封裝速度及有效的存儲數據哪裡來這一話題。並請到深圳市區塊鏈協會秘書長吳俊傑發表了名為《分布式存儲的國家政策支持》的講話。
  • 亂花漸欲迷人眼
  • 星際領航—2020上海國際IPFS分布式存儲論壇正式開幕
    掀起了一場關於分布式存儲的超級盛會。隨著Protocal Labs宣布主網即將上線後,分布式存儲獲得空前關注,而此次論壇旨為分布式存儲行業提供交流合作平臺,共同把脈分布式存儲未來發展趨勢,促進分布式存儲行業資源對接,帶動行業應用和優質項目落地,推動分布式存儲技術和產業發展。
  • 深信服重磅發布:企業級分布式存儲aStor-EDS
    在大會主論壇上,深信服副總裁陳彥彬隆重發布了深信服 2019 年春季重量級新品:企業級分布式存儲aStor-EDS,標誌著深信服在雲計算領域又添一款強勢產品。作為深信服雲計算業務版圖新成員,深信服企業級分布式存儲aStor-EDS集合AI人工智慧技術,通過分布式架構構建雲存儲服務資源。本次共發布兩個型號的分布式存儲一體機,以及可部署在X86 伺服器上的EDS軟體。
  • 中心化存儲之殤亟需解決,分布式存儲成為剛需!
    更令NASA頭疼的是,即便花費高額存儲費用,這些靜靜地躺在中心化存儲中心的數據仍然脆弱。NASA在2006年承認,記錄「阿波羅11號」1969年7月20日登月壯舉的原始錄像不知去向,登月的原始錄像帶數量非常龐大,共計1.3萬盤,每盤錄像帶記錄大約15分鐘的畫面資料。
  • IPFS紅岸智能周雪松:分布式能自動恢復存儲
    紅岸智能 周雪松新系列知識點告警監控,這個必須運行在每個伺服器上,從而無論是物理機,還是VM,都需要運行這個監控程序,這樣才能進行告警通知管理……但是你說我是分布式,我為什麼還要告警呢?分布式能自動恢復,是否就不需要告警了,其實,可以認為是告警自愈不是更好,在那段時間告警,過短時間自動恢復,蠻好的。再考慮一種場景,我的生產系統需要一個分布式存儲,我的測試環境需要一個分布式存儲,我的開發環境也需要一個分布式存儲……天天部署這種服務也心累……那麼怎麼辦?
  • IPFS分布式存儲到底有什麼神奇之處?
    IPFS分布式存儲到底有什麼神奇之處? IPFS必讀手冊 IPFS的存儲需求和挑戰 IPFS作為分布式存儲的新興場景,與傳統的分布式存儲場景有著較大的區別,主要分為性能、可靠性、容量、供應、價格、易維護性這幾個方面的需求。 性 能 在性能上主要分為三部分挑戰。
  • IPFS創始人胡安·貝內特締造分布式存儲新時代
    IPFS創始人Juan只手締造分布式存儲新時代整個2020年,區塊鏈世界最熱門的項目之一,當屬即將於7月上線的Filecoin。這個基於IPFS底層協議的存儲網絡已經成長為全球性的分布式存儲選擇,以巨大的潛力吸引了無數人的目光。
  • 耘存科技與信達環境就IPFS分布式存儲達成戰略合作
    9月12日,上海耘存科技發展有限公司與江蘇信有達環境設備製造有限公司雙方就IPFS分布式存儲業務展開戰略合作,耘存科技是一家紮根於IPFS分布式存儲的高新技術企業,信達環境則是一家專注於傳統製造的大型企業,相信此次信達環境的加入將為IPFS分布式存儲生態注入新的力量。
  • IPFS星際特工·第二分布式存儲數據中心正式完成建設
    對此重大喜訊,全球幣碼翁區塊鏈研究院院長、中國IPFS俱樂部發起人、IPFS星際特工創始人凌發明先生表示,全球幣碼翁區塊鏈研究院·星際特工—第二分布式存儲數據中心的正式落成,是整個團隊積極探索,勇於創新,精益求精的成果,它標誌著全球幣碼翁區塊鏈研究院在分布式存儲技術領域又實現了一次重大跨越!
  • 淺談示波器的存儲深度
    如果沒有足夠的帶寬,得到的關於信號的所有特性,響鈴和振鳴等都毫無意義。本規格指出示波器所能準確測量的頻率範圍。每位工程師都足夠重視帶寬對測量的影響,所以大家都遵循測量的五倍法則:示波器所需帶寬=被測信號的最高信號頻率*5,使用五倍準則選定的示波器的測量誤差將不會超過+/-2%,對大多的操作來說已經足夠。
  • 阿里雲、亞馬遜雲布局IPFS,分布式存儲勢不可擋丨星際數據
    近年來,大部分投資者都曾有過一個疑問:「為什麼華為、阿里、亞馬遜不使用IPFS&Filecoin,IPFS&Filecoin發展前景如何,到底能否取代傳統的數據中心」,其實,傳統的雲存儲和分布式存儲之間並不是非此即彼的選擇題,雙方是可以求同存異、共生互補的,同時,由於IPFS&Filecoin分布式存儲順應時代需求,具有足夠的創新性和廣闊的應用場景
  • 從BT電驢到磁力連結 分布式存儲發展史就是一部網際網路商業恥辱史...
    盜版、色情泛濫,成為分布式網路的最大標籤。從2000年誕生的電驢,到後來的電騾,再到2001年誕生的BT,再到後來的磁力連結,分布式網絡在為大型文件上傳與下載提供便利的同時,也變成了滋生犯罪的溫床。從瑞典到美國,從英國到德國,從西班牙再到中國,分布式網絡上的犯罪行為不斷遭到打擊,可以這樣說,分布式存儲發展史,就是一部網際網路商業恥辱史。
  • 深信服分布式存儲EDS通過泰爾實驗室壓力測試,多項指標成業界標杆!
    存儲成本高、擴容難?當數據量達到一定程度時,性能嚴重衰減?可靠性保障只能被動防禦,不能主動出擊?這款分布式存儲,讓問題迎刃而解。日前,深信服企業級分布式存儲EDS正式通過中國泰爾實驗室權威機構測試驗證。
  • ipfs分布式存儲和區塊鏈中的礦工主要區別是什麼?
    ipfs分布式存儲礦工和區塊鏈中的礦工些什麼人?他們在挖什麼?說到挖礦和礦工,我們首先想到的是煤礦工人。這些挖煤礦工他們渾身沾滿煤渣,拿著工具在煤坑開採,日夜不歇。但自從區塊鏈誕生以來,礦工不再僅僅是煤礦工人的稱呼了。這些礦工的身份對外界來說相當神秘。
  • 中國SDS市場最新數據出爐:浪潮分布式存儲為何成增速第一?
    該項目的落定可以說是樹立了運營商在分布式塊存儲應用採購上的一個「標杆」,也代表著通信行業雲化轉型的推進走入了一個全新階段。不止是電信行業,金融、天文、氣象等領域,同樣對分布式存儲情有獨鍾。可見,當前新數據時代已經到來,存儲呈現從集中式向分布式架構發展的趨勢。那麼,為何運營商等企業,會越來越重視分布式存儲?