為了讓你用上大容量磁碟海量存儲，希捷開源了一套對象存儲

2020-09-25 雲體驗師

2020年9月25日凌晨，希捷開源了一個叫做CORTX的對象存儲軟體項目，CORTX項目100%開源，兼容標準的S3接口，目前已經可以在github（地址見文末）上獲取到源碼，同時，還提供了預配置的虛擬機鏡像直接安裝快速體驗，如果有什麼問題，也可以在新建立的CORTX開源開發者社區裡進行交流。

CORTX是希捷完全從頭開始設計和實現的對象存儲方案，它直接將數據存到塊設備中，而不經過本地文件系統層，它還有許多高級特性，比如使用流式b-trees來訪問系統和用戶元數據等小塊數據，以此提升性能。

CORTX作為面向非結構化數據存儲的大容量分布式對象存儲方案，其擴展性是重點，單一namespace下可以從幾PB起步擴展到EB級別。

與此同時，為了方便在生產環境用起來，CORTX還發布了參考架構Lyve Drive Rack（LDR）方案，LDR是一個融合系統，它採用AA高可用架構設計，數據保護方面還支持ADAPT技術，單節點支持放置84或者106塊磁碟，支持16、18TB CMR磁碟，容量大約1.3PB起步。

LDR目前在磁碟櫃級別提供了數據持久性，如上圖所示，這種等級制（Hierarchical）的擦除編碼技術能加快磁碟的故障恢復速度，特別是在用大容量磁碟時候更有效。

想要自行搭建CORTX系統的用戶最好使用有高可靠設計的存儲硬體，因為，CORTX軟體中的擦除編碼技術目前還是預覽狀態，想要使用該技術的話還得等等。

對希捷來說，CORTX可以更好地利用大容量磁碟，CORTX開源方案中加入了希捷對於大容量硬碟做的許多獨有優化，官方的優化能發揮硬碟本身的特性和優勢。

從戰略上來講，對於希捷的主營業務有直接利好，希捷也宣布將於12月發布20TB HAMR磁碟，預計在2026年，能把HAMR盤做到50TB。從目前資料來看，希捷表示目前主要支持CMR，以及新的HAMR盤，沒有提及SMR，不過，後續可能會基於CORTX對SMR做一些優化。

基於大容量磁碟的CORTX可以提供超高的存儲密度，減少地板資源佔用，節省寶貴的機房空間，所以，對最終用戶來說，CORTX可以實實在在幫助用戶降低成本，至少軟體是免費的。還有希捷硬碟原廠技術服務撐腰，可能會比別的開源方案用的更放心一些。

市場會接受這樣一個新的對象存儲方案嗎？

由於CORTX是100%開源的，所以，天生就比較容易被接受。CORTX由希捷來開源的好處是，可以快速構建生態，在CORTX社區裡，匯集了大量最終用戶、OEM以及許多開發者。基於種種設定，相信Cortx很快就能在生態上打開局面。

英特爾表示可以基於傲騰持久內存、QAT技術、以及DAOS文件系統與之合作。著名HPC並行文件系統廠商WekaIO肯定了CORTX對於在存儲的高性能和存儲的經濟方面的價值。

而且，CORTX是一款不依賴特定硬體架構的開源對象存儲軟體，如上圖所說，支持任意類型處理器，只要是支持標準塊存儲接口的設備都可以用，無論是SSD還是磁碟又或者是NVM，無論是希捷的盤還是別人家的磁碟應該也都能用。

對用戶來說，沒有廠商鎖定的風險，對於合作夥伴來說，參考解決方案的打造可以豐富其產品類型。

CORTX是一個非結構化數據存儲方案，其應用場景包括人工智慧、機器學習、混合雲、邊緣計算、高性能計算等。目前，已有多家科研機構測試或者實際使用了CORTX，包括法國替代能源和原子能機構、英國原子能管理局、洛斯阿拉莫斯國家實驗室。

還有硬體合作夥伴正在測試軟硬一體的打包解決方案。首批參考架構將於2020年Q4正式對外可用，商用版本的一體機方案可以從合作夥伴處獲取，從而為LDR提供企業級支持。


希捷為什麼要開源這樣一個項目呢？

大容量硬碟帶來的成本優勢


如今網際網路技術發展越來越多地影響著企業IT，希捷的CORTX主要面向的是企業級用戶，CORTX開源的、沒有廠商綁定的思路與超大規模數據中心的做法如出一轍，讓企業也享受到網際網路公司技術的福利，比如網際網路公司能比企業更快用上大容量磁碟。

希捷分析後給出了一個有趣的數字，現在的企業級存儲比較貴，用戶在企業級存儲上投入的資金中只有25%是花在磁碟本身的，換言之，就是用戶付出的額外成本太高了，降低成本的方式有很多，比如開源一個CORTX。

其實，在幾年前，西數也有過類似的解決方案，它的意義在於提升產品方案的附加值，不只是售賣磁碟而已。相比之下，希捷的此次做法就高明很多，開源方案更容易讓人接受，開源的CORTX避免了與合作夥伴的直接競爭。

希捷與對象存儲其實頗有淵源。

1999年，希捷提交了「基於對象的存儲設備命令集建議」的初步版本，包括卡內基梅隆大學、IBM、Quantum和StorageTek對該建議都有貢獻，這份建議中將對象定義為一種抽象數據，它具有唯一的標識符和元數據，定義了對象如何與文件系統的關係，以及許多其他創新概念。

希捷也從來不滿足於只做硬碟。值得一提的是，LYVE Drive是希捷一大類存儲產品的品牌，LYVE Drive Mobile從SD卡、到讀卡器、到硬碟盒、存儲陣列都有，側重於移動性，能讓數據從邊緣傳到數據中心，LYVEDrive Shuttle則算一個獨立的系統，有計算存儲和網絡能力，而LYVE Drive Rack作為新的存儲系統參考架構，進一步豐富了該產品線。

複製地址獲取源碼

https://github.com/Seagate/cortx

相關焦點

  • 為了讓你用上海量存儲,希捷開源了一套對象存儲——CORTX
    2020年9月25日凌晨，希捷開源了一個叫做CORTX的對象存儲軟體項目，CORTX項目100%開源，兼容標準的S3接口，目前已經可以在github上獲取到源碼，同時，還提供了預配置的虛擬機鏡像直接安裝快速體驗，如果有什麼問題，也可以在新建立的CORTX開源開發者社區裡進行交流。
  • 希捷發布CORTX對象存儲與開源社區，普惠超大規模數據存儲
    中國，北京，2020年10月29日——全球領先的數據存儲和管理解決方案提供商希捷科技公司（NASDAQ：STX）今日舉行了「Let’s Rethink Data」希捷科技Datasphere線上峰會。在本次峰會，希捷科技攜手行業專家與生態合作夥伴洞見數據產業趨勢，並發布了對象存儲軟體CORTXTM以及CORTXTM開源社區，為企業用戶提供更為優化的數據存儲架構。
  • 海量數據奔湧，存儲巨頭希捷如何解題？
    近日，在「Let’s Rethink Data」希捷科技Datasphere峰會上，希捷發布了對象存儲軟體CORTX以及CORTX開源社區，以及Lyve Drive Rack，這一基於CORTX軟體平臺，開放靈活、可作為融合基礎架構部署的參考架構。當硬漢變得柔情，希捷可能比你想像的更懂企業所苦所需。
  • 超大規模數據的開源普惠:希捷CORTX加速對象存儲創新
    而希捷此次發布的對象存儲軟體CORTX和CORTX開源社區，就是開放合作和技術創新的最佳實踐，同時，希捷還推出了融合基礎架構解決方案Lyve Drive Rack。 無論是傳統企業的數據挖掘和雲化轉型，還是網際網路企業的超大規模數據中心建設，要想存儲更多的數據，最直接的方法就是利用技術紅利讓硬碟存得更多、成本更低。但是落地到客戶一側，考慮到採購周期、部署成本、內部流程、操作難易度等因素，並不是每家企業都會在第一時間用上最新的產品，而軟體化的交付和開源技術，則可以快速讓客戶使用大容量硬碟，有效降低TCO。
  • 希捷發布CORTX對象存儲軟體：100%開源+EB級擴展
    了解更多熱門資訊、玩機技巧、數碼評測、科普深扒，點擊右上角關注我們----------------------------------近日，希捷科技在Datasphere線上峰會正式發布對象存儲軟體CORTX以及CORTX開源社區，為企業用戶帶來更為優化的數據存儲架構。
  • 希捷企業級數據存儲系統,讓海量數據「冷藏」、「解凍」自如
    傳統用於海量數據存儲的磁帶庫、光碟庫已經逐漸不能滿足IT4.0時代快節奏、高效率的存儲需求。首先，雖然大量數據存放在冷存儲系統中，但用戶對實時性和存儲性能仍有一定要求。傳統的磁帶庫經常需要耗費幾個小時甚至一天的時間提取存儲的數據。擴展容量時，需要重新購買整套磁帶庫，費時、費力又費錢。於是近年來，磁碟冷存儲成為後起之秀，逐漸獲得行業的關注與認可。
  • 希捷推出對象存儲軟體CORTX 在GitHub開源定義存儲平臺代碼
    在今日的 DFatasphere 線上活動期間，希捷(Seagate)推出了與 S3 平臺兼容的對象存儲軟體 CORTX，並在 GitHub 上開源了這款軟體定義存儲(SDS)平臺的代碼。作為 GitHub 存儲庫的一部分，希捷還以「CORTX 社區」名義組建了一支研發人員團隊，提供了一個方便快速開啟測試的預構建虛擬機鏡像。
  • 存儲系列三：塊存儲、文件存儲、對象存儲的比較
    2、 另外也可以將多塊廉價的硬碟組合起來，成為一個大容量的邏輯盤對外提供服務，提高了容量。3、 寫入數據的時候，由於是多塊磁碟組合出來的邏輯盤，所以幾塊磁碟可以並行寫入的，提升了讀寫效率。4、 很多時候塊存儲採用SAN架構組網，傳輸速率以及封裝協議的原因，使得傳輸速度與讀寫速率得到提升。
  • 應對非結構化數據增長 希捷發布CORTX對象存儲軟體
    北京時間9月25日凌晨，在首屆Datasphere年度峰會上，數據存儲和管理解決方案供應商希捷發布了全新對象存儲軟體、基於開源軟體的參考架構以及相對應的開發者社區，旨在應對非結構化企業級數據的增長。希捷發布的全新解決方案包括100%開源軟體CORTX、CORTX協作開源社區，以及Lyve Drive Rack，這一基於CORTX軟體平臺，開放靈活、可作為融合基礎架構部署的參考架構。
  • MinIO開源的對象存儲服務非常適合於存儲大容量非結構化的數據
    MinIO快速入門指南MinIO Docker快速入門MinIO糾刪碼快速入門分布式MinIO快速入門使用TLS安全的訪問MinIO服務MinIO存儲桶通知指南MinIO服務限制/租戶MinIO Server配置指南MinIO多租戶（Multi-tenant）部署指南MinIO Azure網關MinIO GCS網關MinIO NAS網關MinIO磁碟緩存指南MINIO部署
  • 存儲系列二：塊存儲、文件存儲、對象存儲、分布式文件存儲
    OSD的主要功能包括數據存儲和安全訪問。目前國際上通常採用刀片式結構實現對象存儲設備。OSD提供三個主要功能： （1） 數據存儲。OSD管理對象數據，並將它們放置在標準的磁碟系統上，OSD不提供塊接口訪問方式，Client請求數據時用對象ID、偏移進行數據讀寫。 （2） 智能分布。OSD用其自身的CPU和內存優化數據分布，並支持數據的預取。
  • 希捷16TB磁碟,你準備好怎麼用了嗎?
    希捷最近開始出貨業內首款16TB磁碟了，提起希捷16TB，很多人首先就能想到的肯定是大容量的Exos X系列了，沒錯，這次發布的就是Exos X16企業級伺服器硬碟，另一個還有IronWolf NAS 16TB硬碟，各種標準和參數與各系列之前的產品基本一致，唯獨容量上了新的臺階。
  • 從網絡文件系統到對象存儲，聊聊對象存儲的前世今生
    由於文件系統空間組織的特點，導致對文件訪問的時候需要比較多次的磁碟訪問。以Ext4文件系統為例，文件系統將磁碟空間分為兩個主要的區域，一個是元數據區，用於存儲文件inode等信息；另外一個是數據區，用於存儲文件的數據，也就是用戶數據，具體如下圖所示。
  • AWS發布的雲上SAN,開始挑戰傳統企業存儲了嗎?
    說起EBS io2 Block Express可能大家不太熟悉，這裡介紹下：EBS是AWS的塊存儲服務，大體上EBS分為磁碟類和SSD類兩種，SSD類EBS又分為General Purpose SSD（通用類）和Provisioned IOPS SSD（預分配類）兩種，io2 Block Express就是Provisioned
  • 華為對象存儲服務是什麼?塊存儲、文件存儲和對象存儲有什麼區別
    我們知道，華為雲服務分為計算服務、網絡服務、存儲服務等，這其中，存儲服務似乎是最深奧難懂的，有著各種各樣的概念，例如有對象存儲、文件存儲和塊存儲。你知道它們的區別嗎，又應用在哪些方面？對象存儲服務首先，我們來了解一下什麼是對象存儲服務。
  • 希捷Exos 18TB盤跑分:傳統磁碟的容量和性能又創新高
    最近，希捷發布了18TB的希捷銀河（Exos）X18企業級硬碟，它主要面向數據中心和企業存儲陣列場景，對標西數Gold 18TB EAMR盤。希捷銀河(Exos) X18提供SATA和SAS兩個版本，採用的是傳統CMR，7200轉，有256MB的多段緩存，大體上的參數與此前的X16區別非常的小。
  • 你缺的不是對象，缺的是對象存儲
    對象存儲對象存儲它存儲的是文件數據、非結構化數據，比如音頻、視頻、圖片、文件等等。簡單來說，對象存儲的過程就像你去超市購物時，將自己的包包放在儲物櫃，儲物櫃會給你一張憑條，購物完畢，憑藉條子就可以取貨。
  • 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼？
    2、另外也可以將多塊廉價的硬碟組合起來，成為一個大容量的邏輯盤對外提供服務，提高了容量。3、寫入數據的時候，由於是多塊磁碟組合出來的邏輯盤，所以幾塊磁碟可以並行寫入的，提升了讀寫效率。4、很多時候塊存儲採用SAN架構組網，傳輸速率以及封裝協議的原因，使得傳輸速度與讀寫速率得到提升。
  • Hadoop開源社區正式支持騰訊雲對象存儲COS
    8月4日消息，知名大數據開源社區Hadoop近日宣布對騰訊雲對象存儲COS的正式支持。後續，開發者在基於Hadoop架構進行大數據分析時，能夠在不修改代碼的情況下，無縫高效地使用騰訊雲COS來處理海量數據的讀寫任務。這標誌著騰訊雲對象存儲技術受到了全球最主流大數據開源社區的認可。
  • Hadoop開源社區正式支持騰訊雲對象存儲COS
    8月4日消息，知名大數據開源社區Hadoop近日宣布對騰訊雲對象存儲COS的正式支持。後續，開發者在基於Hadoop架構進行大數據分析時，能夠在不修改代碼的情況下，無縫高效地使用騰訊雲COS來處理海量數據的讀寫任務。這標誌著騰訊雲對象存儲技術受到了全球最主流大數據開源社區的認可。