IPFS紅岸智能周雪松:節點5大場景、8大關鍵能力

2020-12-05 科技熱聞說

紅岸智能 周雪松新系列知識點

Gartner報告 提供5大場景、8大關鍵能力的評分

在這個大背景之下,顯然有必要對各廠商的分布式存儲系統的各項參數、能力、場景適配等進行梳理總結、評估。在Gartner最新《Critical Capabilities for Distributed File Systems》分析報告中,將分布式存儲系統的關鍵能力做了總結,得出8個核心關鍵能力:

容量 - 數百TB甚至PB級別的容量擴展潛力

空間效率 – 支持壓縮、重刪、Thin Provision、自動分層的能力

平臺適配性 – 與第三方軟體平臺的適配能力

可管理性 – 支持自動化管理、監控以及提供分析報告工具的能力

性能 – 總IOPS、帶寬吞吐量、時延指標,以及在真實應用場景下的性能發揮程度

自愈能力 – 提供高可用性和數據保護的能力

多租戶及安全性 – 包括細粒度訪問控制、用戶控制的加密、防惡意軟體等

價格 – 提供優異性價比以及定價模型的能力

<figure style="box-sizing: border-box; list-style: inherit; margin: 20px 0px; color: rgb(51, 51, 51); white-space: pre-wrap;">

</figure>

該報告還總結出了分布式存儲系統的5個主流的應用場景:歸檔、備份、商用HPC、混合雲、大數據分析。

這個劃分我覺得還是比較全面的,從業務角度入手來審視分布式存儲應該具有什麼樣的能力來支撐這些業務場景。

相關焦點

  • IPFS紅岸智能周雪松:IPFS的其他幾個優勢
    學員:請問ipfs是如何做到抵禦女巫攻擊,DDOS攻擊的?吳冀熱老師,除了eos,eth錢包使用了ipfs的存儲網絡外,還有哪些幣種也在使用ipfs的存儲網絡?吳驥熱:如果網絡中存在一個惡意節點,那麼同一個惡意節點可以具有多重身份,原來需要備份到多個節點的數據被欺騙地備份到了同一個惡意節點(該惡意節點偽裝成多重身份),這就是女巫攻擊。吳驥熱:怎麼解決女巫攻擊?一種方法是工作量證明機制,即證明你是一個節點,別只說不練,而是要用計算能力證明,這樣極大地增加了攻擊的成本。
  • IPFS紅岸智能周雪松:場景的節點部署
    紅岸智能 周雪松新系列知識點正因為應用架構多變,並不像傳統業務那樣在I/O方面完全標準化,所以派生了大量應用場景,帶來的問題也是顯然的,分布式存儲系統需要應對這些非標準化場景,對這些場景的節點部署、網絡、I/O方式、API接口等都需要進行精確評估
  • IPFS紅岸智能周雪松Filecoin:網絡的Encryption層設計
    IPFS紅岸智能周雪松Filecoin未來分布式存儲的演講  一、研究背景  1.1 從HTTP到HTTPS的變遷來看:  從HTTP逐漸過渡到HTTPS的過程可以看出,網絡中的明文傳輸始終具有不安全感,據我所知,從2015年開始,大部分網際網路巨頭公司都強制要求各產品線切換使用HTTPS(加密超文本傳輸協議),通過SSL/TLS完成雙向加密,加固全球資訊網上的安全通信,尤其是在交易支付場景下
  • 紅岸智能CTO周雪松:IPFS分布式金融科技的未來之路
    其實紅岸的技術團隊從2018年年初就開始組建並著手研究。紅岸智能嚴格按照未來FILECOIN開採的要求,自主研發的主板5.0版本在FILECOIN主網上已經問世。紅岸將目標定位行業內頂級的分布式雲存儲服務商。
  • IPFS紅岸智能周雪松filecoin:分布式鎖的特性
    IPFS紅岸智能周雪松filecoin分布式鎖需要滿足如下特性:互斥。這是鎖服務的基本能力,多個節點下必須確保同一時刻只有一個節點能獲得鎖。死鎖在分布式環境下很容易出現,比如某個節點得到鎖之後,因為節點故障宕機,或者節點和鎖服務之間網絡故障,都會造成鎖沒有機會釋放的情況。因為鎖未釋放,所以其他節點也就無法再獲得鎖提供正常服務,從而使得整個系統處於死鎖狀態。分布式鎖服務要做的是從鎖本身出發,規避死鎖。一般可以通過對鎖加自動過期時間解決。高性能。
  • IPFS紅岸智能周雪松:有效容量計劃
    紅岸智能 周雪松新系列知識點該報告入圍了7家主流分布式存儲系統廠商產品用於評估,並針對8項核心關鍵能力中的每一項都給出了評分,見Table 2。該報告還針對五大典型場景下針對每種能力的需求給出了權重值,見Table 1。HPC和數據分析場景下對性能有強烈需求。值得一提的是,不管是在哪個場景下,對可管理性的需求都相對較高。除了混合雲場景,其他場景對容量的需求也是相對比較高的。
  • IPFS紅岸智能周雪松:日誌的增量備份
    紅岸智能 周雪松新系列知識點下面講一下我們怎麼做快照備份的,叫回檔。我們會持續將我們的數據備份,讓用戶構建出過去某個時間點的一個快照出來,其實這個回檔思想主要是,這分兩個,一個是備份,一個是恢復。關鍵問題是如何根據時間戳找到各個分片可以恢復的統一時間點,第二個問題是如何確定當前時間的分片數目。
  • IPFS紅岸智能周雪松:IPFS+Filecoin為Web3.0提供數據存儲土壤
    IPFS紅岸智能周雪松:IPFS+Filecoin為Web3.0提供數據存儲土壤轉自|榮來科技隨著區塊鏈技術的發展,人們對於未來萬物互聯、智能交互的時代倍感期待,而這個時代基於Web3.0來實現則更讓人充滿信心。
  • 紅岸智能CTO周雪松:存儲證明和EC共識
    紅岸智能CTO周雪松:存儲證明和EC共識周雪松:英國愛丁堡赫瑞瓦特大學 工程造價碩士。複製證明可以簡單的理解為將數據編碼後存進節點並上鏈生成複製證明,證明節點存儲了當前數據,而時空證明就是引入了時間的概念,實現了數據的長久存儲,可以理解為連續不斷的完成複製證明,在特定的時間段內,不斷證明
  • 紅岸智能CTO周雪松:哲學,是永恆的凝望。
    紅岸智能周雪松:知識哲學系列哲學,是永恆的凝望。人類以極致理性凝望宇宙,宇宙也無聲地凝望著人類。沒有最後的答案,只有永恆的凝望。科技,是無盡的超越。
  • 紅岸智能IPFS研討分享會在北京成功舉辦
    11月9日,紅岸智能IPFS分布式存儲應用研討沙龍在北京瑞吉酒店橡樹廳舉辦,此次活動由紅岸北京合作夥伴策劃和組織,邀請的都是網際網路、金融、教育等行業的朋友。在沙龍開始前,大家先做了簡單的自我介紹,很多朋友都是想要了解區塊鏈這個新興行業過來學習的,也有一些是紅岸智能CTO周雪松的忠實粉絲,特地趕過來與周總見面交流。周總首先分析了目前的網際網路行業狀況:高度中心化和壟斷化。
  • IPFS紅岸智能周雪松:針對一個分片的數據
    紅岸智能 周雪松新系列知識點副本針對一個分片的數據,只能有一個寫入的地方,這就是master,其他副本都是從而ES是使用Bully算法,通過選出ID最大的節點當作master。無論什麼方式,都是要從一堆機器中,找到一個唯一的master節點,而且在選舉的過程中,都需要注意一個腦裂問題(也就是不小心找到倆了)。master選舉通常都是投票機制,所以最小組集群的臺數一般都設置成n/2+1。
  • IPFS紅岸智能周雪松:分布式能自動恢復存儲
    紅岸智能 周雪松新系列知識點告警監控,這個必須運行在每個伺服器上,從而無論是物理機,還是VM,都需要運行這個監控程序,這樣才能進行告警通知管理……但是你說我是分布式,我為什麼還要告警呢?再考慮一種場景,我的生產系統需要一個分布式存儲,我的測試環境需要一個分布式存儲,我的開發環境也需要一個分布式存儲……天天部署這種服務也心累……那麼怎麼辦?
  • IPFS紅岸智能周雪松:雲存儲Encryption的弱點
    紅岸智能 周雪松新系列知識點Convergent Encryption的弱點在MLE的框架下,CE被證明滿足PRV$-CDA安全性 [13]。首先,我們知道,MLE智能保護具有比較高的不可預測性的數據。而在雲存儲系統的實際使用中,很多用戶數據恰恰是可預測。比如說很多公司的文檔都有共同的模板和格式,這可能導致有些數據塊只可能有很少的取值可能。其次,即使數據的不可預測性很高,對手仍然可以很容易地驗證一個信息:判斷給定的密文是否加密了一個來自於一個不大的集合的數據。只要將該集合內的所有元素分別加密後與給定密文比較即可。
  • IPFS紅岸智能周雪松:分布式文件系統
    紅岸智能 周雪松新系列知識點針對這幾種不同的數據類型,分布式存儲系統適合處理不同的類型的數據,將分布式存儲系統劃分為以下幾種:分布式文件系統:
  • IPFS紅岸智能周雪松:兩個層次的存儲
    紅岸智能 周雪松新系列知識點現在講一下我們定義的接口,想強調的是CynosStore是存儲計算接口很清晰的一個系統。style="box-sizing: border-box; list-style: inherit; margin: 20px 0px; color: rgb(51, 51, 51); white-space: pre-wrap;"></figure>另外一點是我們除了支持這兩個層次的存儲之下的,有一個新的能力
  • IPFS紅岸智能:IPFS2020年項目重點!
    我們仍然在實現包管理器目標方面取得了進展,但是比我們期望的要少得多,因為它還在其他關鍵領域進行了大量投資以支持生態系統。一個特別的附加功能是在「最後更新」時間向我們的unixfs數據模型添加元數據,以支持更智能/更快的軟體包更新(簡稱為「unixfsv1.5」,已在js-ipfs中實現;即將推出)。其中許多針對包管理器的改進都將在我們的下一個功能版本go-ipfs 0.5.0中推出-請隨時關注或抓取最新主程序來嘗試一下!
  • IPFS紅岸智能周雪松:master進程分布式存儲
    紅岸智能 周雪松新系列知識點有點扯遠了,所以還是換回單個的數據中心,在其中部署一個私有雲,私有雲的分布式存儲……假設chunkserver使用6臺物理機,那麼這幾個master的VM也運行在這六臺物理機上麼
  • 「IPFS紅岸智能」IPFS 0.5內容路由改進:更深入的研究
    原創:Adin Schmahmann原文連結:https://blog.ipfs.io/2020-07-20-dht-deep-dive/由紅岸智能編譯4月底,我們發布了迄今為止最大的go-ipfs更新:IPFS 0.5。
  • IPFS測試網:紅岸智能僅用20臺礦機,周雪松團隊不到一天便直接上榜!
    IPFS測試網:紅岸智能僅用20臺礦機,不到一天便直接上榜!2019年12月15日晚7點30分,紅岸智能測試網節點 T01785  正式開始上線工作,從測試網上線開始我們便一直在做優化工作,因為我們知道,測試網是場馬拉松,不僅有很多輪,同時也會持續數個月的時間,還有很多可提升的空間,節點上線僅僅是個開始,我們還會繼續提升,不斷優化。