ipfs正舵者科普知識:物理存儲容量與有效存儲容量的區別

2020-12-17 正舵者科技

我們日常使用的電腦,點開「我的電腦」,都會有C盤、D盤之類的硬碟顯示。無論是下載的應用,還是文件,都必須保存在某個盤中,這個行為便是數據存儲。說到存儲,就繞不開存儲空間。細心的朋友可能會發現,家用電腦的實際可用硬碟容量,是少於硬碟廠家標定的存儲容量的。由此,產生了物理存儲和有效存儲的區別。

存儲空間與編碼方式

簡單類比一下,可以將Filecoin網絡看成一個「電腦」集群,只是這個「電腦」在這裡變成了專為數據存儲量身定做的伺服器,而存儲空間的原理則是一樣,有效存儲相比於物理存儲,會有所下降。這也是為什麼各家節點運營商同樣的存儲容量,獲得的FIL獎勵不盡相同。

家用電腦的存儲空間失真比例相對較小,幅度在10%左右。但是Filecoin網絡裡的伺服器,出於對數據進行恢復的需要,進行了碎片化備份,以及錯誤修正碼等防護措施。Filecoin網絡對數據驗證的方式具有唯一性,並不會給備份的數據發放獎勵,因此,有效存儲與物理存儲將會存在30%-50%的偏差。這個偏差數值,取決於數據編碼方式,即Raid0、Raid1、Raid2......Raid100的區別。

市面上主流的數據編碼方式,主要有Raid0、Raid1、Raid5、Raid10這幾種。簡單概述一下:

01

能有效提升硬碟數據的吞吐速度,有效存儲空間的損耗最低。但任何一塊硬碟損壞,都會導致整個系統的數據受到破壞。這種數據編碼方式顯然不適合Filecoin網絡,太空競賽首日,某節點運營商數據被清零,大概率便是使用了Raid0數據編碼方式。

02

將數據完整備份在多個硬碟中,在數據災難恢復方面,獲得極高的安全性,但是由於備份比例高達50%,所以有效存儲只佔物理存儲的50%。對於技術創新能力一般的節點運營商,選擇Raid1不失為一個穩妥的策略,只是在FIL收益上打的折扣有點大。

03

空間利用較大,同時存在一定能力的災難恢復能力。它不會備份真實數據,而是將數據的奇偶校驗信息備份到除自身外的每一塊硬碟中。一旦有數據損壞或丟失,通過奇偶校驗信息來試圖恢復數據。這樣做的好處兼顧了讀寫速度、數據安全性、存儲空間丟失率等各方因素。小範圍的數據損壞及丟失,一般都能恢復。在Filecoin網絡體系中,Raid5是比較合適的方式,但也不是最佳選擇。

04

融合了Raid0+Raid1,將硬碟分組進行存儲。使Raid0的數據吞吐速度和Raid1的絕對安全,理論上只要同一組硬碟沒有全部損壞,那麼所有數據都能完整被恢復。使用Raid10的話,幾乎可以不用擔心數據安全,也可以保證吞吐量的高速運轉,但是有效存儲依然是物理存儲的50%。

為什麼都是1T的存儲容量,各節點運營商獲得的FIL收益卻存在差距。看完上述數據編碼方式,想必已經清晰明了地知道前因後果了吧?根據對目前各Filecoin商家的調研,有效存儲率基本達到67%,即1TB的物理容量,可以封裝0.67TB的數據碎片,或者理解為0.67TB已封裝的存力。

相關焦點

  • 「有效容量」才是通向未來存儲的鑰匙
    很多企業對價格、參數、指標的關注,已經超過了IT設備能帶來多少實際收益的關注,比如:真正需要的容量是多少?這些設備能否滿負荷運轉?會帶來多大的耗電成本?一些設備廠商也給IT採購者造成一種「越新的型號,採用最新技術的系統,性能越好」的誤區,從而使他們盲目地購買配置較高,但有可能冗餘的存儲產品。
  • 單根存儲容量可以達到512GB,DDR5最大的競爭優勢是存儲容量
    比較之下,FrankRoss覺得存儲容量很有可能更至關重要,DDR5的內存顆粒存儲容量會從16Gb起跳,將來可以達到32Gb,之間很有可能會有一個24Gb的過渡。16Gb關鍵存儲容量代表著一個關鍵就會有2GB存儲容量,運行內存單根存儲容量輕輕鬆鬆保證16GB,如果堆更多關鍵,那樣單根存儲容量256GB的DDR5運行內存馬上會很普及。
  • 1PB的存儲容量可以賣多少錢?
    他問我1PB的存儲容量現在賣多少錢以及我認為普通的個人消費者是否買得起。 這些問題本身都很有趣。1PB的存儲容量可以賣多少錢呢? 這樣看具體情況而定,現在的價格肯定比去年要低一些,但是也不會象某些人想像得那麼便宜。 首先,這要看你打算用那些存儲容量來幹什麼,容量、信息傳輸速度和I/O性能都會影響到那些存儲容量的價格。
  • 存儲課堂:容量測量、磁碟密度和PMR
    【IT168 技術】在前面四篇文章中,我們介紹了磁碟的工作原理及相關知識,在本文中,我們將重點講解如何對磁碟的容量以及密度進行測量,並對影響磁碟速度的相關因素進行簡要分析。
  • 存儲密度容量決定人工智慧程度
    這是與其平臺上存儲密度和容量有絕對正比的關係,這是今天上午9點,筆者參加IBM在北京舉行了主題為「天工開物,人機同行」的2017 IBM中國論壇最大的收穫。蘋果的產地,價格,重量等這些可以量化的數據都可以很清晰直觀的存儲在資料庫中,這就是結構化數據。那麼味道該如何存儲呢?甜?酸?多甜?多酸?這些數據並不直接對應某種屬性,因此需要多種方式來進行解釋,也正因為如此造成數據存儲量大幅上升,而這也給人工智慧帶來極大的挑戰。
  • 大容量存儲的NOR FLASH的原理及應用
    NOR FLASH佔據了容量為1~16MB快閃記憶體市場的大部分,而NAND FLASH只是用在8~128MB的產品當中,這也說明NOR主要應用在代碼存儲介質中,NAND FLASH適合於數據存儲,NAND FLASH在Compact Flash、Secure Digital、PC Cards和MMC存儲卡市場上所佔份額最大3VDRF256M16
  • 今日科普|購買的U盤等存儲為什麼比標稱要小?(容量換算詳解)
    小夥伴們有沒有發現,購買一個8GB的U盤,實際容量只有7.4GB左右;購買一個16GB的U盤,實際容量只有不到15GB;電腦安裝1TB的機械硬碟,開機後顯示容量只有931GB;容量越大,差異越大,此時的你是不是懷疑買到了縮水硬碟?今天我們就來討論一下這個問題。
  • ipfs正舵者:Filecoin如何支持視頻存儲?
    如今,視頻已成為網絡上交流和內容的重要來源,因此,使用Filecoin構建大量新工具和服務來存儲視頻數據非常有意義。下面為大家介紹一款上傳和共享視頻的新工具,自亮相Filecoin升空周以來集贊無數,快來搶先體驗吧!
  • 乘風破浪 王者歸來 OKminer打造全新IPFS數據存儲挖礦系統
    國家發展改革委正式明確了數據中心是「新基建」的基礎設施,正式將大數據存儲納入「新基建」範疇。基建投放30萬億,包括分布式存儲5G、大數據中心、人工智慧 2025年「新基建」細分產業規模中,區塊鏈將會達到389億元。       區塊鏈技術是當下最受關注的一種新型網際網路技術,它是一種公開的、分布式的帳簿,可以有效核查和永久記錄各方之間的交易。
  • Cornice 微硬碟實現可攜式消費類設備高容量存儲
    傑爾優化的晶片組與 Cornice 的創新式微型硬碟形成了完美的結合,能夠為消費類電子設備製造商提供媒體播放器、個人存儲設備、行動電話以及其他手持設備中用於多媒體管理所需的高容量存儲、小尺寸封裝、卓越的穩定性以及超長的電池使用時間等優異特性。
  • 超大容量的精選商務U盤 東芝存儲U365 U盤評測
    伴隨著單個文件佔用空間越來越多,我們所需求的容量越來越大,大容量的U盤成了我們現在所想選擇的,這次我們就拿到了來自東芝存儲的U365 128GBU盤,看看這款高速U盤是否能夠滿足你的需求。商務外觀整個U盤外觀設計簡潔,沒有絲毫的花紋等多出,很符合精緻商務的產品要求。
  • 科普小短文,電容器容量讀取方法,漲知識了
    利用兩個極板之間的電場存儲電荷,兩個極板所帶電荷數量相等,符號相反。按照極板之間電介質的不同,分為紙介質電容器、瓷介質電容器、薄膜電容器、玻璃釉電容器、雲母電容器等等。如下圖是常見的幾種電容器。電容器的極板之間互相絕緣,因此電容器能隔直流通交流。利用電容器能夠儲存電荷性質,在電路中,又可以發揮整流濾波作用。
  • 監控專用硬碟參數與所需存儲容量計算的方法(附計算下載)
    作為安防從業者,技術知識必須要掌握! 監控工程所需存儲容量計算與選取專用硬碟參數的方法這個很重要也很基礎!說到存儲,那肯定要先說說硬碟了。 安防行業的監控硬碟和常見的普通硬碟又有什麼區別?比碰通的硬碟好在哪裡? 1、首先什麼是監控硬碟?
  • Google因疏忽洩露無限存儲容量的GDrive計劃
    Google因疏忽洩露無限存儲容量的GDrive計劃 2006-03-09
  • IPFS分布式存儲的落地應用
    IPFS作為下一代網際網路底層通信協議,自發布以來已經成功應用在數據存儲、文件傳輸、網絡視頻、社交媒體、去中心化交易等各個領域。基於IPFS搭建的APP、應用和平臺等,正在重構整個網際網路。ipfs基於p2p網絡並進行優化,迅雷適用的場景,ipfs同樣適用!
  • 大容量桌面存儲 希捷1.5TB移動硬碟評測
    大容量桌面存儲 希捷1.5TB移動硬碟評測 出處:快科技 2009-01-22 11:23:22     作者:無憂 編輯:無憂[爆料]於是為彌補硬碟容量不足,並幫助轉儲數據,移動硬碟在近期大受歡迎,容量上也節節攀升,從最初常見的80GB容量,一直到目前普遍的500GB規格,用戶對移動硬碟的容量要求似乎永無止境。
  • 【存儲知識小講堂系列】為什麼存儲的彈性很重要
    存儲彈性小科普「彈性」即意味著具有回彈的能力,也就是當設備出現故障,可以快速恢復並繼續運行。現如今的存儲已大多是雙控制器,但即使是這樣,依然有很多不同,挑選存儲產品時可要擦亮眼睛(了解雙控制器的不同之處,請移步這裡《存儲知識小講堂,開課!》)。
  • 地址總線 數據總線與存儲容量以及地址範圍之間的關係
    1、地址總線與存儲容量的關係以32位地址總線為例本文引用地址:http://www.eepw.com.cn/article/201612/330486.htm存儲容量=2^32=4*1024Mb=4*1024*1024Kb=4*1024*1024*1024BYTE=4G的容量2、數據總線數據總線決定處理機字長,處理機字長是指處理機能同事處理的位數。
  • 別傻傻分不清,科普:內存和存儲到底啥區別
    A:128GB」這樣的笑話,實際上我們也相信提問者就是想知道手機存儲容量的大小,而回答者也已經按照約定俗成的方式回答了問題。2、DRAM和NAND的單位從上面的存儲原理可以看出,DRAM和NAND的存儲單位實際為b,那麼為什麼存儲產品的容量一般都用B來標註呢?而存儲產品的顆粒容量又以b來標註呢?
  • 存儲不夠用?來張大容量高速存儲卡吧!
    這其中,存儲卡又是最熱賣的數碼周邊產品,手機存儲不足,行車記錄儀、移動音箱需插卡使用,且這些數碼設備無一例外都兼容TF存儲卡。因此為解決存儲瓶頸問題,很多用戶選擇128GB TF存儲卡。如今超大容量、性能更強的TF存儲卡紛紛問世,這無疑是用戶升級存儲卡最好機會。