網絡存儲系統容錯編碼技術進展

2020-12-08 電子產品世界

摘要:專業的大型磁碟存儲系統均發展為包含多塊磁碟的大型陣列系統。隨著系統中的磁碟數目的不斷增加，由磁碟失效引起的數據丟失的可能性越來越大。對於由存儲系統中部分磁碟失效所引起的數據丟失的問題，目前業界公認的比較好的解決方案是使用冗餘容錯編碼技術來實現磁碟的容錯。在工程實踐中，目前廣泛應用的編碼方法大多局限於雙容錯陣列碼。隨著系統規模的進一步加大，3容錯甚至更多容錯的編碼方法已引起研究者的重視。今後的5至10年間，對於3容錯或多容錯的編碼方法的研究將會成為新的熱點。

本文引用地址：http://www.eepw.com.cn/article/153999.htm

1 存儲容錯編碼評價指標

近20年來，隨著計算機技術的迅猛發展，大規模存儲系統的發展也十分迅速。當前，普通PC機的存儲器的容量已經達到了太比特級別，這較之20年前的20 MB存儲容量提高了10 000倍。

除了傳統的磁碟驅動器之外，新型的固態存儲(SSD)存儲器也已經走向市場。儘管單個存儲器的容量發展迅速，但是卻仍然趕不上人們對存儲容量需求的增長速度。

隨著大型計算機系統由「以計算為中心」向著「以信息處理為中心」的轉變，以及信息量的爆炸式增長，人們對海量存儲系統的需求日益提高。海量存儲系統本質上是將很多的單個存儲器件(下面均以磁碟為例)，通過系統的接口，連接整合為一個虛擬的容量巨大的單一存儲器，即磁碟陣列。

隨著陣列中磁碟數目的增多，系統的可靠性也隨之下降。工業界一般使用平均數據丟失時間(MTTDL)來衡量陣列的可靠性。

設單個磁碟的平均失效時間為MTTFdisk，則對於包含n塊磁碟的無冗餘陣列來說，其MTTDL可簡單估計為：MTTDL=MTTFdisk/n。可見，當n較大時，整個系統的可靠性將成比例下降。這對於較大規模的系統來說是不可接受的。利用冗餘數據編碼來提高系統可靠性是公認的解決這一問題的較好方法。通過巧妙地將m塊標準大小的磁碟上的數據，增加部分冗餘校驗信息，編碼後存放於n塊磁碟上，使得系統滿足：對於任意k塊磁碟失效，都可以通過其他n-k塊未失效盤中的數據解碼恢復，則稱整個系統是k容錯的，或者稱k為系統的容錯數。

分析表明[1]，對於k容錯的系統來說，可以近似估計為：

因而，在大規模系統中，容錯數可以說是另一種對系統可靠性的描述方式。市場中一般磁碟的MTTFdisk為105左右，系統修復時間MTTR一般為10左右。根據(1)式可以看出，當系統磁碟數為103～104時，一般2容錯或是3容錯編碼就基本上可以滿足存儲系統的容錯要求。

系統用於增加容錯能力而添加的冗餘越多，系統的額外造價也將越高。因而在具有相同容錯數的前提下，人們往往追求更小的冗餘度，即(n-m)/n的值，其中n為系統磁碟數、m為存儲用戶數據的磁碟數。根據編碼理論的Singleton界，k容錯系統的最小冗餘度為：k/n。達到這一最小值的編碼方法稱做MDS碼。目前多數存儲編碼研究都集中於構造不同參數下的MDS碼。

除了上述指標，任何計算機系統的速度與效率永遠是需要考量的重要指標。這裡我們不討論如何有效地並行處理多磁碟中的數據讀取(那是另外一個較大的課題)，而著重研究由於冗餘編碼帶來的額外計算開銷。對於即便是相同的編碼方法，由於編/解碼算法的不同，可能計算效率的差異較大。由於在計算機系統中，最終的編碼運算都會反映為一些二進位運算，因而研究者通常使用編碼需要的總的二進位異或運算次數來衡量由於額外冗餘編碼帶來的系統計算開銷。對於一個隨機存取的存儲系統來說，隨機小塊信息寫操作的性能尤為重要。編碼運算中每個單元所參與的平均異或次數可以用來衡量這一指標，我們稱其為編碼的更新複雜度。

綜合上面討論，存儲系統容錯編碼問題可以歸結為尋求對如下指標進行優化的編碼方法

系統滿足需要的容錯性能，容錯數為k的系統。

系統有較小(或最優)的冗餘度

系統有較小(或最優)的編碼/更新複雜度。

2 線性編碼

對於單容錯系統來說，簡單的奇偶校驗即可使得上面的3個指標達到最優。經典的系統都是使用的這種方法。然而對於k大於1的情況，問題的解決就不是那麼簡單了。從通信編碼理論的豐富成果中，兩種比較有代表性的編碼方法被人們挑選出來，並用於解決存儲容錯問題，他們是二進位線性碼和RS碼。

2.1 多維陣列碼

圖1所示是二維陣列編碼及校驗矩陣。二維陣列碼是奇偶校驗的自然推廣，由圖1很容易看出它是雙容錯的。二維陣列碼保持了單容錯時奇偶校驗碼的最優編碼複雜度的特性，但是二維陣列碼的冗餘度不再是最優的了。

二維陣列碼也很容易推廣為k維陣列。並且容易得到這樣編碼的k容錯特性。但是隨著k的增大，冗餘會越來越大[2-3]。

2.2 Full碼

圖2所示是FULL-2碼。FULL-2碼可看做是二維陣列碼的推廣。

FULL碼依然保持了最優的編碼複雜度，並且冗餘度要比陣列碼好很多。然而不幸的是，當k大於3時，FULL-k碼不再是k容錯的[4]。

2.3 RS碼

圖3所示是RS碼的校驗矩陣。RS碼從最佳的冗餘特性出發。達到Singleton界的RS碼被人們提出並廣泛應用。

校驗矩陣通過線性變換可以化為系統矩陣，用存儲系統的語言亦可顯式地區分出系統中哪些單元用於存儲校驗單元。可以看出，矩陣中的元素不再是「0」、「1」，而為有限域元素的冪，故編碼需要使用有限域運算。在計算機系統中，有限域元素最後還是會被映射為「0」、「1」單元。這時每個有限域元素一般會被映射為多個「0」、「1」單元，而有限域運算也可以被分解為這些「0」、「1」單元的複雜運算。我們仍然以編碼所需的異或運算為基本單位，則編碼所需的異或運算次數和編碼算法的巧妙程度有關。目前較好的域運算算法所需的異或次數大約為O(n3)[5]，計算複雜度相當高。RS碼是MDS碼，故冗餘度是最優的。

相關焦點

  • 通用量子計算機和容錯量子計算——概念、現狀和展望
    量子計算技術近年來快速發展並受到廣泛關注。文章將介紹一些量子計算的基本概念、現狀以及遠期和近期的主要挑戰，使讀者可以更準確地理解一些新近的進展，避免誤解。通用量子計算機的主要應用之一是破解RSA密碼。沒有量子糾錯，我們很難實現密碼破解規模的量子計算。因此，量子計算技術的一大挑戰是如何實現有量子糾錯保護的量子計算，也就是容錯量子計算。
  • 量子計算技術的研究現狀與趨勢
    因此，我們將量子信息的誕生稱為第二次量子革命，而基於量子力學研製出的經典技術，稱之為第一次量子革命。量子信息技術就是未來人類社會的新一代技術。量子網絡量子信息技術最終的發展目標就是研製成功量子網絡。量子網絡基本要素包括量子節點和量子信道。所有節點通過量子糾纏相互連接，遠程信道需要量子中繼。
  • 雲存儲系統讓生活在網絡上駕雲飛翔
    【IT168 技術】目前新興名詞雲存儲系統。到底雲存儲系統是幹什麼用的，與我們的生活是否相關。雲存儲系統對於網民來說意味著什麼。種種的問題撲面襲來，我們能否成為真正意義上的「雲」還要看運營商雲存儲系統的開發了。在此之前我們要深入了解下雲存儲系統到底是什麼。
  • 郭光燦院士：量子計算技術的研究現狀與趨勢
    因此，我們將量子信息的誕生稱為第二次量子革命，而基於量子力學研製出的經典技術，稱之為第一次量子革命。量子信息技術就是未來人類社會的新一代技術。量子網絡量子信息技術最終的發展目標就是研製成功量子網絡。量子網絡基本要素包括量子節點和量子信道。所有節點通過量子糾纏相互連接，遠程信道需要量子中繼。
  • 我國成功研製出EB級雲存儲系統
    新華社天津11月30日電（記者 周潤健）國家863計劃雲計算關鍵技術與系統（二期）項目課題驗收會11月29日在天津召開，由我國高性能計算領軍企業中科曙光承擔的「EB級雲存儲系統研製」課題通過技術驗收。
  • 關於網絡存儲技術基本常識的分享
    隨著越來越多的關鍵信息轉化為數字形式並存儲在可管理的介質中，網絡對於存儲和管理信息的能力產生了新的需求。 當應用需求逐步轉向面向數據應用時，儘管伺服器、網絡設備仍然是基礎體系結構的重要組成部分，但越來越多的實例表明：對數據應用系統基礎體系結構進行設計和規劃的重點，已從傳統的以伺服器、網絡設備為核心演化為以存儲系統設計和規劃為核心。
  • 深度 |中科院院士發聲——量子計算技術的研究現狀與未來
    量子網絡基本要素包括量子節點和量子信道。所有節點通過量子糾纏相互連接，遠程信道需要量子中繼。量子網絡將信息傳輸和處理融合在一起，量子節點用於存儲和處理量子信息，量子信道用於各節點之間的量子信息傳送。與經典網絡相比，量子網絡中信息的存儲和傳輸過程更加安全，信息的處理更加高效，有著更加強大的信息功能。量子節點包括通用量子計算機、專用量子計算機、量子傳感器和量子密鑰裝置等。
  • 容錯、Solarflare攜手金融服務
    12月24日，美國Stratus公司宣布與應用智能網絡方案提供商Solarflare合作，為Linux金融應用提供連續高可用性和高性能，從需要在納秒內進行處理的交易應用，到需要實時處理的信用卡和借記卡授權，即使最短的系統停機時間或延遲都會造成危害。
  • 三分鐘讀懂Allocate Dividend技術構架之拜佔庭容錯算法(PBFT)
    區塊鏈技術是第四次工業革命中最具顛覆性的創新技術，它有望以其無與倫比的潛力徹底改變這個行業。基於當今電子商務產業各市場痛點，結合區塊鏈技術，消除「中間人」精簡運營，立足於電子商務數據信息領域，Allocate Dividend應運而生。
  • 網絡編碼創始人李碩彥受聘為電子科技大學「特聘傑出講座教授」
    他獲得的32項美國專利表現出他將信息與通信理論應用於通信與網絡的特殊工程貢獻。　　說起李碩彥，就不得不提網絡編碼。　　作為網絡編碼這一資訊理論的最新發展的主要貢獻者之一，李教授說，在網絡編碼提出以前，傳統的通信領域使用存儲轉發技術，信息原封不動的從一個站點轉到另一個站點，如果信息過多的話就會有堵塞。
  • 國防科技大學方糧:快閃記憶體技術進展及新型存儲技術
    從移動存儲到大系統構成，如今的快閃記憶體應用變得極為廣泛，快閃記憶體構成的固態SSD表現出很好的特性，目前主流的SLC/MLC/TLC都已經有存儲產品投入應用。縱觀整體存儲市場，SSD與傳統磁碟PK，以及前者獲得更加廣泛的普及，關鍵依然在於價格。除此之外，我們還應當了解現今快閃記憶體技術的發展進程，以及更多的新型存儲技術。
  • 容錯攜手Solarflare發力金融服務應用
    12月24日，美國Stratus公司宣布與應用智能網絡方案提供商Solarflare合作，為Linux金融應用提供連續高可用性和高性能， 從需要在納秒內進行處理的交易應用，到需要實時處理的信用卡和借記卡授權，即使最短的系統停機時間或延遲都會造成危害。
  • 中國科大實現多自由度超糾纏態的量子存儲
    利用光子的軌道角動量（OAM）可以構成一個無限維的完備的Hilbert空間，將光子編碼在該空間可以大幅度增加光子的信息攜帶量，提高量子網絡的信道容量。此外，利用光子的高維編碼態可以實現諸如量子全息隱形傳態、量子鏡像密集編碼、全息量子計算等量子信息協議，還可以應用於量子力學基本問題如Bell不等式的檢驗等研究。
  • 判斷真偽絕對值編碼,先搞懂電子多圈技術
    3.最大的容錯性無計數過程，無記憶與再讀取過程，也就是意味著無需考慮計數起始點、停電、以及停電後是否再有移動，也無需擔憂在任何時候的幹擾，幹擾後是否還能恢復到真實的編碼角度信息輸出——所有的編碼預先編好了，不會再產生新的編碼，只與編碼器轉軸運動位置有關（與是否斷電無關），外部的幹擾也無法改變原始編碼值。二、計數器的電子多圈技術1.
  • 計算、存儲和網絡簡史
    這些盈篇滿籍的軟體投入，所體現更多的是商業利益，而非技術驅動所帶來的需求。移動網際網路的興起重置了網絡基礎設施的發展軌跡。承載著數以億計用戶的網際網路應用背後，是龐大的數據中心。網際網路數據中心的野蠻成長，逐步觸發了雲計算與雲存儲技術的誕生與發展，雲時代的到來對網絡基礎設施提出了新的挑戰。來自這個領域的精英，首先面對的挑戰是理解已有的網絡基礎設施。
  • k8s存儲系統介紹
    在k8s集群中，運行服務離不開持久化地將數據保存起來，這就涉及到k8s的存儲系統了。k8s的存儲系統在運行機制上基於docker原生的volume機制，本質上都是先將存儲掛在到主機上，經過處理後，通過docker的volume機制掛載到容器中。
  • 存儲技術新突破 採用有機小分子長期穩定存儲
    雖然信息存儲技術（紙張的墨水、電腦、CD或DVD，甚至是DNA）在不斷完善，但是各種形式的威脅，簡單的方式例如水，複雜的方式例如網絡攻擊，仍然會破壞我們的存儲記錄。 隨著數據呈「爆炸式」地持續增長，越來越多的信息存儲在越來越少的空間中，甚至連「雲」（其名稱意味著不透明的無盡空間）最終也將耗盡空間，無法阻止所有的黑客，並急劇地消耗著能量。
  • 編碼方式有哪些_簡述常用的編碼方式
    4、GBK 　　全稱叫《漢字內碼擴展規範》，是國家技術監督局為windows95所制定的新的漢字內碼規範，它的出現是為了擴展GB2312，加入更多的漢字 　　5、GB18030 　　全稱是《信息交換用漢字編碼字符集》，是我國的強制標準，它可能是單字節、雙字節或者四字節編碼，它的編碼與GB2312編碼兼容，這個雖然是國家標準，但是實際應用系統中使用的並不廣泛。
  • 衛星姿態控制系統容錯控制綜述
    參考文獻[1]王嘉軼,聞新.太空飛行器故障診斷技術的研究現狀與進展[J].航空兵器,2016,(5):71-76.[6]邢琰,吳宏鑫,王曉磊,等.太空飛行器故障診斷與容錯控制技術綜述[J].宇航學報,2003,24(3):221-226.
  • 存儲技術新突破:採用有機小分子長期穩定地存儲信息!
    雖然信息存儲技術（紙張的墨水、電腦、CD或DVD，甚至是DNA）在不斷完善，但是各種形式的威脅，簡單的方式例如水，複雜的方式例如網絡攻擊，仍然會破壞我們的存儲記錄。卡弗蒂表示：「至少在這個階段，我們並沒有發現這個方法會與現有的數據存儲方法產生競爭，我們反而發現這個方法與現有技術互補。作為初始目標來說，它非常適合長期的檔案數據存儲。」