用大數據建模給硬碟做實時體檢,希捷與騰訊雲是這樣操作的

2020-12-18 雷鋒網

隨著數據中心規模的擴張,用於存儲數據的硬碟數量不斷增長。雲計算平臺中要使用數以百萬級的硬碟作為數據存儲載體,高效、可靠又穩定的硬碟存儲系統對於雲服務的重要性不言而喻。

正因為硬碟是雲計算系統中最為重要的存儲載體,硬碟的健康管理是雲服務穩健可靠的根本。

為此,希捷與騰訊雲伺服器運營團隊在2018年開始在騰訊雲的數據中心中部署了FARM技術,從而對雲平臺和數據中心的每一塊硬碟進行實時的「體檢」與健康管理。

為什麼FARM能夠做到硬碟的健康狀況預知?這項技術又是怎樣被應用的?今天我們就來系統地為大家追根溯源,看看FARM究竟是一項什麼神秘的黑科技?

FARM是什麼?

一看見FARM這個詞,大家很容易聯想到風吹草低見牛羊。但真相是,FARM的全稱為Field Accessibility Reliability Metrics,最早於2018年OCP峰會上提出。

它的字面意思是 「終端客戶可方便獲取的硬碟可靠性指標」,是一種讓用戶以極其簡單的方法獲取硬碟全方面參數的日誌。

FARM的目的在於讓雲計算用戶以此建立基於機器學習的健康監控或者預測模型,以及實時直觀地獲取數據中心中每一塊硬碟的健康狀況。

在目前的硬碟運維實踐中,硬碟的數據採集主要基於SMART體系(Self-Monitoring Analysis and Reporting Technology,即自動檢測分析及報告技術)。

它能分析並預警硬碟可能發生的問題。 SMART體系自投入使用已有25年時間,可涵蓋10多項的參數。

FARM是對SMART體系的重大改良。FARM本身獲取方便,參數覆蓋廣,可以說是超級加強版的SMART。

FARM的120多項參數包含了硬碟更加底層的傳感器和磁頭級別的相關參數,以及飛行高度、工作負載、環境等使用狀況的參數,並且已經在多個希捷產品上實施,給硬碟做詳細的「全身體檢」。

FARM的結構簡單、數據量小,在抓取參數時,不會影響到系統本身在運轉的業務。客戶可以通過非常細的粒度按需抓取數據,以自己所需的頻次獲取硬碟健康日誌及大量數據,並通過大數據建模,進行監控和分析。

通過定期的FARM數據抓取, 希捷與騰訊雲基於雲業務模型,利用定製機器學習算法,將硬碟健康度進行打分評估,提前識別高風險硬碟,儘快採取措施,做業務遷移、風險規劃等,避免極低概率下硬碟批量失效而導致業務中斷和數據丟失。

FARM都記錄些什麼?

讓我們舉些例子:

硬碟信息:SN序列號、WWN全球唯一名字、容量等基本信息,以及磁頭數量、馬達等零部件的運行時間、最近一次的硬碟狀態等。

讀寫數據量:除讀寫LBA(邏輯區塊地址)數量之外,還包含按類別統計的讀寫命令數量(總數,隨機命令數,非讀寫命令數),以及最近幾個小時內在磁碟不同區域的讀寫命令數量等。

錯誤統計:除記錄SMART已經包含的錯誤處理數據之外,還包含固件內部異常事件、讀寫重試、機構部件重試等。同時對於不可恢復的錯誤,按照讀寫分別統計。

環境參數:記錄外界環境相關參數,除溫度之外,還包含溼度、5V/12V輸入電壓、馬達電壓等。

可靠性參數:包含周期性及空閒時的後臺評估、IDD(In Drive Diagnostic)、偏心率、以及磁頭級別的底層參數——誤碼率、信道補償、尋道錯誤率、磁阻、飛行高度等。

騰訊雲是國內首家部署FARM的企業。

通過此項目,希捷聯合騰訊雲對其數據中心的硬碟運行數據進行實時檢測,應用大數據建模分析存在失效風險的硬碟。

作為國內領先的雲服務提供商,騰訊雲對系統的穩定性和可靠性要求嚴苛。騰訊雲與希捷合作,通過FARM定期對硬碟的健康數據抓取,實時監控硬碟的健康狀態。

一旦發現有任何異常,便會及時採取措施,提醒客戶重新設計工作負載,未雨綢繆,保護關鍵業務的延續性。雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 騰訊雲率先測試希捷銀河(Exos)X18企業級硬碟
    全球領先的數據存儲解決方案提供商希捷科技(NASDAQ:STX)宣布,與騰訊雲共同完成對希捷銀河(Exos)X18企業級硬碟的早期聯合測試。作為希捷企業級存儲的旗艦產品,希捷銀河(Exos)X18打破業界容量極限,以高性能與成本優勢滿足超大規模數據中心和雲計算的需求。通過聯合測試,雙方將繼續推進該產品的部署和應用。
  • 從深度定製到聯合研發,騰訊雲攜手希捷打造穩健雲計算基礎設施
    怎樣讓雲更穩更快?如何構建高效全能、靈活易用、穩定可靠的基礎設施?這是雲計算提供商思考的首要問題。為此,騰訊雲和希捷一直在緊密協作,引入新品、聯合測試、驗證優化,通過構建可靠的基礎設施,為數據價值的深度挖掘和激活打下穩健根基。
  • 攜手希捷,浪潮領先完成希捷銀河X18硬碟評測
    領先的數據存儲解決方案提供商希捷科技(NASDAQ:STX)宣布,攜手浪潮完成對希捷銀河(Exos)X18企業級硬碟的評估。該硬碟擁有18TB超大容量,性能卓越,用於承載大規模數據中心的海量數據。雙方在實際工作負載環境中測試驗證希捷銀河(Exos)X18企業級硬碟,將進一步推進該產品的優化及部署。
  • 不止西數 希捷HDD硬碟也會CMR、SMR混用
    SMR疊瓦式硬碟現在成了過街老鼠、人人喊打,但是對廠商來說SMR能夠增加25%的容量,簡直是無法拒絕。現在西數的紅盤已經確定是SMR、CMR硬碟混用,壞消息是希捷也會如此,兩大HDD巨頭這點倒是很默契。
  • 銀河之光 希捷Exos x18企業級硬碟評測
    雖然近幾年固態硬碟隨著快閃記憶體晶片價格走低,在消費市場得以普及,但對一些對存儲容量和數據安全有較高要求的個人或企業用戶而言,機械硬碟仍然是他們的唯一選擇。今年9月,希捷推出了全新的Exos X18企業級硬碟,專為滿足企業超大規模的數據擴展需求打造。
  • 希捷酷狼Pro硬碟 為醫療科技研發提供強勁助力
    為了創新醫療流程,開發更加高端的醫療影像產品,南京卡本醫療科技有限公司經各方推薦,最終採用了群暉NAS伺服器配備希捷酷狼Pro 4TB硬碟的存儲解決方案,為卡本醫療團隊中的所有數據提供專業的運營方式和數據保護,保障企業持續屹立於國際醫療領域。
  • 單碟1.5TB誕生 細數3TB硬碟分區技巧(全文)_希捷 Barracuda 3TB...
    不少網友反映3TB硬碟的一大截容量無法識別。個別網友用上4TB硬碟,接近2TB空間無法識別,為什麼會這樣呢?這也就可以在3TB硬碟上正常存儲數據了。那麼GPT格式的3TB數據盤,能不能做系統盤?當然可以,這裡需要藉助一種先進的UEFI BIOS和64位作業系統,便可以輕鬆讓系統識別3TB容量,並且不浪費那746GB的空間,這也是筆者著重介紹的解決方案。3GPT格式數據盤如何做系統盤?
  • 希捷全新5TB硬碟開賣
    希捷5TB硬碟    這比西數此前紅盤6TB裡的單碟1.2TB還略高了一點,是目前已經公開的最高單碟容量。HGST要做10TB的,單碟容量肯定比這要高,但具體不詳。希捷5TB硬碟的標籤    希捷早在一年多前就公布了疊瓦式存儲技術,當時就號稱已經出貨了100多萬塊相應硬碟,但始終沒說具體用在什麼產品上,但必然都在企業市場上
  • 希捷新品三部曲之一 | Backup Plus Slim「銘」系列移動硬碟開箱測試
    包裝背面雖然密密麻麻的寫了很多字,但其實是用不同種語言寫成的一句話,也是這款移動硬碟的核心特性:輕薄,備份,Windows/Mac電腦都適用。不過這樣的福利沒能在2TB「銘」上重現,這款移動硬碟的實際容量為1.81TB,不知道1TB版的情況如何。
  • 小塊頭有大智慧——希捷顏系列黑鑽1TB固態移動硬碟小測
    隨著固態硬碟價格持續走低,很多朋友開始拋棄「笨重」、「嬌氣」的傳統機械移動硬碟,而開始選用固態硬碟來做移動存儲使用。對比機械硬碟來說,固態硬碟先天上就有著抗震性能優異和傳輸速度快的優勢——不過一些低價固態硬碟採用拆機甚至二手顆粒,很多朋友根本不敢用來存儲重要數據。如何選擇一款低價優質的固態硬碟,就成了購買固態移動硬碟時重中之重的問題。
  • 等了十九年,希捷和西數的硬碟容量雙雙突破20TB
    而在十九年後的今天,希捷正式宣布已經順利實現2020年底交付20TB HAMR(熱輔助磁記錄)硬碟的目標!也就是說現在希捷的單塊機械硬碟容量已經達到了前所未有的20TB。不過大家也暫時先別激動,目前希捷的20TB容量應該是首先針對數據中心用戶,民用的產品估計還得等等。
  • RISC-V硬碟處理器?希捷發布!令機械硬碟性能暴漲3倍!
    RISC-V架構處理器憑著開源沒有IP糾紛的優勢,得到了全球各大廠商的青睞,國外有IBM,谷歌等,國內有阿里等都推出了自己的RISC-V處理器晶片,近日,又傳來國際硬碟製造大廠發布自己的RISC-V架構處理器,基於此處理器的硬碟性能提升達到3倍!
  • 希捷全新一代硬碟大功告成!1x TB更便宜了
    按計劃,今年底希捷將上市第一款HAMR硬碟,容量20TB。  從容量不難判斷,這款硬碟定位高端,預計只有企業級用戶先上,而且還是跟希捷對接配套好的客戶,畢竟HAMR熱輔助磁記錄還是新興技術。
  • 機械硬碟即將大降價?希捷單塊硬碟容量達20TB 正嘗試突破50TB
    最近,歷經19年的開發時間,希捷終於實現了在2020年研發並交付20TB HAMR(熱輔助磁記錄)硬碟的目標,按照官方給出的介紹,之所以採用HAMR技術來開發硬碟,就是看中了這項技術能讓磁碟保持更高的磁穩定和熱穩定。
  • 希捷打造最強遊戲擴展塢!自帶硬碟,一根線連接所有外設
    人生中第一臺主機用的就是希捷的硬碟,記得當時商家說希捷硬碟穩定高效,故障率很低,事實也正是如此,從 12 年至今這款 500GB 的硬碟依然健康運行。隨著近幾年的普通用戶和玩家的需求,希捷也推出了酷魚,酷玩,酷狼及酷鷹等系列,深受好評。其中酷玩系列便是專為遊戲玩家而打造的,主打高性能,高穩定的特性。
  • 鋼鐵般的NAS——希捷酷狼全線產品配備3年免費原廠數據恢復服務
    希捷擁有一個由世界級數據恢復專家組成的一流數據恢復團隊,並在杭州設立了實驗室,基於希捷在存儲業界40餘年的原廠專業經驗和渾厚的技術,無論是硬碟遭遇磕碰、浸水、火災或是數據遭到誤刪等,數據恢復團隊都會針對不同的情況,設法從各種存儲設備中恢復數據。在希捷數據恢復服務的幫助下,用戶的數據恢復成功率高達90%,大部分用戶的數據都可以在2天至1個月內得到恢復。
  • 希捷小七USB3.0移動硬碟京東降價
    希捷小七用極致超薄的身材徵服消費者。它的盤芯僅5毫米厚,以往只在二合一設備、平板機裡才能偶爾看到。這塊硬碟採用了最新深衝壓製造工藝的超薄全不鏽鋼硬碟盒,外觀時尚大氣,號稱「體現來自裸盤靈感的優雅外觀,彰顯存儲本質。」如今京東報價769元,可以出手。
  • 硬碟最超值 希捷ST3000DM008上海485元
    【中關村在線上海行情】希捷Barracuda 3TB 7200轉 64MB SATA3(ST3000DM008)硬碟,近日在商家「上海匯邁電子科技有限公司」特價促銷,優惠價為485元,好物好價,值得您入手
  • 多少數據可以重來!罄竹難書硬碟七宗罪
    硬碟還有多少「門」事件可以等待?用戶還有多少數據可以重來?--這是一首流行歌曲所改編的歌詞,來自一位經歷過掉速門、C1門、固件門等事件的網友發出的感概。    在雲存儲沒有真正實用化、普及之前,硬碟是我們電腦的核心硬體,它可能是機械式的,也可能是快閃記憶體固態式的。
  • 最快的移動硬碟!希捷酷玩遊戲移動SSD極光俠 500GB國內首測:強到...
    一、前言:使用USB 3.2 Gen2×2技術打造2000MB/s的移動硬碟2020年1月6日,希捷發布了兩款移動SSD,分別是面對主流市場的希捷酷魚飛翼固態硬碟以及針對高端遊戲玩家的希捷酷玩遊戲移動固態硬碟,這款硬碟也被暱稱為極光俠。前者已於三月份在國內上市,我們快科技也在第一時間對這款產品做了詳細的評測。