一、對象存儲成為海量數字底座首選
移動網際網路和物聯網等技術把我們帶入海量數據時代,數據終端呈現指數級增長,數據的類型和數量越來越多。在企業內部,新增數據中超過80%都是非結構化數據。
IT初期規劃中,由於數據規模較小,企業往往採用NAS存儲非結構化數據。但當文件超過千萬級,NAS會出現性能瓶頸,嚴重影響業務效率;而且數據量攀升帶來的頻繁擴容、升級,也增加了不小的維護工作量。
對象存儲無疑是應對海量非結構化數據增長的最佳選項,從實際部署情況看,越來越多的企業開始將非結構化數據切換到對象存儲平臺。
二、技術演進帶來異構管理困境
IT建設是一個漸進的過程,技術在不斷發展,IT基礎設施也在不斷更新。最早的時候,企業的業務信息量比較小,只用一個文件伺服器就可以解決問題。隨著業務發展,數據逐漸增多,磁碟陣列、軟體定義存儲開始成為數據基礎設施的中流砥柱。
技術演進造成了存儲設備的參差不齊,品牌紛呈。異構環境帶來了設備不兼容、數據遷移不便等管理難題。據統計,管理員平均40%的工作時間用於維護存儲的管理功能,平均25-50%的存儲管理時間用於診斷和解決問題。
在大型數據中心裏面,這種情況尤其突出。在交付廣發證券檔案中心對象存儲項目時,客戶原有NAS存儲了近6000萬文件,總容量近40TB,客戶利用業務空窗期通過傳統方式進行歷史數據搬遷,耗時長達2個月,運維工作也需要持續的人力投入。如果對象存儲能夠快速納管能力,業務上線時間將會大幅縮短,運維人力將得到釋放,客戶效益也將進一步提升。
當NAS向對象存儲演進成為必由之路,如何避免陷入設備和數據的維護管理,將是所有對象存儲廠商必然克服的難題。
三、杉巖MOS幫您免遷移納管NAS
圖1.免遷移納管NAS,IT架構平滑演進
在MOS海量對象存儲納管NAS設備的過程中,MOS會讀取NAS中每個文件的元數據信息,並將其轉換為對象存儲中的對象屬性信息,同時將源文件與桶空間進行映射。納管完成之後,前端業務可通過S3接口直接訪問NAS中的歷史數據,後續新寫入的數據則直接存入對象存儲中。免去了數據遷移與校驗的繁瑣過程,業務上線的時間大大縮短。
在實際測試中,3個節點的對象存儲集群,對1000萬個文件進行納管只需要90分鐘,並且無需考慮文件大小。相比之下,使用傳統方式遷移1000萬個16KB大小的文件,需要12個小時左右的時間,若文件增大,遷移時間將更長。另外,在節點數更多的情況下,納管時間會更短。
考慮到不同客戶對NAS設備的替代需求存在差異,杉巖提供了不同粒度的納管選項。客戶可選擇對整個NAS目錄進行納管,也可以只納管其中的某個子目錄,從而實現增量納管的功能。
此外,如果客戶想要淘汰NAS存儲,也可通過配置生命周期管理策略,系統自動將NAS中的歷史數據逐步遷移到對象存儲中,無需人為幹預。整個遷移過程完全透明,用戶無感知。
四、成功實踐
1.中國人保財險
隨著網際網路與傳統行業融合,中國人保財險的網際網路業務及用戶規模不斷擴大,保險影像平臺的數據量激增,原有NAS存儲面臨海量小文件性能差、設備擴容複雜、數據安全隱患等諸多挑戰。
該項目基於MOS對象存儲構建影像數據存儲平臺,通過納管原有NAS中近600萬文件,實現資源整合;同時將海量小文件性能提升至毫秒級,業務顯著提效;在線彈性擴容,滿足業務發展需要;通過http協議訪問,用戶可直接從存儲拉取數據,實現影像數據實時調閱。
2.珠海華潤銀行
珠海華潤銀行是珠海市首家資產過千億的獨立法人企業,業務涵蓋公司金融、個人金融和金融市場等多個領域,現有珠海、深汕兩個數據中心。業務持續增長使得交易單號、音視頻等非結構化數據激增,日增量在200~400GB,原有NAS擴容費時費力,而且NAS不支持雙中心雙寫,導致異地訪問帶寬壓力大,影響客戶體驗。
該項目在珠海和深汕數據中心部署6節點對象存儲集群,總容量近400TB,替換原有EMC高端NAS存儲,上層對接數據管理平臺ODS(Operational Data Storage),支撐更大的數據規模和更高的訪問性能。通過NAS納管實現資源整合,綜合成本削減超30%,IT預算分配更加合理;高並發優勢和雙中心數據就近讀寫能力,讓業務提效超過50%,數據可靠性提升2倍以上。
3.國內最大的電子認證服務機構
作為國家級權威金融安全認證機構 ,累計服務超過2400家金融機構,其電子籤名相關業務每月新增4000萬個文件,NAS性能瓶頸以及頻繁的冷數據歸檔讓客戶最終決定基於對象存儲構建海量智能數字底座。
該項目採用8節點、總容量800 TB的杉巖MOS對象存儲集群納管原有NAS,業務割接時間縮短到小時級,輕鬆支撐數十億文件的存儲需求;將低配伺服器和原有NAS作為冷數據池,實現設備利舊,通過生命周期管理策略實現數據自動分層歸檔,綜合成本降低超過40%。
大數據時代,一個企業數據佔有量越多、數據整合越有效,企業的經營發展就越有優勢。杉巖數據的NAS納管方案,極大降低了設備更替給業務連續性帶來的影響,縮短了業務割接時間,同時利用自動化策略減輕管理運維壓力,為企業IT架構的平滑演進保駕護航。