NAS數據遷移到對象存儲太麻煩?90分鐘納管1000萬文件了解一下

2020-12-11 IT168

  一、對象存儲成為海量數字底座首選

  移動網際網路和物聯網等技術把我們帶入海量數據時代,數據終端呈現指數級增長,數據的類型和數量越來越多。在企業內部,新增數據中超過80%都是非結構化數據。

  IT初期規劃中,由於數據規模較小,企業往往採用NAS存儲非結構化數據。但當文件超過千萬級,NAS會出現性能瓶頸,嚴重影響業務效率;而且數據量攀升帶來的頻繁擴容、升級,也增加了不小的維護工作量。

  對象存儲無疑是應對海量非結構化數據增長的最佳選項,從實際部署情況看,越來越多的企業開始將非結構化數據切換到對象存儲平臺。

  二、技術演進帶來異構管理困境

  IT建設是一個漸進的過程,技術在不斷發展,IT基礎設施也在不斷更新。最早的時候,企業的業務信息量比較小,只用一個文件伺服器就可以解決問題。隨著業務發展,數據逐漸增多,磁碟陣列、軟體定義存儲開始成為數據基礎設施的中流砥柱。

  技術演進造成了存儲設備的參差不齊,品牌紛呈。異構環境帶來了設備不兼容、數據遷移不便等管理難題。據統計,管理員平均40%的工作時間用於維護存儲的管理功能,平均25-50%的存儲管理時間用於診斷和解決問題。

  在大型數據中心裏面,這種情況尤其突出。在交付廣發證券檔案中心對象存儲項目時,客戶原有NAS存儲了近6000萬文件,總容量近40TB,客戶利用業務空窗期通過傳統方式進行歷史數據搬遷,耗時長達2個月,運維工作也需要持續的人力投入。如果對象存儲能夠快速納管能力,業務上線時間將會大幅縮短,運維人力將得到釋放,客戶效益也將進一步提升。

  當NAS向對象存儲演進成為必由之路,如何避免陷入設備和數據的維護管理,將是所有對象存儲廠商必然克服的難題。

  三、杉巖MOS幫您免遷移納管NAS

  圖1.免遷移納管NAS,IT架構平滑演進

  在MOS海量對象存儲納管NAS設備的過程中,MOS會讀取NAS中每個文件的元數據信息,並將其轉換為對象存儲中的對象屬性信息,同時將源文件與桶空間進行映射。納管完成之後,前端業務可通過S3接口直接訪問NAS中的歷史數據,後續新寫入的數據則直接存入對象存儲中。免去了數據遷移與校驗的繁瑣過程,業務上線的時間大大縮短。

  在實際測試中,3個節點的對象存儲集群,對1000萬個文件進行納管只需要90分鐘,並且無需考慮文件大小。相比之下,使用傳統方式遷移1000萬個16KB大小的文件,需要12個小時左右的時間,若文件增大,遷移時間將更長。另外,在節點數更多的情況下,納管時間會更短。

  考慮到不同客戶對NAS設備的替代需求存在差異,杉巖提供了不同粒度的納管選項。客戶可選擇對整個NAS目錄進行納管,也可以只納管其中的某個子目錄,從而實現增量納管的功能。

  此外,如果客戶想要淘汰NAS存儲,也可通過配置生命周期管理策略,系統自動將NAS中的歷史數據逐步遷移到對象存儲中,無需人為幹預。整個遷移過程完全透明,用戶無感知。

  四、成功實踐

  1.中國人保財險

  隨著網際網路與傳統行業融合,中國人保財險的網際網路業務及用戶規模不斷擴大,保險影像平臺的數據量激增,原有NAS存儲面臨海量小文件性能差、設備擴容複雜、數據安全隱患等諸多挑戰。

  該項目基於MOS對象存儲構建影像數據存儲平臺,通過納管原有NAS中近600萬文件,實現資源整合;同時將海量小文件性能提升至毫秒級,業務顯著提效;在線彈性擴容,滿足業務發展需要;通過http協議訪問,用戶可直接從存儲拉取數據,實現影像數據實時調閱。

  2.珠海華潤銀行

  珠海華潤銀行是珠海市首家資產過千億的獨立法人企業,業務涵蓋公司金融、個人金融和金融市場等多個領域,現有珠海、深汕兩個數據中心。業務持續增長使得交易單號、音視頻等非結構化數據激增,日增量在200~400GB,原有NAS擴容費時費力,而且NAS不支持雙中心雙寫,導致異地訪問帶寬壓力大,影響客戶體驗。

  該項目在珠海和深汕數據中心部署6節點對象存儲集群,總容量近400TB,替換原有EMC高端NAS存儲,上層對接數據管理平臺ODS(Operational Data Storage),支撐更大的數據規模和更高的訪問性能。通過NAS納管實現資源整合,綜合成本削減超30%,IT預算分配更加合理;高並發優勢和雙中心數據就近讀寫能力,讓業務提效超過50%,數據可靠性提升2倍以上。

  3.國內最大的電子認證服務機構

  作為國家級權威金融安全認證機構 ,累計服務超過2400家金融機構,其電子籤名相關業務每月新增4000萬個文件,NAS性能瓶頸以及頻繁的冷數據歸檔讓客戶最終決定基於對象存儲構建海量智能數字底座。

  該項目採用8節點、總容量800 TB的杉巖MOS對象存儲集群納管原有NAS,業務割接時間縮短到小時級,輕鬆支撐數十億文件的存儲需求;將低配伺服器和原有NAS作為冷數據池,實現設備利舊,通過生命周期管理策略實現數據自動分層歸檔,綜合成本降低超過40%。

  大數據時代,一個企業數據佔有量越多、數據整合越有效,企業的經營發展就越有優勢。杉巖數據的NAS納管方案,極大降低了設備更替給業務連續性帶來的影響,縮短了業務割接時間,同時利用自動化策略減輕管理運維壓力,為企業IT架構的平滑演進保駕護航。

相關焦點

  • 杉巖CTO邱尚高:AI+數據湖時代,對象存儲不止步於存儲
    從2006年亞馬遜推出公有雲存儲服務(Amazon S3),到2012年阿里雲存儲服務(OSS)的面世,再到2016年杉巖數據率先推出企業私有雲對象存儲產品(MOS),對象存儲因網際網路而生,面對海量數據場景具備天然優勢,逐漸成為大數據時代存儲界的後起之秀。
  • 天天聽塊、文件、對象存儲 你真的了解其優缺點嗎?
    在數據存儲中,我們經常聽到塊存儲、文件存儲以及對象存儲三種類型。儘管三個名詞耳熟能詳,但真正理解塊存儲、文件存儲以及對象存儲的定義,並對三種存儲類型的優缺點了解的,卻仍是少數。接著塊存儲會採用映射方式將幾個邏輯盤映射給主機,此時主機的作業系統會識別到有5塊硬碟,但區分不出到底是邏輯還是物理,其一概認為只是5塊裸物理硬碟,與直接拿物理硬碟掛到作業系統沒有區別。      而文件存儲也被稱為文件級存儲或基於文件的存儲,正如其名稱一樣,數據會以單條信息的形式存儲在文件夾中,當需要訪問該數據時,計算機需要知道相應的查找路徑,其典型設備為FTP、NFS伺服器。
  • DoSTOR存儲新聞 Moonwalk推出數據遷移產品
    DoSTOR存儲新聞 4月30日國際報導:澳大利亞初創公司Moonwalk公司今日聯合CAS專業廠商Caringo一起發布了最新數據遷移產品。Moonwalk公司聲稱,用戶可以使用其同名軟體在區域網內遷移文件,而且無需使用中間件。它現在正在將這種技術整合到Caringo公司的CAStor群集存儲器軟體中。
  • 杉巖數據:對象存儲智能化的探路者
    然而,伴隨「股神」巴菲特押注科技股的美國雲數據倉庫公司在紐交所上市,存儲圈一陣叫好因為,業內專業人員注意到,這家雲數據倉庫中,使用的是對象存儲,對象存儲不僅可以存儲大規模的數據,還可通過機器學習算法等應用進行數據處理。對象存儲的廣泛被應用,充分驗證了對象存儲不僅能解決非結構化數據,還能解決OLAP結構化數據的存儲問題。對此,專注於對象存儲的杉巖數據頗受鼓舞。
  • 吐血再次整理,點滴記錄,存儲運維相關知識100問...
    //可KB62、XSKY對象打標籤,不是存儲打的,而是應用打的?答:XEOS 主要是預留打標籤的位置63、針對4k小文件,對象是nas性能一般2倍?答:對象10000 ops,nas 5000左右。但是針對大文件,對象不一定比文件好。64、S3 Browser 測試工具默認切片或對象的大小?
  • DB2的數據遷移工具
    使用 MTK,可以將數據類型、表、列、視圖、索引、存儲過程和觸發器自動地轉換成等價的 DB2 資料庫對象。MTK 向資料庫管理員(DBA)和應用程式程式設計師提供了使遷移任務自動化所需要的工具,而以前這些任務不但效率低下而且開銷巨大。
  • 2021年,非結構化數據的對象和文件存儲的融合將有所增加
    分布式文件和對象存儲軟體解決方案的領導者Scality宣布了2021年的數據存儲預測,重點關注云原生應用程式和容器化的快速增長。根據IDC的數據,到2023年,將使用雲原生方法開發和部署超過5億個數字應用程式和服務。相當於在過去40年中開發的應用程式總數之和。
  • 基於Ceph對象存儲的分級混合雲存儲方案
    可以在 placement rule 中定義存儲桶索引數據存放的存儲池 index pool, 對象數據存放的存儲池 data pool,以及通過 Multipart 上傳大文件時臨時數據存放的存儲池 data extra pool。
  • 華為的遷移技術助力中信銀行ODS數據遷移
    首先在資料庫伺服器上對業務數據進行標準化處理,並存放在資料庫伺服器群集上,進行ETL 數據加工處理,並作為批量數據分發,對目標系統(如零售銀行數據集市)提供數數據。中信銀行各分行為提高數據處理效率,直接將總行ODS 加工好的基礎數據和部分總行統一加工的匯總數據返還給分行,分行利用文件伺服器接收到總行數據後,轉載到分行ODS 資料庫。
  • 博融雲服務分享混合存儲陣列適合那些數據類型?
    隨著混合存儲的不斷發展,能整合的存儲類型範圍已經不僅限於快閃記憶體和硬碟,還擴大到包括多層快閃記憶體、多層硬碟、磁帶、對象和基於雲的存儲,這些存儲都被連結到單一和透明的虛擬存儲基礎架構中,整套架構可以針對每種類型的數據和應用程式優先級自動提供最佳的性能。
  • 實用乾貨全方位測評—QNAP 威聯通 212P3 入門級NAS
    現在這樣一臺千元級別的NAS都有快照保護,可以有效保護你的資料在意外刪除以後可以快速找回恢復數據。下面簡單介紹一下如何操作這個功能。首先在設置界面中找到存儲與快照,在存儲/快照下面就可以看到對你選擇的存儲空間上可以看到創建快照。點擊創建即可設置你需要的快照類別。
  • Oracle 資料庫遷移-百家號 - 百度經驗
    Oracle 資料庫遷移需求分析:資料庫所有文件(數據文件、日誌文件、臨時文件、控制文件)都存放在光纖存儲中,但是光纖存儲使用時間過長,超過3年,經常出現一些問題,而且光纖存儲需要廠家維護,維護方面不是很方便,需要將資料庫文件遷移到nas存儲中。
  • 數據存儲的趣事
    隨著更新、更好、更快的存儲介質的到來,一個字節的數據能夠以多種不同的方式進行存儲。字節是數字信息的單位,通常指八位,比特位是一個信息單位,可以表示為0或1,表示邏輯狀態。讓我們跟隨時光的腳步簡單地走一走,先了解一下比特和字節的起源。關於比特和字節回到Babbage的分析機,可以看到一個比特位被存儲為一個機械齒輪或槓桿的位置。
  • 淺談NAS存儲解決方案
    遷移,無論基於什麼方式,用戶想要的僅僅是一個安穩的數據巢穴,基於長期以來的數據存儲習慣筆者就來簡單介紹下NAS存儲系統的解決方案。2群暉/威聯通NAS專用主機解析    群暉、威聯通、色卡司NAS等網絡存儲產品線已經非常完備,從家用消費級到中小企業以及大型數據存儲伺服器一應俱全。
  • 家庭NAS部署指南(一),如何搭建自己的第一臺NAS主機?
    NAS在實際生活中的應用非常廣泛:1、家庭數據中心以家庭使用為例,我們可以用一臺nas作為家庭資料庫。如今大家使用的電子設備多了,電腦,平板,手機。文件之間的共享就成一個麻煩問題。我想看一張照片或者電影,就非得打開電腦麼?
  • Python3網絡爬蟲課程 5.1 使用文件存儲數據
    用解析器解析出數據後,就該存儲數據了。保存數據的形式有多種,最簡單的方式為保存為文件,如JSON、CSV、TXT等。1.TXT存儲將數據保存為TXT文本非常簡單,TXT文件可以兼容任何平臺,但是不太利於檢索,如果對檢索數據和數據結構要求不高的話,可以存儲為TXT。
  • 希捷酷狼Pro NAS硬碟評測:中小型企業數據存儲佳品
    資訊時代,中小型企業每天需要面臨巨大的數據信息,這些信息需要及時地儲存以及進行交互,這也意味著企業需要可靠的數據載體。部分企業採用網盤存儲方案,雖然能夠滿足企業的文件協作、共享及管理需求,但是缺乏一定的安全性。而更多的中、小企業採取NAS存儲方案,以此來滿足共享存儲需求,並且在管理和安全上有一定的保障,這也是中小企業數據存儲的最佳方案。
  • 企業數據保險柜華芸AS-204RS存儲NAS評測
    內存,具備兩個乙太網接口,適合商務對網絡環境的彈性配置,並內建了4個高速USB 3.0接口,為用戶提供超高速的文件傳輸效能,企業用戶可彈性的擴充其它外圍設備如UPS、外界存儲設備等。  二 FTP備份  可以將用戶的數據直接備份到FTP伺服器上,也可以逆向備份到NAS中。  三 外置設備備份  這是一種可以直接備份到外置存儲設備上的方法,用戶可以使用移動硬碟或者優盤來備份所需要的信息,同時支持逆向備份。
  • 鐵威馬F4-NAS存儲體驗_鐵威馬 F4-NAS_企業存儲...
    但對於四盤位的存儲來說,儘管採用1000M網絡接口兼容10M和100M網絡,定位企業級應用網絡接口數量略顯單薄。    據了解。希捷的Barracuda LP系列硬碟在容量上有1TB、1.5TB和2TB三種,型號分別為ST31000520AS、ST31500541AS和ST32000542AS,均為單碟500GB設計,不過雖然採用單碟500G的設計,但是ST32000542AS有底片碟片,估計使用的是單面數據存儲。
  • UMCloud混合雲存儲,備份、歸檔、容災一個也不能少
    實際上大多數客戶,包括電子商務系統、Web網站、移動端產品等都有類似的需求,為了應對業務規模的爆發增長和實現存儲的靈活伸縮,傾向於採用混合雲存儲的模式。  一個典型案例是,某大型國營企業在北京、廣州多地採用傳統的文件存儲方式進行存儲,由於存儲的數據文件激增,文件索引本身變得龐大,導致存儲的讀寫性能大幅降低。