華為的遷移技術助力中信銀行ODS數據遷移

一、中信ODS平臺介紹

中信銀行總行ODS平臺主要是對中信銀行的核心業務系統和一部分特色數據的海量數據進行存儲、處理和挖掘應用。首先在資料庫伺服器上對業務數據進行標準化處理，並存放在資料庫伺服器群集上，進行ETL 數據加工處理，並作為批量數據分發，對目標系統（如零售銀行數據集市）提供數數據。

中信銀行各分行為提高數據處理效率，直接將總行ODS 加工好的基礎數據和部分總行統一加工的匯總數據返還給分行，分行利用文件伺服器接收到總行數據後，轉載到分行ODS 資料庫。經過ETL 加工後的分行數據或數據集市將為分行信息消費者提供如報表、MIS 管理等應用服務，為給分行提供更好的信息服務。

二、中信ODS系統數據遷移介紹

中信ODS平臺建設時間較早，資料庫和GPFS文件系統存儲設備使用了2臺IBM的DS8300和4臺V7000，16年都面臨維保過期需要下線，需要將90T左右數據遷移到新採購的華為OceanStor 6800 V3存儲。

ODS平臺數據遷移特點：

1、環境複雜：

(1)主機類型及作業系統版本較多、較老、例如GPFS系統主機19臺分別為AIX（版本5.3,6.1）、LINUX（版本4.7,5.5）。

(2)主機多路徑版本涉及multipath、MPIO、SDDPCM等多個版本。

(3)遷移環境FC交換機的帶寬較低4Gb帶寬。

2、遷移挑戰：

(1)遷移時間窗口短，涉及主機多：在GPSF文件系統遷移涉及11臺LINUX系統、8臺AIX系統，需要同時重啟驗證更新多路徑接管新存儲。

(2)遷移數據量大：ODS資料庫系統遷移數據量40T需要在周六、周日兩天遷移完成，同時預留晚上23點到凌晨2點跑批時間，還要預留回退時間，總共遷移實施不到30小時時間窗口。GPFS文件系統數據量37T也只有在周六、周日2天遷移窗口。

3、遷移的實施過程

按標準化流程實施：

(1)現網環境評估調研

進行現網環境的信息採集和梳理，中信數據遷移項目主要包括近40臺的主機信息採集，4臺FC交換機信息收集。同時要梳理交換機的埠規劃信息和組網拓撲。

(2)方案的規劃設計

結合ODS業務特點，分批分期進行數據的遷移工作，針對不同系統輸出針對性的遷移方案，例如：AIX主機+DB2資料庫、AIX+LINUX的GPFS文件系統；方案中不僅要包含詳細實施步驟，還要包含完善的回退步驟，遷移過程中回退，遷移完成運行一段時間後的回退步驟等。方案在華為內部提交ITMO進行專家組評審，並同客戶多次組織相關廠商和行內專家評審。

(3)實驗和模擬

ODS 資料庫的遷移採用了LVM傳統的文件系統遷移，方案成熟，主要考慮的是遷移數據量和時間窗口；GPFS系統遷移案例較少，給出基於存儲和主機側的2種方案，進行數據量和遷移時間評估可行性，並在實驗室搭建測試環境，實驗環境主要完成方案驗證，遷移實施過程中問題的復現，直到遷移完成實驗環境才能夠拆除。

(4)現場交付

組織一線、地區部多名專家現場實施，研發專家後端保障，由於GPFS文件系統的遷移涉及到19臺不同作業系統及版本的多路徑安裝及替換，需要同步進行，操作同時還需要進行覆核；現場申請了華為4人和客戶3人同時操作。

(5)全稱監控

通過微信群工具，將遷移進展和遷移中問題及時同步到二線及三線專家，遷移過程中進行指導和遇到問題及時解決，保證遷移動作的準確性。

(6)值守和驗收

遷移完成後需要在新環境穩定運行1個月左右在拆離原有存儲，這期間需要收集性能數據，觀察業務運行是否平穩，如出現新設備性能不滿足，需要時可進行回退操作。確認整個遷移過程完成業務運行正常後進行驗收和文檔傳遞。

三、中信數據遷移帶來的價值

1、通過完善的數據遷移流程和專家保障，使客戶對老舊系統的數據遷移方案經過驗證更加放心，現場實施過程中遇到問題能夠快速調動不同專業的專家支持，使客戶對華為數據遷移能力更加認可，更加安心。

2、華為存儲的異構虛擬化遷移技術得到客戶認可，客戶認為採用存儲異構虛擬化遷移，大大減少了作業系統側的操作，老舊系統的遷移對客戶自己來說也是難度很大的工作；並且遷移對業務影響時間短，同時回退方便，降低了整個數據遷移的複雜性。