近日，在2020中國系統架構師大會上，騰訊雲資料庫技術負責人雷海林圍繞騰訊雲資料庫異構多源同步遷移技術方案進行了分享。「資料庫未來一定是向分布式方向發展，資料庫核動力升級的時代即將到來。」雷海林表示。
國產化巨浪加速
從計算機出現開始，在各行各業的電子化發展過程中，傳統關係型資料庫都發揮著至關重要的作用，成為銀行、保險、證券、政務、醫療等各行業電子系統的核心基礎軟體系統。
而隨著雲計算、數字網際網路等新一代技術變遷，近年來關係型資料庫也隨之發生變革，形成了從以國外商業資料庫為代表的傳統集中式資料庫，向以國內科技巨頭研發沉澱的分布式資料庫轉變的趨勢浪潮，以實現全行業技術的分布式轉型升級。國外傳統集中式資料庫，性能瓶頸明顯、成本消耗巨大，而基於雲計算時代的彈性可擴展分布式資料庫，具備高性能低成本、彈性伸縮等優勢。從集中式向分布式遷移，好比柴油動力終將為核動力所替換。
對於國內產業機構而言，實現核心技術安全可控、降本增效也成為了產業升級下刻不容緩需要實施變革的問題。隨著近年來相關政府監管部門連續出臺重要指導政策，企業資料庫擺脫國外資料庫依賴、從國外傳統集中式資料庫向基於國產分布式資料庫遷移上雲成為大勢所趨。國際權威諮詢機構Gartner在最新資料庫行業研究報告中指出，預計到2021年，雲資料庫在整個資料庫市場中的佔比將首次達到50%;而到2023年，75%的資料庫要跑在雲平臺之上。
然而，由於資料庫關係數據安全命脈、遷移成本以及技術複雜程度高、新目標資料庫難以選型等問題，過去企業資料庫國產化進程仍處於逐步探索、推進過程中。騰訊雲資料庫基於近年來大量豐富的資料庫遷移實踐，一方面沉澱了完善的雲計算分布式資料庫產品系列，可適應廣泛的企業資料庫遷移轉型需求，同時沉澱打造出標準成熟、可驗證可復用的資料庫遷移解決方案——多源異構遷移同步解決方案DBbridge，並將其打造成平臺型能力，助力客戶實現資料庫平穩快速遷移，大幅降低資料庫遷移改造成本。
在這樣的基礎上，行業分布式技術轉型乘風破浪，資料庫國產化浪潮正加速推進，成為時代技術變革的重要推動。據統計，經過數年的發展，隨著資料庫底層能力的升級以及智能調度、智能診斷、異構遷移同步等周邊能力完善，截至2020年9月，騰訊雲資料庫服務客戶數已經超50萬，其中還不乏擁有超過1萬個資料庫實例的客戶的存在，充分證明騰訊雲資料庫系列產品能力以及資料庫遷移同步等服務能力具備領先優勢。
資料庫遷移的痛點
資料庫負責所有業務系統的數據存儲計算與交易，牽一髮而動全一身。同時由於多年來基於生態封閉的傳統國外資料庫產品，系統兼容性程度複雜。更重要的是，作為系統架構轉型的關鍵支點，資料庫遷移一方面可實現安全可控，另一方面是需要幫助企業考慮如何應對在雲計算時代未來業務和系統的數位化、多元化發展需求，因此資料庫的選型同樣至關重要。
由此種種，企業資料庫分布式轉型、國產化遷移過程中，面臨多個痛點。總結起來包括：
遷移成本高，工作量大。人工操作資料庫遷移風險較高，遷移周期長，耗費的人力成本較高。
資料庫遷移技術複雜。資料庫遷移對操作人員的技術水平要求較高，不僅需要掌握源資料庫的技術還有懂得目的資料庫的技術，並了解資料庫之間遷移技術。
異構資料庫的兼容程度不好評估。源庫遷移到目的資料庫的對象兼容程度如何，應用SQL兼容程度如何，遷移改造的風險和難度如何量化評估。
遷移過程無標準化流程。整個遷移過程復用程度低，沒有一個標準化的最佳實踐方案。
目標資料庫選型困難。國產資料庫類型較多，無法快速選擇適合業務場景的資料庫類型。
資料庫更新迭代也容易
在對外開放核心技術產品，推動行業資料庫及系統技術架構轉型升級的產業化實踐中，騰訊雲資料庫基於騰訊聯合生態內多年資料庫運維和工程師研發經驗的技術積累，將海量實例的數據遷移同步經驗與技術實踐沉澱成DTS-DBbridge資料庫遷移平臺，為行業提供簡單易用的資料庫遷移平臺。
具體來說，DTS-DBbridge資料庫遷移平臺以騰訊雲資料庫多源異構數據遷移同步(MULTISRCSYNC)為技術核心，包含強大的自動化評估和改造工具、標準化的異構資料庫遷移流程方案等，從評估、選型、改造、遷移、校驗等每個環節，用戶都只需通過滑鼠即可完成可視化操作，即可以實現高性能、高可用、高可靠的資料庫遷移，真正做到便捷、安全、易運維。
同時，騰訊雲提供自研的多引擎雲原生資料庫CynoSDB、金融級分布式資料庫CynoSDB(TDSQL)和分析型資料庫CynoSDB(Tbase)等完善的資料庫產品體系，可滿足雲計算時代行業對資料庫的多種業務場景需求，為企業客戶提供完整的資料庫遷移改造解決方案。
DTS-DBbridge解決方案架構
資料庫遷移評估與決策
資料庫遷移前，DTS-DBbridge平臺首先將基於對原資料庫的數據分析，並結合企業實際業務規劃，進行包括兼容性、複雜度、工作量、遷移耗時等模塊數百個指標在內的可行性與最佳方案綜合評估，最終產生詳盡的遷移報告，以及針對每個企業的技術與業務規劃特點，輸出個性化資料庫整體解決方案。
在評估過程中，例如針對兼容性的評估，可精細化掃描識別哪些兼容、哪些不兼容，不兼容點將根據客戶要求評估並形成改造方案。
數據遷移準備與實施
完成評估與決策後，可基於DBbridge實施應用系統與源端資料庫，向目標端系統與資料庫進行遷移改造。
除了資料庫轉型升級的場景需求，事實上，為實現數據解耦及匯總的需求，企業日常同時存在基於數據遷移、分發、容災備份等訴求而進行多源異構遷移。針對以上場景，騰訊雲資料庫DBbridge具備高性能、高一致、支持多種異構數據平臺的數據分發的特性，其支持以騰訊雲資料庫作為源端的數據實時同步分發至 MySQL、Oracle、PostgreSQL、消息隊列等平臺，同時也支持以騰訊雲資料庫作為目標端，將 MySQL 或者 Oracle 的數據實時同步至騰訊雲資料庫中,並且部署靈活，支持一對多，多對一等多種複製拓撲結構。
多源同步模塊典型的基於日誌的 CDC 複製技術，其系統架構如下：
同時，基於高度標準化、平臺化的產品服務，DBbridge支持用戶可視化便捷操作，完成多源異構資料庫之間的結構遷移、增量同步。
結構遷移流程動圖
此外，騰訊雲資料庫提供完善的服務保障，整體遷移方案採取平穩過渡，在服務交割遷移中，將採取原應用系統和新應用系統並行跑一段時間的措施，測試新應用系統沒有問題後，做正式的服務交割。
資料庫遷移自動化校驗
最後，在這一套同步的數據鏈路過程中，騰訊雲DTS-DBbridge同時提供數據校驗的服務，以保證多活基礎上數據遷移同步的一致性、可靠性。主要包括兩個方面：一是增量校驗，含義就是會實時校驗這一筆數據從源端抽取，到它的增量變化，再到寫到目標端之後，這筆數據落庫落得準不準確，是不是在正確的目標上寫下這筆數據;二是存量校驗，可能是一些定時定期去跑批，比如說定期對源和目標的數據進行整體的校驗，以能夠主動及時地發現整個數據通路上的問題和錯誤。
基於數據同步的跨城雙活架構：
首先左邊和右邊代表不同的城市，這裡舉例左邊是深圳，右邊是上海。從圖上可以看到，騰訊雲CynosDB(TDSQL)在SZ這套實例會將業務不斷寫入的增量數據源源不斷地寫入本城的消息隊列裡面。對城的SH也會將自己業務訪問的增量數據源源不斷寫到消息隊列裡面，同時在各個城市有一套自己的消費服務，這套消費服務會拉取對端的增量數據，也就是說會拉對城的消息隊列裡面的增量數據進行重放，這樣就實現了兩套基於數據同步的一套跨城雙活。這個雙活是有前提條件的——就是兩套業務在SZ和SH同時寫的時候，它的訪問主鍵一定是分離，在這一套邏輯下面沒有辦法做到同時對同一條主鍵進行修改。
資料庫遷移高可用多源同步
安全問題是資料庫遷移考慮的重中之重。值得一提的是，基於多源同步的方案實踐，還能實現資料庫遷移中的安全風險控制。因為準實時的數據同步分發與雙向數據遷移等性能特性，使得多源同步服務輕鬆實現了解耦與風險控制，保障系統持續可用。
資料庫遷移涉及大量核心數據信息，「快」和「穩」缺一不可。多源同步服務作為騰訊雲資料庫內置功能特性，在資料庫國產化轉型實踐中久經驗證，至今助力超過600家金融政企機構資料庫國產化遷移投產。
以某省廣電局遷移案例為例，騰訊雲多源同步遷移服務通過重新部署業務系統的遷移方式，從遷移準備、遷移評估、方案設計、資源準備及資料庫改造、遷移實施、結果驗證一共只使用30天。其中最為關鍵的資源準備及資料庫改造環節用時7天!將客戶的業務系統資料庫從Oracle遷移到CynosDB(TDSQL)，CynosDB(TDSQL)的性能滿足了客戶面臨的現有的業務壓力。而業務系統遷移過程中對數據完整性保障，為後續新業務系統運維提供了良好的數據基礎。
而在一些金融級高度敏感業務系統遷移實踐中，CynosDB(TDSQL)很好地實踐了兼顧性能和安全的遷移服務策略。以張家港行核心系統資料庫遷移為例，張家港行聯合騰訊雲及系統建設方長亮科技，充分結合銀行傳統業務與網際網路業務的場景差異，對業務邏輯進行重新設計，以完成新一代核心系統應用兼容性改造和資料庫升級優化。同時，依託騰訊雲提供的異構資料庫同步方案，三方還實施了CynosDB(TDSQL)和集中式資料庫數據準實時同步的策略，作為兜底方案。值得一提的是，這個雙版本同步兜底方案，最終無需派上用場，新核心系統系統平穩上線，順利投產。
轉載請註明出處。