乾貨:5種常見數據複製技術詳解

2021-01-10 英方

根據IDC的相關數據統計,2018年全球的數據複製存儲市場規模就已經超過了500億美金,而其中而作為數據複製技術重要應用場景的數據備份和恢復軟體市場的規模也同樣蔚為可觀。今天,我們就來聊聊5種常見的數據複製技術。

複製(Replication)是將一組數據從一個數據源拷貝到一個或多個數據源的技術。

方式主要分為同步複製和異步複製:

1、同步複製:要求每一個寫入操作在執行下一個操作處理之前,在源端和目標端都能完成。特點是數據丟失少,會影響生產系統性能,除非目標系統物理上離生產系統比較近。

2、異步複製:在處理下一個操作前,不等待數據複製到目標系統中。特點是複製的數據與源數據有時間差,但這種複製對生產系統性能影響較小。

在災備方案的設計中,數據複製技術的選擇關係到最終災備效果,即RTO與RPO值的大小。根據數據複製技術在不同系統層的應用,可以分為如下五種:

1、基於主機的數據複製技術

基於主機的數據複製是通過磁碟卷的鏡像或複製進行的,業務進行在主機的卷管理器層,對硬體設備尤其是存儲設備的限制小,利用生產中心和備份中心的主機系統通過IP網絡建立數據傳輸通道,數據傳輸可靠,效率相對較高;通過主機數據管理軟體實現數據的遠程複製,當主數據中心的數據遭到破壞時,可以隨時從備份中心恢復應用或從備份中心恢復數據。

基於主機的數據複製不需要兩邊採用同樣的存儲設備,具有較大的靈活性,缺點是複製功能會佔用一些主機的CPU資源,對軟體要求較高(很多軟體無法提供基於時間點的快照功能),對主機的性能有一定的影響。

英方獨有的基於作業系統層面的字節級數據捕獲與複製技術在實施過程中,首先會做初始化的數據鏡像,然後通過核心的複製引擎,開始旁路監聽所有文件系統的寫操作,例如Rename、SetAttr等,都能準確的捕獲,並通過數據序列化傳輸技術(Data - Order Transfer,簡稱「DOT」)異步傳輸到災備端,完成整個數據的捕獲和複製過程。

首先,字節級複製的核心引擎工作時,並沒有複雜的數學運算,對生產機計算資源佔用可以忽略,僅僅是旁路捕獲數據。

其次,所有的數據都是從內存中捕獲,並不涉及生產主機存儲的讀取操作,因此數據複製過程不佔用主機的存儲IO資源。

最後,基於字節級的數據複製粒度最小到字節,因此對於帶寬資源的要求極低,是適應於異地遠距離、及面向未來的混合IT環境和雲化架構的一種複製方式。

2、基於應用和中間層的數據複製技術

應用層面的數據複製通過應用程式與主備中心的資料庫進行同步或異步的寫操作,以保證主備中心數據的一致性,災備中心可以和生產中心同時正常運行,既能容災,還可實現部分功能分擔,但是該技術的實現方式複雜,與應用軟體業務邏輯直接關聯,實現和維護難度較高,並且使用應用層面的數據複製會提高系統的風險與數據丟失的風險。

獨立於底層的作業系統、資料庫、存儲,應用可以根據需求實現雙寫或者多寫,從而實現主本和多個數據副本之間的數據複製功能。這種由應用實現的技術,可以在中間件或者應用平臺層面進行封裝和實現,對上面的應用透明,也可以在應用層面實現。

其主要優勢是可根據需求定製、可實現應用和資料庫層面的複製;主要不足是目前市場上沒有成熟、適合傳統IT企業大規模推廣使用的中間件產品。如果完全由應用封裝平臺或者應用來實現,代碼的複雜程度提高,增加了應用的維護成本。

3、基於資料庫的數據複製技術

基於資料庫軟體的複製技術包括物理複製和邏輯複製兩種方式。

邏輯複製是利用資料庫的重做日誌、歸檔日誌,將主本所在站點的日誌傳輸到副本所在站點,通過重做SQL的方式實現數據複製。邏輯複製只提供異步複製,主副本數據的最終一致性,無法保證實時一致性;

物理複製不是基於SQL Apply操作來完成複製,而是通過redo log日誌或者歸檔日誌在副本站點的同步或者異步持久化寫來實現複製功能,同時副本站點的數據可以提供只讀功能。

開放平臺資料庫複製技術則是一種基於資料庫log(日誌)的結構化數據複製技術,它通過解析源資料庫在線log或歸檔log獲得數據的增、刪、改變化,再將這些變化應用到目標資料庫,使源資料庫與目標資料庫同步,以達到多站點間資料庫可雙活甚至多活,實現業務連續可用和容災的目的。

基於資料庫的數據複製是對資料庫記錄級別、表級別容災高可用的基礎技術,英方資料庫容災技術結合了主機複製和資料庫日誌分析的優點,提高了系統應用的靈活性,可實現資料庫應用多活,同時也極大減少了資料庫應用的增量數據傳輸。在細粒度數據容災、廣域雲化容災領域仍然具有廣闊的應用前景。

資料庫語義級的實時數據同步,在資料庫正常使用時,自動完成源端到備端數據的初始化全量複製,並實時監控及同步複製增量數據,其正常流程的狀態轉換及條件如下:

英方i2Active便是基於redo log日誌分析技術的Oracle數據實時複製工具,具有簡單靈活、高性能、非侵入、低影響、低於秒級延遲,低成本的特點,部署和使用也非常簡便。能夠幫助用戶在複雜的應用環境下完成Oracle容災備份、數據遷移、業務數據分發、構建大型數據倉庫等技術數據整合等工作。

4、基於存儲系統網關的數據複製技術

存儲網關位於伺服器與存儲之間,是構架在SAN網絡上的專用存儲服務技術。這項技術基於存儲虛擬化技術。

存儲虛擬化的直接定義:在存儲設備中形成的存儲資源透明抽象層,即存儲虛擬化是伺服器與存儲間的一個抽象層,它是物理存儲的邏輯表示方法。其主要目的就是要把物理存儲介質抽象為邏輯存儲空間,將分散繁雜的異構存儲管理整合為統一簡單的集中存儲管理,將人們所面對的眾多存儲問題,由繁化簡(其中包括存儲的讀寫方式、連接方式、存儲的規格或結構等),由散化整(存儲管理)的過程就是存儲虛擬化。

存儲網關通過對於進入的IO數據流提供各類數據存儲服務,大幅提升了在伺服器或者存儲層面難以達到的靈活性、多樣性、異構化等多種存儲服務能力。利用存儲網關,對於後端的存儲數據可以提供遠程數據複製、異構化存儲融合、存儲設備高可用鏡像、快照服務、數據遷移服務甚至於部分存儲網關可以提供精準的持續數據保護連續數據恢復服務。

由於存儲網關卸載了伺服器和陣列的複製工作負載,它可以跨越大量的伺服器平臺和存儲陣列運行,因而使它成為高度異構的環境下的容災技術的理想選擇。另外,由於帶寬優化、數據恢復精細化等方面獨有的優勢,這項技術也成為比較主流的一種災備技術。

這項技術主要爭論點在於性能保障能力的發展程度。近年來,隨著SAN應用的不斷普及,SAN網絡中由異構存儲設備和爆炸式增長的數據量所帶來的管理複雜性、資源利用率低、存儲設備自身數據服務能力低等問題促進了存儲網關的發展和應用。

5、基於存儲介質的數據複製

通過存儲系統內建的固件或作業系統、IP網絡或光纖通道等傳輸介質連結,將數據以同步或異步的方式複製到遠端,從而實現生產數據的災難保護。

採用基於存儲介質的數據複製技術建設容災方案的特點主要是對網絡連接及硬體的要求較高。基於存儲的複製可以是「一對一」複製方式,也可以是「一對多或多對一」的複製方式,即一個存儲的數據複製到多個遠程存儲或多個存儲的數據複製到同一遠程存儲,而且複製可以是雙向的。

存儲複製技術使基於實現存儲磁碟陣列之間的直接鏡像,通過存儲系統內建的固件(Firmware)或作業系統,利用IP網絡或光纖通道等傳輸界面連結,將數據以同步或異步的方式複製到遠端。當然,一般情況下這種模式,必須同等存儲品牌並且同等型號的存儲系統控制器之間才能實現,配備低延遲大帶寬也是必要條件之一。

在基於存儲陣列的複製中,複製軟體運行在一個或多個存儲控制器上,非常適合擁有大量伺服器的環境,原因如下:

獨立於作業系統;能夠支持Windows和基於Unix的作業系統以及大型機(高端陣列);許可費一般基於存儲容量而不是連接的伺服器數量;不需要連接伺服器上的任何管理工作。

由於複製工作被交給存儲控制器來完成,在異步傳輸本地緩存較大的時候可以很好的避免伺服器的性能開銷過大的問題,從而使基於存儲陣列的複製非常適合關鍵任務和高端交易應用。

綜述:

在實際工作中,並不能說哪類技術就一定優於另一類技術,優勢永遠是一個相對的概念,在實際應用中,企業需要選擇更加適合自身業務場景的技術路線,畢竟只有適合的,才是最好的。

註:部分內容整理於網絡

相關焦點

  • 乾貨: 五種常見數據複製技術詳解
    今天,我們就來聊聊5種常見的數據複製技術。複製(Replication)是將一組數據從一個數據源拷貝到一個或多個數據源的技術。根據數據複製技術在不同系統層的應用,可以分為如下五種:1、基於主機的數據複製技術基於主機的數據複製是通過磁碟卷的鏡像或複製進行的,業務進行在主機的卷管理器層,對硬體設備尤其是存儲設備的限制小
  • 分布式存儲技術:數據分布與數據複製
    面對海量的數據,傳統的存儲缺點也越來越明顯,如擴展性差、單點故障等。為了克服上述缺點,滿足海量數據的存儲需求,市場上出現了分布式存儲技術。本篇文章主要和讀者朋友們聊一聊數據分布與數據複製,數據分布是確定數據位置,數據複製是實現數據備份的關鍵方法。數據分布談到分布式存儲,我們有一個繞不開的概念,那就是負載均衡。
  • 詳解容災備份基礎:數據複製的幾種架構
    每家存儲供應商在制定自己的容災戰略時,都會採用適用於自身技術、與原有產品相匹配的技術。這樣一來,作為容災的基礎,選擇一個合適的數據複製的構架就顯得非常重要了。  數據複製是一種實現數據分布的方法,就是指把一個系統中的數據通過網絡分布到另外一個或者多個地理位置不同的系統中,以適應可伸縮組織的需要、減輕主伺服器的工作負荷和提高數據的使用效率。
  • 多數據中心間複製技術的較量
    多數據中心間複製技術的較量 多個數據中心之間如何協調工作,才能達到「1+1大於2」的效果?這就涉及到數據中心之間的數據複製技術,必須學會用好複製技術,才能玩轉多數據中心。
  • 傳統存儲複製技術八大痛點
    災備技術涉及的領域很多,有很多廠商提供了多種技術解決方案,當前比較常見的數據複製技術有幾大類,例如基於傳統存儲的複製技術,技術資料庫的複製技術,
  • 高性能Mysql主從架構的複製原理及配置詳解
    一旦發現沒法精確複製時, 會自動選著基於行的複製。基於行的複製:把改變的內容複製過去,而不是把命令在從伺服器上執行一遍. 從mysql5.0開始支持混合類型的複製: 默認採用基於語句的複製,一旦發現基於語句的無法精確的複製時,就會採用基於行的複製。
  • 存儲技術論壇:最高可用級別的同步複製及方案
    兩種複製技術的差異       複製技術就是將主數據中心的數據拷貝到不同物理地點,用以支持分布式應用或建立備用數據中心,增強系統可靠性。複製包括兩種方式,同步複製和異步複製。同步複製指的是複製數據在任何時間在多個複製節點間均保持一致。
  • 英方軟體榮獲年度最佳數據複製基礎軟體企業稱號
    12 月 28 日,中國存儲網 ITbrand 品牌研究中心發布了「2020 年度中國存儲市場影響力排行榜」,英方軟體在存儲市場的數據複製細分領域的開創性表現,獲得了品牌中心評委專家的一致認可,被評為「2020 年度最佳數據複製基礎軟體企業」。
  • 乾貨:記一次JavaWeb網站技術架構總結
    市面上已經有相對比較成熟的技術,比如阿里開源的Dubbo(官方明確表示已經開始維護了),spring家族的spring cloud,當然具體如何去實施,無論是技術還是業務方面都要有很好的把控。  Dubbo
  • CAD圖紙無法複製和粘貼 大神總結了這幾種解決辦法
    相信很多新手朋友都無法得到有效解決,這裡有CAD大神總結的幾種解決方法,按照下面步驟依次排除就可以了,有相同情況的小夥伴不妨收藏好好研究下。第一種:清理孤立的數據這個也是我們最常用的一種方法,可以直接用CAD軟體中的清理工具將圖紙中的無用數據進行清理如果圖中確實有這類數據,清理可能需要等待一段時間。
  • 外匯交易中幾種常見的技術圖表
    外匯交易中幾種常見的技術圖表:一、蠟燭圖(k線圖)蠟燭圖是當今世界運用最廣泛的技術分析圖形,是西方技術分析者們用來描述價格變動的方法,由於圖形形似蠟燭,所以叫蠟燭圖,也就是我們常說的k線圖。蠟燭圖更加強調開盤價與收盤價之間的關係,通過蠟燭圖可以更清晰地分辨陽線和陰線,並且有一整套蠟燭圖技術與之相配合,蠟燭圖分析技術我們將在本章的後半部分逐一講解,系統培訓班的相關內容都是以蠟燭圖為基礎圖形。二、收盤價線圖收盤價線圖是以匯率的單根k線收盤價進行連續繪製,形成曲線。
  • 解析度最常見的單位及換算詳解
    打開APP 解析度最常見的單位及換算詳解 博客園 發表於 2020-12-28 14:12:47 對於測試數字成像設備非常重要的參數是解析度
  • DDoS攻擊的六種主要類型及常見防禦技術
    DDOS攻擊最早可追溯到1996年最初,目前的DDOS攻擊主要有六種方式。DDOS攻擊的六種方式SYN Flood攻擊是當前網絡上最為常見的DDos攻擊,也是最為經典的拒絕服務攻擊,它利用了TCP協議實現上的一個缺陷,通過向網絡服務所在埠發送大量的偽造源地址的半連接請求
  • 深度 | 兩種複製技術大比拼 看阿里雲RDS企業版 VS 開源MySQL誰更勝一籌?
    >最大特點是採用了與社區版不同的複製技術,讓數據在不同的MySQL實例節點之間傳播。複製基於Paxos協議,能夠確保任意1/2的節點宕機或者故障都不會影響集群數據的一致性,讓MySQL服務擁有真正的RPO=0的能力,可以應對對數據安全性、一致性有高要求的應用場景。企業版RDS for MySQL的核心複製技術是X-Paxos。
  • Redis詳解:sets數據類型及操作
    系列文章:  Redis詳解:strings數據類型及操作  Redis詳解:hashes數據類型及操作  Redis詳解:lists數據類型及操作  Redis的set是string類型的無序集合。set元素最大可以包含(2的32次方)個元素。
  • TiDB 異構資料庫複製最佳實踐
    原因相信很多朋友也碰到過,比如有一條 SQL,在測試環境的時候我把這條 SQL 已經調的非常優化了,但是業務上了線,偏偏這條 SQL 成為了「慢 SQL」,這是由於測試數據跟生產數據偏差太大所導致的,所以這裡我們必須用資料庫複製的技術來做。
  • 抓包技術詳解及抓包軟體介紹
    抓包 概念:抓包(packet capture)就是將網絡傳輸發送與接收的數據包進行截獲、重發、編輯、轉存等操作,也用來檢查網絡安全。抓包也經常被用來進行數據截取等。一些原理和概念性的東西如果詳解估計一本書也寫不完,為了快速進入正文,有些概念和原理不明白的還請大家自行去百度一下。本文講解的抓包是一個主動的過程,主要抓取某個軟體或某個app的數據包。和黑客技術中的嗅探有所不同,還請區分。抓包工具介紹:Wireshark,在N久以前也叫Ethereal。這是目前網絡封包分析行業中使用最廣的軟體,功能非常強大。
  • 「數據複製基礎軟體廠商」英方軟體 發布2021中國災備行業白皮書
    原標題:「數據複製基礎軟體廠商」英方軟體 發布2021 中國災備行業白皮書   近日,據英方軟體官方消息,英方軟體發布了大數據管理、數據副本管理、智能運維、多地辦公數據跟隨等新領域成果
  • 科學家利用單分子操縱技術觀測DNA複製
    由於DNA長鏈常常出現單個鹼基的缺失或是損傷,因此DNA損傷相當常見,每天每個細胞大約有100萬個分子損害。
  • Oracle複製解決方案
    【IT168 技術文檔】1、範圍  本文討論的是Oracle資料庫提供的數據複製機制,所討論的解決方案全部與平臺無關。  2、介紹  複製是目標資料庫與源資料庫之間數據保持同步的一種機制,複製可以分成不同的類型,如:  2.1資料庫內的複製  在這種情況下,一個表中的數據複製到同一個資料庫中的另一個表中,這是複製的一種簡化形式。  2.2在兩個不同的資料庫之間的複製  在這種情況下數據從源資料庫複製到目標資料庫。