英方軟體助力安信證券打造「多對多池化」高可用集群技術方案

【編者按】

本文所闡述的方案，是由安信證券根據自身的應用場景，結合英方軟體先進的高可用集群基礎軟體，提出並打造的「多對多池化」高可用集群技術方案。該應用場景具有代表性，是英方作為基礎軟體廠商在證券行業又一標杆性實踐，可供其他機構參考。本文內容首發於深圳證券業協會公眾號，經安信證券同意由英方雲在不改變原文主題內容情況下稍作修改並轉載。

原標題：安信證券 | 「多對多池化」高可用集群技術的探索和實踐

安信證券股份有限公司 梁德漢 周金成 王濤

摘要

本文敘述了券商單點應用（如銀行等外部機構提供的應用）實踐「多對多池化」高可用集群技術的探索和實踐，介紹了單點應用從傳統的「一對一」冗餘技術，到「多對多池化」高可用集群技術的創新與落地，生產上實現了在不改變現有系統架構、應用程式並滿足固定IP等的要求下，以較低的運維人力及軟硬體投入成本，有效解決豎井式IT架構的伺服器單點故障可能引發的手動切換等問題，故障轉移時間從分鐘級縮短至秒級。

關鍵字

多對多池化 迭代切換 VIP（虛擬IP） 仲裁 單點應用 高可用集群

01

實踐背景

券商的業務應用系統，特別是對接銀行、交易所、登記公司等的某些應用程式（或直接由對方機構提供的應用程式），在技術架構設計上受限於對方接口規範，大多無法實現高可用冗餘部署的需求，導致了應用單點的出現，而且這些單點往往呈現數量較多、難以改造的特點，券商運維團隊需投入大量的人力物力來保障這類應用服務的連續性。

本文將重點討論解決此困境的新方案。下面，我們將從伺服器的高可用集群技術展開敘述。

伺服器高可用集群是將多個伺服器集中在一起同時進行同一種服務，在應用層看起來就像是一臺伺服器，是一種以減少服務中斷時間為目的的高可用技術。近年來，隨著一系列法律法規的頒布，監管單位對機構的業務高可用保護提出了新的要求，例如，根據GBT 22239-2019《信息安全技術網絡安全等級保護基本要求》的要求，需要滿足提供重要數據處理系統的熱冗餘，保證系統的高可用性。

目前，券商機構在確保關鍵業務系統的高可用方面，採用的主要技術是通過伺服器高可用集群，將單點故障對業務連續性的影響降到最低，並隨著應用場景的發展和監管需求的提高，衍生了主備架構、雙活架構等多種高可用模型。

高可用模型的選擇，取決於券商機構的IT系統架構。在證券行業，多數對外機構業務的IT架構為豎井式業務模型，從上到下分為：上層應用（負責業務交互）、中層系統（負責處理應用數據）、底層存儲（負責落地及存儲數據）。針對此類業務模型，傳統的集群高可用保護方式包括：

1.1.基於共享存儲的高可用架構

此架構由三部分組成：活動主節點，不活動備節點，共享存儲。其中兩臺計算資源節點提供主備角色服務，通過SAN網絡附加型存儲作為數據存儲的介質。代表方案有：Windows故障轉移集群、Linux的RHCS集群。

架構優勢：

（1）數據強一致性保障，只有數據落盤，數據丟失為零；

（2）共享存儲，不需要數據同步的機制，數據不延遲；

（3）RTO時間為秒級；

（4）同機房、同機櫃實現，易管理；

（5）支持自動化切換方式，無需過多的人工幹預。

架構劣勢：

（1）共享存儲的同構成本高，遠距離高可用接管成本高；

（2）數據存儲介質唯一，存儲故障風險大；

（3）僅支持一對一架構，不支持級聯或一對多高可用。

圖1：共享存儲架構

1.2.基於雙機雙櫃的高可用架構

雙機雙櫃是一種不依賴共享存儲而實現的高可用保護架構，採用主備的高可用保護模式。在雙機架構中，生產主機和備機具有物理層的完全獨立性，應用、系統、網絡和數據都是一式兩份，彼此之間僅通過網絡進行通信和數據傳輸，不需要SAN存儲的介入。

架構優勢：

（1）不需要共享存儲支持，投入成本低；

（2）支持遠距離高可用；

（3）雙份數據，業務恢復快；

（4）支持自動化和定義組切換，支持深度進程、埠、日誌等全方位監控；

（5）支持級聯及一對多高可用架構。

架構劣勢：

（1）採用異步數據複製，存在數據延遲；

（2）採用同步數據複製，對生產壓力大；

（3）需要第三方軟體支持，有較高的軟硬體成本和運維人力成本。

圖2：雙機雙櫃的架構

綜上，安信證券團隊研究發現，這兩種基於豎井式的業務模型的高可用架構，伺服器高可用集群採用的是一對一的接管方式，即當生產端的一臺伺服器出現故障，備端的對應伺服器可以啟動接管，但通常會採用手動切換，或通過腳本方式啟動接管，耗時耗力，且容易出錯，不可控的因素多且成本較高。

下文將從安信證券單點應用的伺服器「多對多池化」高可用集群技術實踐、場景應用和總結展望等方面進行介紹。

02

「多對多池化」高可用集群技術實踐

安信證券通過了解英方軟體高可用集群方案可以實現備端伺服器的池化管理，具備資源池伺服器可迭代接管的功能，於是雙方通過技術合作，在安信證券應用場景下，由安信證券提出了「多對多池化」的概念，並於2019年初開始立項，主要針對單點應用伺服器做高可用保護。該單點應用具有三大特點：一是種類及數量較多；二是無數據或少數據的存儲需求；三是應用服務的IP和埠大多要求固定。根據這三大特點，安信證券做了雙機雙櫃（一主一備）的集群高可用的技術方案研究，但是基於一對一的高可用方案並不理想，主要的原因有四個：

一是傳統的業務架構，在設計初期沒有考慮到後期冗餘的需求，難以在短期內進行高可用保護架構的升級，或者新改造方案的成本太高，且存在新的風險；

二是證券系統對業務應用IP如何一直保持不變，特別是像銀行、交易所、登記公司等的業務應用，IP和埠是固定的，在這種要求下用傳統的方式做集群高可用保護，難度很大。

三是故障完成切換後，只能單點運行，系統的冗餘性無法繼續保持。

四是資源投入成本較大，採用傳統的一體機高可用保護方式，硬體數量大，投資回報率低。

如何擺脫高可用性集群建立在「一對一」關係模型上，往「多對多池化」高可用集群技術的方面發展，是突破傳統的豎井式IT架構集群高可用的關鍵。由於行業並沒有可供參考的合適技術方案，項目團隊經過對「一對一」、「級聯」、「一對多」等高可用集群模型的研究，開創性地提出了「多對多池化」高可用集群技術保護的模型。

圖3：「一對一」接管架構

如圖3所示：傳統的「一對一」的關係模型，A主機與A備機的高可用保護形態，數據同步、監控、切換執行等，只發生在A主機和A備機的關係中。

圖4：「多對多」池化接管架構

如圖4所示：「多對多」的關係模型，則通過構建池化集群，將備端的多臺主機組成資源池。當A主機發生故障後，由資源池中具備優先接管條件的備機提供接管，備機接管池的高可用保護不再是一對一的固定模式，它們具備了多級接管的能力。即當故障發生時，第1臺備機如果不具備接管條件，將由第2臺備機接管，以保證故障完成切換後，系統的冗餘性繼續保持。

2.1「多對多池化」高可用的組成架構

架構是模型的基本組成，高可用的基本功能定義需要具備如下幾個條件，來幫助高可用塑型：

角色：定義活動節點即主節點，不活動節點即備節點；

資源：伺服器集群；

數據：一致性保障，確保主備數據一致性；

監控：識別故障及異常的技術方式；

仲裁：第三方防腦裂的判斷基準；

VIP：虛擬IP，統一用戶訪問入口；

心跳：高可用切換的依據；

腳本：調用應用啟動或實現應用的自動拉起；

告警：郵件或簡訊或其它通信方式告警；

組別：應用邏輯組或模塊的順序管理，主要應用在組切換場景中；

回切：恢復系統原狀。

在伺服器「多對多池化高可用集群技術」架構組成方面，由以下組件構成：

圖5：「多對多池化」高可用組件架構

切換組件：手動切換、自動切換、不固定目標端角色切換及固定目標端角色，均在切換模塊中定義；

資源池組件：由生產服務節點和備用資源共同組成；

數據同步組件：負責將數據從指定伺服器同步至目標伺服器；

VIP組件：VIP自動漂移至目標端，不需要人工幹預；

應用聯動組件：提供組聯動切換功能，一鍵拉起業務組服務；

監控組件：識別進程、服務、負載、特定監控對象的運行狀態等，為切換提供判斷依據。

這些組件構成了控制中心組件，負責服務狀態的監控，提供資源池配置與管理，並提供WEB人機互動的窗口功能。

2.2「多對多池化」高可用的核心功能

在已生產部署的三方存管系統中，單點應用伺服器「多對多池化」高可用的核心功能包括：

VIP功能：在高可用的保護場景中，發生主備切換時，伺服器角色會隨著切換節點的變更發生物理主機的角色轉換，由兩臺IP不一樣的主機提供活動節點與不活動節點功能。團隊在「多對多池化」高可用架構設計之初，考慮到了主機切換後IP位址訪問異動的問題，故融入了VIP機制的功能，與通過獨立負載均衡設備實現的VIP功能不同，「多對多池化」高可用採用的是一種軟體定義VIP的功能。

圖6：VIP功能架構圖

當備端的資源池高可用構建完成時，所有主節點的主網卡會自動增加一個虛擬IP位址，並在當前網絡環境下進行正常通信，即一張物理網卡中會有兩個地址：第一級主地址和第二級輔地址。主地址負責集群管理通信，輔地址負責業務數據通信，彼此分工明確。當主節點發生故障，觸發了VIP切換功能之後，集群將VIP輔地址在當前主節點中刪除，在備節點進行IP位址的附加，從而實現虛擬IP位址的漂移。VIP功能確保伺服器切換時，業務的IP和埠保持不變。

仲裁機制功能：在高可用保護切換流程中，可能會出現主備同時為主，或者主備同時為備的現象，這個情況稱之為腦裂，會造成雙主或雙備的情況發生，導致業務系統異常，高可用保護或者切換失效。為了防止此類現象發生，可通過獨立的第三方主機構建仲裁伺服器，站在中間立場來執行唯一性切換判斷，解決腦裂、網絡閃斷造成誤切換等問題。

圖7：仲裁伺服器架構圖

例如，正常的運行模式下，主備雙方具備同樣的票數確保各角色固定。當心跳網絡中斷，但主機服務正常的特殊情況下，獨立於心跳網絡之外的仲裁端開始發揮作用。主備機高可用節點伺服器會實時維持與仲裁端的監控同步，識別應用節點正常或異常狀態及確定主備角色都各自固定，且唯一存在，當出現如下兩種狀況時，仲裁開始發揮作用：

1.主節點正常，但主備心跳中斷，依照優先級設置，主備不會發生切換，防止誤切換發生，同時會下達指令，控制備端不進行角色接管，並通知運維人員介入處理。

2.主節點異常，主備心跳中斷，能與仲裁連接的節點會被判斷為健康節點，不健康的節點會退出高可用性應用。當主備完成切換後，核對切換後的主機和接管後的備機，彼此主備角色不重複，具備唯一性存在。

需要說明的是，當心跳線正常的情況下，仲裁不會起作用。而故障切換的判斷條件包括某個服務或進程是否正常，CPU 、內存、磁碟是否正常，網絡是否正常，也可以使用腳本自定義其他的判斷條件。以上條件多次確認發現問題後，再判斷心跳連接和仲裁的情況決定是否切換。仲裁節點節自身出故障時，高可用規則會有告警功能，如果不修復，當主節點故障需要仲裁時可選擇兩種策略中的一種切換或不切換。

仲裁節點還可以使用高可用方式部署，避免單點故障。部署方式如下：

仲裁機是1:1的高可用集群，仲裁IP為此集群的對外服務VIP。集群高可用仲裁有三個場景：

1）如果仲裁IP不存在：整個高可用伺服器池不能自動切換，可通過手動進行切換（告警發現，需及時修復）。

2）仲裁節點誤切換無風險：仲裁IP在任何一個安裝有代理的機器上，只要有網絡權限，就可以起到仲裁節點的作用。

3）如果出現腦裂，當兩個都為備節點，則IP丟失，運行模式如場景1；當兩個都為主時，兩節點會通過優先級去比較，發現初始主節點的優先級比較高，就會回切為主節點，另外一個主節點則會降為備節點。

資源池化功能：伺服器資源的池化，採用了雲平臺的主機池化管理架構，將所有主機和備機統一在一個伺服器資源池中進行管理，通過標籤定義的功能來識別應用類型。不同應用的主機和備機，構成了資源池的基礎，不區分物理機、虛擬機等物理平臺類型，所有的切換、接管、監控、策略均發生在可控的資源池中，通過邏輯組，將不同業務劃分為不同組別，並進行分類標明，所有組均統一至池中進行管理，不同業務系統、不同組別、不同主機平臺，基於節點服務統一進行高可用的切換管控。

圖8：伺服器資源池架構圖

在伺服器資源池中進行彈性伺服器節點的新增或刪除時，不需要停機，不影響業務正常運轉。例如，可以進行故障伺服器的在線更換，即通過資源池的伺服器調用，添加完新伺服器後，再撤掉舊的伺服器，如此可輕鬆應對設備維護、系統升級和補丁修復等。

迭代切換功能：常規的主備切換模式中，主節點切換至備節點就算一個主備流程完結。在「多對多」高可用的保護設計中，支持迭代切換，即A故障B接管，B故障C接管，直到資源池最後一個空閒資源節點耗盡為止。迭代切換功能保障了系統的冗餘能力最大化。

圖9：迭代切換架構圖

不同接管率支持功能：「多對多池化」高可用保護在面向多臺主機保護時，可以根據應用服務保障級別進行伺服器的彈性擴容，即通過設計接管率的配比來控制接管主機的投入數量，調配的合理範圍一般設置在10%-100%內。

圖10：不同接管率架構圖

舉例說明：在10%接管率的場景下，100臺生產伺服器僅需要10臺接管主機即可滿足要求，即允許同時故障的最大主機數量為10，相較於傳統「一對一」主備模式，可降低90%的伺服器資金投入，承擔額定故障率的高可用接管。

代理伺服器功能：為了減輕對生產系統的影響，「多對多池化」高可用集群技術方案只在伺服器上裝一個輕量化的代理程序，然後通過Web界面對伺服器集群的高可用狀態進行監控、展示和管理。

2.3「多對多池化」高可用技術優勢

與傳統的「一對一」高可用保護技術相比，「多對多池化」高可用集群技術的優勢包括：

化解發生切換後單點運行風險

一對一高可用保護技術，當發生主機切換後，會存在單點運行的風險，即接管設備再發生故障時，業務將中斷。「多對多池化」高可用保護技術，通過伺服器資源的池化管理，使得備用資源池的伺服器大於等於2時，整個業務系統的高可用構成方式變成了迭代接管。

對應用系統完全透明

對於證券、銀行等傳統的系統架構，很多程序短期內無法進行迭代，而架構的修改風險大，成本高。「多對多池化」的高可用保護技術無需對現有的系統架構和程序做任何修改，只需在伺服器上安裝一個輕量化的代理程序，整個過程對應用系統完全透明。

高性價比

如果採用自動化的高可用接管方式，「一對一」高可用保護技術的方案，可以通過購買一體機的方式進行部署，但投入成本大，一臺一體機就可高達二三十萬，設備老舊更換的費用高，運維人力資源的投入較大。採用「多對多池化」高可用集群技術，在原有伺服器設備基礎上，通過高性價比的軟硬體投入方式（備機集群資源池甚至可以使用新老設備混用的方案），實現資源池內伺服器資源的靈活調用，在投入更小的情況下，整個系統的冗餘能力反而得到提升。

維護更可靠

一對一的高可用保護技術，當生產伺服器出現故障時，運維人員會手動切換到另外一臺伺服器，然後再去維修故障伺服器，整個切換過程風險大，不可控因素多。採用「多對多池化」高可用集群技術，伺服器出現故障時會自動切換，整個系統保持高可用狀態，且不會存在切換後單點運行的狀態。同時，系統後臺會推送告警信息，運維人員無需馬上去維護，可以等到收市後的非繁忙時段再去處理，整個過程可視化、更可靠。

2.4「多對多池化」場景應用實踐

在安信證券落地實施的「多對多池化」高可用集群技術場景中，目前已完成三方存管業務、銀衍業務所有單點應用的高可用集群部署，圖11非常清晰地描述了部署的樣例：在銀行中間件集群中，生產部署了9臺主用伺服器和4臺備用伺服器；在三方存管業務的三方交易網集群中，部署2主2備；在銀衍業務的三方交易網關集群中，部署1主1備。

圖11：場景落地應用架構圖

在對單點應用的「多對多池化」高可用保護項目建設過程中，團隊實現了以下的生產場景應用：

一是同網段同類應用形成一個集群，即以產品屬性自由分配不同的應用集群。

二是多資源池的支持。根據業務應用特點，可劃分多個伺服器集群的資源池，降低彼此之間的影響。

三是VIP功能管理。硬體資源的管理可通過物理IP實現，對於有IP綁定需求的伺服器，系統可增加虛擬IP來承載業務入口；如果沒有就不需要增加，節省IP資源。

四是伺服器資源的維護。在無需停機的情況下，可將系統應用切換至資源池的伺服器集群中，待新機替換舊機，或系統升級、補丁修復後，再切換回來，整個過程無需停機，對業務不影響，可滿足7×24小時服務應用程式的業務連續性保障需求。

03

總結與展望

項目第一階段已完成實施所有第三方存管、銀衍轉帳單點應用的「多對多池化」高可用集群部署。上線半年以來，生產上發生了一次物理機故障，應用程式自動切換到備端伺服器資源池的物理設備上恢復業務連續性，整個處理過程秒級切換，無人為幹預，客戶無感知，整體效果符合預期。

項目第二階段，計劃分批逐步實施登記公司、交易所小站、櫃檯報盤程序等單點應用的「多對多池化」高可用集群部署。

證券是一個對業務連續性要求非常嚴苛的行業，幾分鐘的停機事件都會帶來巨大的經濟損失和影響。「多對多池化」高可用集群技術在成本、可行性、風險管控、創新性方面對整個行業突破「一對一」冗餘保護技術的枷鎖，起到了拋磚引玉的良好作用。未來，安信證券更多的單點應用系統將採用此方案進行多對多的高可用保護，直至消除所有生產單點應用運行的情況。

在上述的安信證券「多對多池化」高可用集群技術方案中，融合了英方軟體高可用集群技術，可實時監控應用系統的運行狀態，偵測到故障時執行高可用切換，實現業務的秒級接管和迭代接管，具備應用的快速無縫切換、分組切換、圖形化管理、獨立於軟硬體平臺、簡單靈活的部署方式、滿足國產化需求等特點。