數據是新型生產要素,是新的石油,數據的地位和價值不斷提升,對國家發展、企業數位化轉型至關重要。興業銀行信用卡中心在業務應用、科技規劃及系統建設過程中積極利用數據,通過數據為業務賦能,提升經營效率,推動信用卡業務數位化轉型。
隨著興業銀行信用卡中心數位化轉型的持續推進,數據應用需求不斷加大,數據交互成本也在加劇,如何更好地利用好內外部數據,在信息安全可控的前提下,規範有效合理進行內外部數據傳輸交換是實現數據應用的第一步。在此背景下,為了進一步提升信用卡中心數據交互的規範化、統一化,同時提升數據交換類系統對業務複雜性的支持能力,興業銀行信用卡中心從多個維度出發,對原有數據交換任務進行整合,建設了信用卡中心數據總線(「興幹線」),統一實現了內外部數據交換的第一道閘口。
系統整體架構
基於數據傳輸安全性要求的不同特點,整個總線分為內部數據總線和外部數據總線兩個子系統,共同提供內外數據傳輸的出入口。目前總線上每日有2000多個數據傳輸任務,接入了外部200+機構,統一提供了數據訂閱交換及安全認證等方面的服務。
1.內部數據總線
內部數據總線的定位是為興業銀行信用卡中心內部信息系統提供統一的數據交換服務。在內部數據總線的整體架構中,興業銀行信用卡中心引入、融合了多套組件和產品,實現了數據交換、數據加工、系統調度、平臺監控等核心功能。系統技術架構如圖1所示。
圖1內部數據總線整體架構
(1)基本功能。數據交換包括傳統每日批量數據交換與準實時數據交換。對於批量文件,利用調度工具對數據文件進行掃描,當檢查到數據就緒後,則通知調度子系統進行後續處理;準實時數據則通過Flume組件配合Kafka,實現對文件或報文的數據採集工作。採集後的數據進入數據模型層進行存儲和加工,並通過數據分發模塊發送至消費系統。
(2)數據加工。內部數據總線引入大數據技術,利用Spark引擎對數據進行行列篩選、多表關聯等輕量級的數據加工,從而高效地完成大規模的數據處理工作。對於批量的結構化數據,使用Spark SQL進行數據加工,對於時效性要求更高的準實時數據,則使用Spark Streaming進行流式計算。
(3)靈活任務調度。內部數據總線將對數據所做的操作封裝為作業流的形式,通過調度引擎,對作業流進行統一管理。在邏輯上數據被分為多個層次,因此對於數據的各種操作可以看作是將數據在數據採集、數據加工和數據分發等不同層次進行移動。
(4)統一預警能力。為了加強對數據加工、數據交換的運行狀況以及數據時效性的監控,提高對於異常情況的預警能力,監控子系統提供了對系統關鍵任務、上遊數據到達、數據供應等多個方面的監控服務,並在觸發告警條件時通過監控以及簡訊及時通知業務及系統關聯方。
2.外部數據總線
外部數據總線的定位為興業銀行信用卡中心外部數據交互樞紐,承擔了卡中心內外部手工數據、卡中心與外部合作單位間數據交換的統一渠道,實現了站點資源整合、數據安全傳輸、數據交換等核心功能,技術架構如圖2所示。
圖2 CFTM技術架構圖
(1)統一外部數據出入口。站點資源整合指對信用卡中心現有的ftp站點進行統籌管理。將分散在各處的站點視為用戶所需訪問的資源,通過暴露統一的入口,並對用戶進行安全認證以及資源訪問權限控制,從而實現對分散在各處的站點進行統一管理,以及記錄和跟蹤數據傳輸過程等目標。
(2)多重數據安全控制。通過用戶管理、密級文件登記、訪問控制三個維度來保證數據文件的傳輸安全。其中,訪問控制通過多因子安全認證登陸、以及權限管理實現對所有通過外部數據總線進行數據交換的用戶或系統進行訪問控制;權限管理遵循最小可用原則,賦予用戶對站點資源的最小可訪問權限;密級文件登記功能(即「閱後即焚」)指對所有從外部數據總線流入的數據文件進行密級級別登記。密級分為密級一、密級二、密級三、非密共四個密級,外部數據總線會對不同密級的文件進行傳輸控制,如:下載次數限制、保留時間控制等;用戶管理指對所有在外部數據總線上註冊的用戶按照興業銀行信用卡中心的組織架構進行分類管理,並在此基礎上按照權限級別以及用戶職能劃分為幾種不同類型的用戶,如:超管、部門管理員、行員、非行員、系統用戶等。
(3)多樣化數據傳輸模式。根據業務場景和外部機構的不同,系統支持多樣化數據傳輸模式,支持手工類數據文件和系統類數據文件,按照數據文件獲取方式分為主動和被動,主動和被動是針對用戶來說的,其中主動指由用戶自行去外部數據總線上獲取數據文件、被動指外部數據總線會按照約定的策略從上遊系統指定位置獲取文件並推送至下遊系統指定位置。
實踐總結
1.統一數據傳輸標準
在系統建設的同時,興業銀行信用卡中心對信息系統數據卸載標準進行了統一。長期以來,內部各套信息系統之間數據卸載方式不一致,由一套系統產出的同一份數據並不能直接適用於所有消費系統,需要進行重複的數據開發與數據卸載,以滿足各消費系統的數據加載需求,這極大地提高了數據交換的成本。同時由於數據卸載文件名稱、格式等各方面缺乏規範限制,對數據的管理工作也遇到極大的阻礙。
基於以上情況,興業銀行信用卡中心設計了一套信息系統數據卸載標準,對信息系統卸數時的文件命名、文件格式等多方面進行規範,形成了「定長數據文件+標誌文件」的基本卸數原則。定長是指數據文件採用固定長度文本格式,文件中欄位長度固定為資料庫中定義的欄位長度。標誌文件作為輔助文件,一方面作為數據傳輸完成的標誌,另一方面用於保存數據大小、記錄數、欄位信息等數據信息,便於其他系統加載。通過統一數據卸載標準,供應系統產出數據可實現復用,而且由於數據格式統一,信息系統無需針對多種格式的數據開發數據卸載與加載功能。同時標誌文件的引入保證了數據傳輸的可靠性與完整性。
2.開放自助式服務平臺
數據總線提供了自助式數據訂閱模式,在安全可控前提下,消費系統可通過自助服務平臺,根據實際需求對欄位、數據記錄進行篩選,甚至進行多數據關聯等操作。數據總線通過提供輕量級數據加工功能,減輕了上下遊系統的數據處理壓力,將數據交換粒度進一步細化,真正實現了作為數據總線系統的數據集成能力。同時釋放了運維人員手工查詢等操作工作量,降低日常運維成本,提升了關聯繫統數據異常發現和處理時效。
3.一站式資源訪問
外部數據總線通過內部封裝的支持高並發、可復用連接的客戶端,去替代用戶/系統訪問興業銀行信用卡中心內部各類ftp公共站點。通過在用戶/系統與公共站點間架設外部數據總線,提高了站點資源訪問的便利性、數據傳輸的安全性以及可控性。
4.數據影響及血緣分析
數據總線對每個經過總線傳輸的數據進行了影響分析及血緣分析,對數據的來源及去向進行了梳理,以便關聯繫統對數據的流向及數據生命周期實現進一步掌握。根據關聯繫統的需求,可提供不同粒度的展現,最細的分析粒度可達欄位級。
數位化轉型浪潮下,數據的進出口尤為重要,安全標準的數據應用能力為大數據應用提供堅實後盾。展望未來,隨著實時數據應用能力和數據接入範圍的進一步擴大,將不斷創新演化,助力興業銀行信用卡數位化進程。
(本文作者就職於興業銀行信用卡中心)