GBASE資料庫支撐國內最大規模銀行大數據平臺

2020-12-15 砍柴網

眾所周知,資料庫是全球信息化系統領域中複雜程度最高、研發難度最大的大型軟體之一,一款世界級資料庫產品的誕生,離不開3-5年高強度複雜應用的壓力磨鍊,南大通用GBase 8a MPP資料庫正是經歷了這樣一個生長過程。

國內平穩運行時間最長

中國農業銀行總行大數據平臺項目從2014年上馬,到今天的5年多時間,GBase資料庫幾乎可以說已經通過了全世界銀行領域中,強度最高、複雜性最高、壓力最大、覆蓋最全的分析類業務場景考驗。農行用戶和南大通用共同見證這一款世界級資料庫的誕生、成熟,並走出銀行業,支撐起了金融、電信、政務、軍隊等關鍵行業多個世界級的應用。GBase資料庫從初期的不穩定,到現在已經支撐農行自主可控大數據平臺穩定無故障運行超過1400天,平臺項目因此榮獲了中國人民銀行科技發展一等獎,農行也與南大通用籤約共建聯合創新實驗室。

項目獲獎新聞

國內規模最大

農總行大數據平臺項目建設以「數據是基礎,治理是保障,技術是支撐,分析是關鍵,應用是目標」為原則,GBase資料庫幫助農行用戶順利完成了數據治理,提高數據質量,從而滿足了用戶數據挖掘的需求,為數據價值在業務中的深入應用夯實了基礎,實現了數據價值在業務應用中轉變為生產力,構建數據價值利用的有效閉環,真正實現從數據支撐到數據運用的轉變。

目前主庫的裸數據量超過2.5PB,每天的增量數據為3TB,最大表5000億行;庫內複雜作業15000多個,涉及SQL語句100000多個;日終加工時間為8小時,T+1時間的雙活集群間同步3小時完成;目前共部署33套集群,共1156個節點,裸數據總量超過20PB。

價值體現

海量數據管理:為用戶提供了並行海量複雜數據處理平臺,幫助客戶形成PB級以上的業務數據單一視圖,為客戶提供及時高效的數據分析結果;

滿足監管需求:通過對數據統一的管理與治理,滿足上層監管部門對上報監管數據的要求,保證數據的準確性、及時性,完整性;

通過數據指導業務:通過數據倉庫的建立,對數據在生命周期內有效和高效的管理,證客戶接入更全面的業務數據,滿足市場營銷、內部管理、內外監管的分析業務需求;

支撐銀行領域數據觀念轉變:隨著數據技術和分析理論的發展,要求銀行分析業務必須從抽樣數據向全體數據,從絕對到效率,從原因分析到相關性分析轉變,數據倉庫的建立,很好的支撐了這種轉變,使理論成為現實;

創新的大數據平臺架構:將MPP資料庫技術和Hadoop技術的混合使用並搭建組成大數據平臺,是金融行業的大數據技術架構和應用的創新,中國人民銀行科技發展一等獎。目前農行的大數據平臺伺服器數量已經達到1156臺,其中MPP支撐結構化數據達20PB,是國內金融行業最大的數據倉庫和大數據平臺。

農行用戶以七個全面高度評價大數據平臺的價值

全面自主可控的大數據綜合解決方案

全面融合的混搭架構

全面的數據覆蓋

全面的服務方式

全面的智能分析

全面的應用支撐

全流程管理體系

相關焦點

  • GBase 8a MPP Cluster新品發布 支撐行業大數據
    GBase 8a MPP Cluster新品發布 支撐行業大數據 GBase 8a MPP Cluster新品發布 支撐行業大數據 2014-04-23 13:22:14  來源:比特網
  • 新型MPP資料庫將支撐起大數據時代
    世界數據處理市場格局正在發生革命性的變化,傳統資料庫(OldSQL)一統天下變成了OldSQL+NewSQL+NoSQL+其他新技術(流、實時、內存等)共同支撐多類應用的局面。在大數據時代,需要的是數據驅動最優平臺和產品的選擇。  5.
  • 支撐行業大數據應用 MPP資料庫技術淺析
    【IT168 專稿】2014年4月10日-12日,第五屆中國資料庫技術大會(DTCC 2014)在北京五洲皇冠國際酒店拉開序幕。在為期三天的會議中,大會將圍繞大數據應用、數據架構、數據管理(數據治理)、傳統資料庫軟體等技術領域展開深入探討,並將邀請一批國內頂尖的技術專家來進行分享。
  • 光大銀行分布式實戰:國內最大繳費平臺的資料庫架構轉型
    (文末有獲取本期PPT&回放的方式,不要錯過) 於樹文 光大銀行資深DBA 目前在中國光大銀行信息科技部資料庫管理團隊主要負責分布式資料庫建設項目,推進行內技術架構轉型等相關工作。
  • GBASE資料庫助力城市軌道交通數據信息國產化
    基於國產化需求,地鐵AFC系統選擇國產資料庫替換基於原Oracle資料庫。系統採用GBase 8s的 SSC共享存儲的雙機集群,完成在各個車站和線路管理中心上和AFC應用軟體的功能配合,目前是軌道交通行業AFC系統中國內資料庫的唯一廠家。
  • 電信行業大數據應用的後盾 MPP架構資料庫技術
    電信行業作為國家重點行業,引領著IT技術的發展方向和潮流,在高並發業務處理、海量數據分析等領域有著迫切需求,而MPP資料庫技術作為未來主流的資料庫技術,通過分布式並行計算、動態擴展等技術,能夠在大規模事務處理和大數據分析等多種場景,滿足電信業務需求,提升電信行業的服務支撐能力,真正實現低成本、大容量、高性能和高彈性。
  • NoSQL資料庫漸入佳境 國內應用案例盤點
    雖然關係型資料庫已經在業界的數據存儲方面佔據不可動搖的地位,但是由於其天生的幾個限制,使其很難滿足上面這幾個需求:擴展困難、讀寫慢、成本高、有限的支撐容量。業界為了解決上面提到的幾個需求,推出了新類型的 「NoSQL」資料庫。總的來說,在設計上,它們非常關注對數據高並發地讀寫和對海量數據的存儲等,與關係型資料庫相比,它們在架構和數據模型方量面做了」減法」,而在擴展和並發等方面做了」加法」。
  • GoldenDB分布式資料庫中標交通銀行信用卡中心試點項目
    近日,中興通訊GoldenDB分布式資料庫成功中標交通銀行信用卡中心試點項目,這是GoldenDB在全國大行關鍵業務上的又一重大突破,將進一步完善中興通訊在金融行業的布局。 近年來,移動網際網路及智能終端技術的發展,大大促進了行動支付的普及。
  • 四大行、城商行等銀行都在使用什麼資料庫?
    【IT168 評論】大數據已經成為國家戰略,而大數據首先所面臨的問題就是大數據的存儲問題,這就繞不開資料庫,因為資料庫就是用來存儲數據的應用軟體。任何資料庫,都有其優缺點, 無論是傳統關係型資料庫還是NoSQL資料庫又或者NewSQL資料庫。因此,到底選擇哪個資料庫,對企業而言這個決策過程都非常複雜。
  • 中興通訊GoldenDB分布式資料庫中標交通銀行信用卡中心試點項目
    這對銀行傳統IT架構提出了更高的需求:高可靠架構保證業務連續性、高性能滿足高頻交易的快速響應。在這樣的需求下,傳統集中式架構存在瓶頸,分布式架構已成為當前明確的演進目標。中國人民銀行在《金融科技(FinTech)發展規劃(2019-2021年)》中提出,分布式資料庫是金融科技的核心技術,加強分布式資料庫的研發運用,是金融科技發展規劃的重點任務。
  • ...信用社聯合社金融基礎數據報送系統——大數據平臺MPP資料庫...
    吉林省農村信用社聯合社金融基礎數據報送系統——大數據平臺MPP資料庫產品採購項目(二次)招標公告      招標項目編號:JRC2020S379(S02)   1.招標條件  吉林瑞成工程招標造價諮詢有限公司受吉林省農村信用社聯合社的委託,代理吉林省農村信用社聯合社金融基礎數據報送系統——大數據平臺MPP資料庫產品採購招標
  • 一場「銀行資料庫國產化」浪潮 國產資料庫加速發展
    想在金融這一領域和 Oracle 這樣經受過時間驗證的資料庫廠商競爭,國產資料庫廠商並不輕鬆。 騰訊雲副總裁李綱表示,「在和銀行客戶交流的時候,大家都信任 Oracle,他們認為如果一個問題如果連 Oracle 都解決不了,那其他廠商也沒辦法。」 對於國內數據廠商來講,Oracle 的強大和不可替代性,成為他們繞不開的話題。
  • 工商銀行MySQL資料庫架構解密
    關鍵詞:擁抱開源;MySQL; 高可用; 分布式;數據拆分; DBLE; 管理平臺;災備;容器;  演講者介紹:林承軍,中國工商銀行軟體開發中心高級經理,多年來一直從事開放平臺相關技術研究及實施工作,多次參與工行重點項目的原型技術研究、IT 架構轉型及優化提升,在分布式、高可用架構、數據高效訪問領域有豐富的實施經驗。
  • 分布式資料庫——未來行業應用主流資料庫
    很顯然,資料庫系統不跨出單一伺服器的局限,是難以應對數據規模的不斷增長並確保性能的需要,而跨節點、可橫向擴展的資料庫可以很好解決大規模海量數據的計算存儲需要;● 單一伺服器無法提供大數據平臺的高可用服務。
  • 海南已建成「三大」大數據基礎平臺和「五大」基礎資料庫
    深圳特區報消息,海南已建成全省統一的「三大」大數據基礎平臺和「五大」基礎資料庫,成為數字政府的有力支撐。海南省工信廳有關負責人日前接受採訪時表示,海南同時發力新一代IT產業和數字經濟,加快建設數字海南。「三大」大數據基礎平臺方面,海南全省統一的信息共享交換平臺目前已完成40個省直部門和20個市縣節點的部署,數據共享交換量達31.1億條。
  • 從圖數據平臺入手,「費馬科技」未來要開發分布式資料庫
    今天要介紹的費馬科技就是一家專注於圖數據技術,為企業提供高性能圖數據存儲及分析平臺的公司,擁有自主研發的兩大核心產品——圖數據平臺(LightGraph)和圖計算平臺(PandaGraph)。 首先我們先來簡單了解一下「圖」的發展史。
  • 「GBASE案例」GBase 8a Mpp支撐某省分移動雲經分系統數據層
    圖 | 某省分移動雲經分系統總體架構某省分移動雲化經分系統的數據層主要由雲化歷史庫、大數據基礎平臺和大數據分析平臺組成,其中大數據基礎平臺採用基於X86技術的分布式MPP資料庫(GBase用於滿足經分主倉庫和大數據分析平臺的數據存儲,負責承載海量歷史數據挖掘和趨勢分析預測等業務應用。大數據基礎平臺由主數據倉庫和數據集市構成,其中主數據倉庫負責責基礎數據模型的處理,承載少量及時性較高應用,數據集市的基礎數據來源於數據倉庫,並在此基礎上支撐端到端應用。
  • 首次披露GBase 8t技術細節,看南大通用如何撬動資料庫市場格局?
    「作為世界五百強的沃爾瑪集團,自從1991年採用Informix資料庫以來,二十年來面對連續擴張和物流革命,資料庫卻從來沒有出過任何問題。」在國內有超過1000家用戶案例,如中國人民保險、寧夏銀行等是其長期客戶。中國財政部配備了多套Informix資料庫,分別安裝在北京、上海、重慶、江蘇、遼寧、山西、福建等多個省份城市。
  • 大數據應用案例TOP100
    民生銀行(600016,股吧)借IBM BigInsights應對金融業的大數據挑戰  IBM BigInsights大數據解決方案和企業級NoSQL資料庫SequoiaDB合作,為民生銀行搭建低成本、高性能、高可靠且水平擴張的數據平臺,幫助民生銀行通過大數據分析應對金融業的大數據挑戰,完善交易流水查詢分析系統,產業鏈金融管理系統,以及私人銀行產品貨架管理系統。
  • 支撐支付寶的OceanBase資料庫正式獨立
    近日有報導稱,螞蟻集團將原有自研資料庫產品OceanBase獨立,同時成立由螞蟻100%控股的資料庫公司北京奧星貝斯科技,螞蟻集團CEO胡曉明親自擔任董事長。對此,螞蟻集團方面回應稱,「科技是螞蟻集團的基因,也是螞蟻集團重要戰略方向。