國產多維資料庫Cyrex Cube如何駕馭百億量級的多維數據分析?

2020-12-06 邦格科技

Cyrex Cube是邦格科技自主研發的多維資料庫,與傳統的基於星型或雪花型結構的傳統OLAP架構相比,Cyrex Cube分析模型更加面向業務,同時也具備更強的多維數據分析能力。

Cyrex Cube的邏輯與聚合分離、雙向可擴展分布式、簡單化處理以及常駐內存模型等特點使其可以在無緩存情況下實現百億級數據實時聚合運算的秒級響應。

1、邏輯運算和聚合運算的分離

先以關係型資料庫為例,模擬兩種數據分析情況。第一,資料庫中的表結構非常複雜,各個表之間的關聯關係也很複雜,但是每個表中的數據量非常少,

這時候,在這種情況下進行數據分析,可以進行非常複雜的邏輯查詢,但由於數據量很少,並不會導致效率的降低,所以不太關心性能問題。

第二,關係型資料庫中的表結構非常簡單,邏輯也不複雜,但是表中的數據量非常大,這時候可以針對幾種常用的簡單查詢做一些通用的優化,解決性能問題後,同樣也可以支持上層應用的數據分析需求。

但在某些情況下,如表結構邏輯非常複雜同時數據量很大的情況下,使用傳統的OLAP結構,查詢效率將會大大降低,對於某些查詢則可能是無法實現的(如多個上億級別事實表的關聯查詢)。

我們把上述中針對複雜表結構的查詢稱為邏輯運算,把針對海量數據的查詢稱為聚合運算。

Cyrex Cube的設計理念就是將邏輯運算和聚合運算徹底解耦,使二者完全互不相干,讓Cyrex Cube能夠支持海量數據下的複雜邏輯分析能力。

2、簡單化處理

基于越簡單越穩定可靠的通用原理,Cyrex Cube底層技術採用了更加簡單的結構與算法。

眾所周知,在傳統或分布式關係型資料庫中,查詢記錄的最快方式是基於主鍵,但是即使是主鍵,也會有哈希值的計算過程,針對粗粒度級匯總的計算,會產生大量的哈希計算過程,效率會大打折扣。

而Cyrex Cube採用類似直接尋址的方式進行聚合運算,在一片連續的內存中給出首尾地址,程序指針將遍歷此範圍內的所有值,並返回聚合結果,此種效率是傳統OLAP無法比擬的。

3、基於C語言開發

Cyrex Cube底層有關數據存儲與運算的邏輯基於C語言開發,C語言相較於Java、Python、Go、C#等高級語言更加貼近底層,效率更高,所以在單臺伺服器不配備緩存的情況下Cyrex Cube可以支持上億級數據量的秒級運算響應。

4、可橫向及縱向擴展的高可用分布式

雙向可擴展分布式。Cyrex Cube採用主(Master)從(Work)架構,當數據量不超過百億時,只需採用該橫向擴展即可。採用縱向擴展結構,則可支持千億甚至萬億級別數據量的實時秒級響應。

而且,上述情況都是在無緩存支持的情況下完成的。

5、內存計算

Cyrex Cube採用常駐內存數據結構,存儲效率極為高效,1G內存便可支持五千萬至一億數據量級的存儲。

點讚 + 轉發,然後關注並私信小編,可獲得Cyrex Cube的更多信息。

相關焦點

  • 深入淺出多維數據分析(一)核心概念之Cube、Dimension、Measure
    多維數據分析的概念非常容易引起疑惑,它常常讓人聯想到超越三維的更高維空間中的一些幾何概念。其實這是完全沒有必要的,多維數據分析概念本質上是極為簡單和容易理解的,今天小編就用深入淺出的方式介紹這幾個概念。
  • 多維遙感數據分析系統MARS:讓時空譜數據的存儲與分析更便捷
    隨著應用技術越來越成熟,衛星影像應用也更加豐富,衛星遙感數據從服務於政府、專業客戶逐步走向大眾應用,而網際網路的發展更,激發了衛星數據服務的網絡化。如何更有效組織時-空-譜多維遙感數據,快速高效提取全球變化研究的多維多要素信息,是遙感科學工作者面臨的重要挑戰。
  • Python數據分析類庫系列-Numpy之多維數組ndarray
    你可以利用這種數組對整塊數據執行一些數學運算,其語法跟標量元素之間的運算一樣。 要明白Python是如何利用與標量值類似的語法進行批次計算,我先引入NumPy,然後生成一個包含隨機數據的小數組: import numpy as np data = np.random.randn(2,3)data out:
  • 以數據為中心的智能架構 看英特爾如何多維定義
    這一切的背後都要得益於流動的數據,其記錄著每一個個體的動作和想法,而讓這些信息產生價值的必要因素無外乎三點:數據儲存放在什麼地方?如何抵達計算中心?又該怎樣被使用?從2014年到2017年,英特爾根據CSP的需求(功率、熱量、核心數量、I/O等)定製的CPU數量從19%增加至50%,例如基於至強可擴展處理器幫助AWS構建4.0 GHz持續全內核加速的雲實例、結合高速乙太網和數據中心SSD滿足今日頭條所需的性能規模、聯合voud開發定製的可配置CPU為Oath Inc.降低數據中心部署成本……    其次,用戶對體驗的多維追求讓雲服務亦趨於行業化。
  • 人類的多維潛能
    一個多維的可能訪問,說,第五或更高的維度,或者,他們可以在第三維現實的非常原子內行駛。通過訓練和努力,克服了知道它們在超空間中的確切位置的複雜性。超空間中的位置決定了將要遇到的情況以及應如何解釋。許多多維可以看到其他存在,超空間中的智能以及與地球不同的世界,還可以看到符號,方程式,機器,顏色。
  • 荔枝寶寶APP正式上線,主推3D多維虛擬實境和人機智能交互
    預計六個月後將發布2.0版本,屆時將逐步增加AI人工智慧、大數據分析等。  隨著國家二胎政策利好,據國家衛計委統計,2015年至2020年,每年新生兒活產人數約1700萬左右,即每年的準媽媽人數都維持在1700萬左右的量級。
  • 多維空間存在嗎?它們是什麼樣子?
    所謂多維空間應該是指超過三維的空間三維空間加上時間維度組成的空間叫閔可夫斯基空間,並不是真正的多維空間。圖:從一維到六維如何理解多維空間呢 但是,目前所有的關於多維空間的理論全部都是基於數學而不是事實的。也就是說,這些理論很可能僅僅在數學上成立。目前並沒有觀測到任何宇宙有多於或者少於三維的現象。而且很可能在未來數百年的科學發展中都無法證實多維空間的存在。
  • 養豬場如何正確使用多維?多維的真正含義是什麼?本文為你詳解!
    多維這個詞,很多養豬人都聽說過。但是大部分人對於多維的理解其實是不太正確的,至少是不全面的。另外,目前在養豬場,很多關於多維的用法其實是錯誤的。本文,我們就為大家講解一下多維的真正含義,以及它真正正確的用法。所謂多維,就是多種維生素的意思。
  • 多維空間力與大統一理論
    我們如何去統一呢?科學家們提出了弦理論和M理論等,並且提出了增加維度空間。我從增加維度空間我就聯想到了四維空間、十一維等多維空間。我因此思考了很久,我發現增加維度空間中一個很重要的問題是,我們一直沒有一個非常確切的四維空間、多維空間的理論認識。數學上也沒有真正的四維或多維空間模型。
  • 4段奶粉哪個牌子好,看君樂寶多維愛如何詮釋更好的自己!
    >4段奶粉哪個牌子好,看君樂寶多維愛如何詮釋更好的自己!2020-07-22 11:10:21出處:其他作者:佚名  你知道如何選擇兒童成長奶粉麼?4段奶粉哪個牌子好?     多維愛的營養成分  寶寶健康成長需要一款優質好奶粉,君樂寶多維愛打造讓媽媽們更加放心的好奶粉,配方中特別加入了PS(磷脂醯絲氨酸)這個物質可以增進寶寶大腦發育,讓寶寶的小腦袋力量滿滿,同時,還加入了乳鐵蛋白以及酵母β-葡聚糖,可以提升寶寶的免疫力,除此之外配方中的DHA
  • 多維元素片其成分打架(組圖)
    鋪天蓋地的各式廣告,讓越來越多追求健康的人相信,每天服用多維元素片,就可以高枕無憂,再也不用擔心營養吸收不夠的問題了。  但近來也有食品營養學方面的專業人士指出,市面上暢銷的多維元素片並非對每個人都很安全,其中某些營養素遠遠高於《中國居民膳食營養素參考攝入量》的標準,盲目隨大流長期食用,不僅會增加身體代謝的負擔,還可能會引發中毒。
  • 大數據分析中OLAP的廣義與狹義概念
    RDB(Relational Database,關係型資料庫)與MDD的區別:RDB模型為表和欄位,MDD模型為維度與數據立方體RDB適合存儲業務類數據,MDD則更適合面向業務分析數據RDB使用SQL進行查詢,MDD使用MDX(Multi Dimensional Expressions,多維表達式)進行查詢多維資料庫
  • 多維空間與暗物質探索之一
    通過很多多維空間與暗物質的思考,寫了一些關於多維空間與暗物質的文章。通過這些思考發現了很多多維空間及暗物質理論將來的一些應用,以及對工作生活的改變等。暗物質由於科學家們的熱情,有很多前沿的科研項目,知道的人還比較多。現在很多人不了解多維空間,甚至連四維空間還有不能理解,但是我希望通過我對未來多維空間的描述給大家一點介紹。
  • 一句話概述多維空間,分析多維空間生命形式
    但是多維空間只是一種科學設想,並沒有實際的證據證明他的存在。可是如果多維空間的確存在,現在的人類也沒有能力前往更高的維度空間。比如人如果想要從現在的世界穿越到四維世界,就必須打破光速。按照愛因斯坦的狹義相對論打破光速時間可以倒流,可以穿越時空。只有打破光速人才可以不受時間限制的穿越時空,達到時間固體化效果,可直觀過去未來。
  • 記錄集賦值給數組後,利用轉置函數處理多維數組的方法
    大家好,今日繼續講解VBA資料庫解決方案,今日講解的是第76講,內容是:記錄集賦值給數組後,利用轉置函數處理多維數組的方法。我在第一冊的第43講中,我講了將記錄集存入數組的方案,並通過一個Index函數在工作表中恢復數組數據的方法。今日講的是利用轉置函數來完成同樣的功能。
  • Stata: reghdfe-多維固定效應
    本篇推文介紹實現多維固定效應線性回歸的命令,reghdfe。該命令類似於 areg 及 xtreg,fe,但允許引入多維固定效應。此外,該命令在運行速度方面遠遠優於 areg 及 xtreg, 因此倍受研究者青睞。
  • 一直生活在多維空間中,只是你沒意識到!
    這樣的反應用物理的力來說,就是在多維空間中的作用力與反作用力。我們做出反應,根據不同人會有不同的反應,相同的人在不同時間點也會有不同的反應。在做出反應之後,我們得到的結果也是不同的。不同時間,反應的結果是不同的。這可以說是不確定性原理的多維空間的事件發生的解答。
  • 睿帆科技獲批成為中國信通院資料庫應用創新實驗室共建單位
    2019 年 10 月 31 日,資料庫應用創新實驗室在2019(第二屆)金融科技產業峰會正式揭牌,目前已在各領域開展資料庫產品的功能測試、性能測試和第三方驗證測試,助推資料庫產業應用創新。睿帆科技作為實驗室共建單位的成員,將在履行共建單位義務的同時,聯合政、產、學、研、用等多方力量,以實際問題為導向,以合作共贏為目標,協同推進資料庫領域應用創新的相關工作。
  • 如何建立零售行業的數據分析模型?
    零售行業需要一個完整的大數據應用架構如圖所示,針對數據決策分析過程中的數據處理,整個零售行業大數據應用架構的建立需要經歷四個階段:源資料庫數據抽取、ods資料庫ETL轉換、數據倉庫和數據集市、最終用戶界面。