大數據分析中OLAP的廣義與狹義概念

2020-12-05 邦格科技

上篇文章講了OLAP與OLTP的區別,今天深入講一下OLAP的兩層含義。

上篇中從功能目的、數據存儲、時效性、使用者等角度說明了OLAP與OLTP的區別,若以此為標準,固定報表系統也屬於OLAP。

報表系統特徵:

關聯大量數據查詢對時效性的要求較業務系統不高企業高層依據報表進行決策

這會出現一個問題,OLAP建立的目標是對數據進行高效且深入的分析,然而傳統報表符合OLAP體系的特徵,但無法滿足既定需求。

報表系統確實是一種OLAP體系,之所以產生此種疑惑,是因為忽略了OLAP的另一層含義 -- MDD(Multi Dimensional Database,多維資料庫)。

上篇中所述的OLAP可以稱為OLAP的廣義概念,而MDD則更為具體,可以視為OLAP的狹義概念。

RDB(Relational Database,關係型資料庫)與MDD的區別:

RDB模型為表和欄位,MDD模型為維度與數據立方體RDB適合存儲業務類數據,MDD則更適合面向業務分析數據RDB使用SQL進行查詢,MDD使用MDX(Multi Dimensional Expressions,多維表達式)進行查詢

多維資料庫

各位如果有了解OLAP的,一定聽說過ROLAP、MOLAP和HOLAP(R、M、H代表不同的數據存儲方式)。

Relational -- 數據存儲在RDB的星型或雪花型結構中Multi-Dimensional -- 維度數據存儲在概要文件中,事實數據存儲在由索引和矩陣構成的數據塊中Hybrid -- 結合ROLAP和MOLAP,將數據進行混合存儲

(R、M、H是三種傳統的OLAP存儲方案,目前應用最廣的則是分布式存儲,這個以後文章中會講解,感興趣的話先關注我們唄。)

MDD意義何在呢?

以ROLAP為例,對比兩種數據分析體系方案,方案一直接在RDB上搭建,方案二使用MDD(實際存儲還是RDB,但已被屏蔽,只暴露出多維邏輯模型)。

兩種體系的區別

兩方案數據最終都是存儲在RDB中,但由於方案一直接暴露了RDB的表和欄位結構,並且只能使用SQL查詢,導致的結果是無法真正實現多維數據分析。

方案二中,分析人員完全不用關心底層實現,他們會看到由MDD提供的純粹面向業務的維度模型,可以非常輕鬆的進行多維數據分析。

在一個數據分析體系中,MDD的給力程度直接決定了數據分析的效果。

數據模型是MDD與RDB最主要的區別。

兩種數據結構

(RDB的表及欄位模型和MDD的維度模型實際上也是對更底層的作業系統文件的邏輯封裝。)

RMD使用SQL進行查詢,MDD使用MDX進行查詢。

SQL與MDX

由於以下兩點原因:

MDD可以使用RDB作為數據實際存儲方案MDX與SQL在語法結構上的類似

使得在RDB的星型(或雪花型)模型上使用SQL進行查詢被誤認為是可以進行多維分析的,實際上這是非常錯誤的認識,原因在於表及欄位模型和維度及數據立方體模型在本質上的區別。

星型模型或雪花型模型不等於多維模型

如果覺得不錯,請轉發或關注我們,會有更多大數據相關文章哦。

相關焦點

  • 電子商務通常指的是什麼,從狹義和廣義上分析
    電子商務通常指的是在全球各地廣泛的商業貿易活動中,在網際網路開放的網絡環境下,基於瀏覽器/伺服器應用方式,買賣雙方不謀面地進行各種商貿活動,實現消費者的網上購物、商戶之間的網上交易和在線電子支付以及各種商務活動、交易活動、金融活動和相關的綜合服務活動的一種新型的商業運營模式。
  • 相對論中:時間在狹義和廣義的概念下有什麼不同?
    狹義相對論兩大原理光速不變原理(實際叫作光速不疊加更好)狹義相對性原理(後來的廣義相對論,直接推廣為相對性原理)它規定了任意慣性系中光速為恆值。因為這與我們的認定的常識相違背。由此產生了洛倫茲變換式,也就是那些狹義相對論結論的基礎數學變換式。大家有興趣可以去網上找找看看,不難的。
  • 狹義與廣義相對論淺說---廣義相對論1
    歡迎廣大宇宙愛好者持續關注我們微信平臺!宇宙解碼公眾平臺即將推出科幻故事連載活動,將會在每周六或周日發布一篇精選科幻故事,覺得好看就分享給朋友吧!我們唯有承認一個事實才能得到滿意的解釋,這個事實就是:物體的同一個性質按照不同的處境或表現為「慣性」,或表現力「重量」(字面意義是「重性」)。在下節我們將說明這個情況真實到如何程度,以及這個問題與廣義相對性公設是如何聯繫起來的。
  • 為什麼廣義相對論比狹義相對論更完善?原因就在這裡!
    愛因斯坦有兩大著名的相對論,一個是狹義相對論,另一個則是廣義相對論。狹義相對論的提出早於廣義,並且狹義相對論的範圍並沒有廣義那麼大,而且不涉及引力。在愛因斯坦提出狹義相對論之後不久大約10年,廣義相對論便誕生了。
  • 廣義相對論和狹義相對論
    直到有一天,小C魚通過長期以來的分析推測出,提出了魚缸外部「直線運動」的概念,這時所有魚兒都張大嘴巴,吃驚的吐了幾個泡泡,表示不可思議和。在這個魚缸裡,我們可以說,這個小B魚是牛頓,那麼小C魚就是愛因斯坦。
  • 伽利略相對性原理,狹義相對性原理,廣義相對性原理,什麼特點?
    相對性原理,伽利略相對性原理,狹義相對性原理,廣義相對性原理。各有什麼特點?我們說相對性原理是力學的基本原理。比如,運動的相對性,首先要有一個參考物,如果沒有參考物,那麼你對其運動就無法判斷。下面分別說一下伽利略相對性原理,狹義相對性原理,廣義相對性原理。各有什麼特點?一.伽利略相對性原理什麼是伽利略相對性原理呢?
  • 狹義相對論和廣義相對論到底有啥區別?
    之前的所有文章,我們多次談到相對論中的時間膨脹和長度收縮概念,其實這裡所說的相對論僅僅是狹義相對論,其中長度收縮僅僅是一種相對效應,也就是地面人看運動的物體,長度變短了,但是運動物體自己看自身,長度依然是沒變的,這就是長度的相對性,如果不理解這個,可以翻翻前面的文章看下。
  • 廣義和狹義的工業網際網路
    工業網際網路分為廣義的工業網際網路和狹義的工業網際網路。廣義的工業網際網路就是第四次工業革命的代名詞。和德國工業4.0以及中國製造2025類同,都是工業體系轉型的國家發展規劃。我們首先論述狹義的工業網際網路,狹義的工業網際網路僅僅指的是設備的聯網。
  • 如何識別廣義,狹義的動量守恆?
    (2)即使碰撞過程中系統所受合外力不等於零,由於內力遠大於外力,作用時間又很短,故外力的作用可忽略,認為系統的動量是守恆的。(3)若碰撞過程中沒有其他形式的能轉化為機械能,則系統碰撞後的總機械能不可能大於碰撞前系統的總機械能。
  • 廣義的民法與狹義的民法
    廣義的民法與傳統上的私法的範圍相似,指調整平等主體之間的財產關係、人身關係以及婚姻家庭關係的法律,包括民法總則、物權法、債與合同法、智慧財產權法、親屬法、繼承法以及公司法、保險法、海商法、票據法、破產法等商事法律。
  • 廣義「債轉股」和狹義「債轉股」
    【財新網】(專欄作家 趙幼力)在債轉股中,股權的持有人和原有債權的持有人是否是同一實體,是區分廣義債轉股和狹義債轉股的關鍵所在。廣義債轉股指的是在全社會範圍內債權和股權的置換,債權人和股權人並無關聯;狹義的債轉股就是將特定債權人的債權置換為其股權,通過讓渡一部分經營權,降低債務水平,釋放抵押物。
  • 關於區塊鏈的普遍誤解:狹義區塊鏈和廣義區塊鏈的區別
    狹義區塊鏈和廣義區塊鏈的區別 我們從技術角度分析一下區塊鏈到底是什麼?其實從本質上來說,區塊鏈是一種底層基礎架構,它的應用範圍不僅局限於金融行業,也可以在其他行業。在眾多討論中,我們發現人們對於區塊鏈的理解確實存在許多誤區,往往將區塊鏈具象成分布式帳本、智能合約、密碼學這 狹義區塊鏈和廣義區塊鏈的區別
  • 陳勁:使財富管理從狹義到廣義
    我們更願意把對傳統高淨值人群的財富管理,稱為狹義的財務管理;面對更多人群的財富管理,稱為廣義的財富管理。   6月26日消息,2015陸家嘴論壇今日在上海舉行。
  • 「網際網路+」學術解釋,劃分狹義和廣義!
    古代中國漢語中關於學術的解釋和用法很多其《辭海》書中對「學術」的解釋是:較為專門、有系統的學問解釋,我們可以發現學術和學問、知識、科學有相近的意義。關於學術的概念和認識,同樣存在很多的觀點和爭論的,尚無統一的定論。古代漢語中,學術是指專門、有系統的學問。在梁啓超《學與術》一文中寫到:「學也者,觀察事物而發明真理者也; 術也者,取所發明之真理而致諸用者也。例如以石投水則沉,投以木則浮。觀察此事實以證明水之有浮力,此物理也。而王恩華在《學術越軌批判》一書中,對學術進行了狹義和廣義的劃分。
  • 從狹義到廣義「測不準原理」
    我們不能判斷一個粒子的運動軌跡,這是由「狹義測不準原理」決定的,同樣不能判斷一個行星的運動軌跡,這是由「廣義測不準原理」決定的。而從物理哲學定義的「狹義測不準原理」與我們的測量行為有關,測量行為造成了一個粒子失去波動性,從而轉變成有具體位置的粒子,該粒子或者在這個位置、或者在那個位置,即便如此,我們不能絕對精確地測量該粒子的運動軌跡,無論使用怎樣精密的量子儀器,使用儀器的測量行為都會或多或少地幹涉到粒子的運動軌跡。我們不能完全消除測量的「噪音」,這是「狹義測不準原理」產生的主要原因。
  • 「廣義相對論」和「狹義相對論」都說時間會變慢,有啥區別?
    廣義相對論和狹義相對論我在前面的文章中都講了不少,其中有個效應:時間變慢,不少朋友仍然有很多疑惑,所以今天這期節目就針對「時間變慢」效應給大家再度剖析。所以車裡人「時間變慢」是選地面當參考系才會發生,如果選火車當參考系「時間變慢」並不發生,如果選一個以0.01c光速的火車當參考系看剛剛的第一列火車,你會發現時間依然變慢,只不過變慢的程度沒有剛剛那麼大。所以狹義相對論總結,面對同一個物理過程:選地面當參考系看0.1c速度的火車:火車裡的時間變得非常慢。
  • 狹義相對論和廣義相對論的區別是什麼?
    要了解狹義相對論和廣義相對論的區別,我們首先要搞清楚,這兩個理論大概說了什麼?狹義相對論我們先從狹義相對論說起,其實狹義相對論解決了一個物理學的重大矛盾。廣義相對論其實狹義相對論還有質能等價的部分,說的是運動也會影響到質量和能量,不過這並不是我們這次的重點。我們先來說說廣義相對論,廣義相對論被很多人認為是描述引力的一個理論。說的是引力的本質是時空的彎曲。地球之所以會繞著太陽轉,就是因為太陽彎曲了周圍的時空。
  • 愛因斯坦是如何發現狹義和廣義相對論的?
    就是因為沒有實驗驗證,直到愛丁頓在1919年觀測到了和廣義相對論相符的日食現象,愛因斯坦和相對論才開始慢慢被大家接受,而愛因斯坦提出狹義相對論的那一年是1905年,足足過去了14年。愛因斯坦大學是時候基本上沒怎麼去上課,都在研讀麥克斯韋的電磁學理論,畢竟美的不像人間產物的麥克斯韋方程組對一個喜歡物理學的人吸引力實在太大了;另外,愛因斯坦從馬赫、休謨、龐加萊等人的著作中掌握了批判的思想,讓他可以徹底擺脫絕對時空觀的束縛(當時有多少物理學大牛隱隱約約都發現了狹義相對論的一些東西,洛倫茲甚至都推出洛倫茲變換了,但是就是因為無法擺脫絕對時空的束縛而與相對論失之交臂
  • 廣義天人合一與狹義天人合一
    「天人合一」理論有廣義和狹義之分。「天人合一」的核心是順應自然規律,按自然規律辦事,達到與宇宙、社會同步共振。這一理論是中醫學和氣功學的理論基礎,也是社會科學的理論基礎。天人合一還蘊含著現代系統論、協同論、控制論,尤其生物控制論、控制醫學、控制病理學等現代醫學邊緣學科很多內容。
  • 狹義相對論基本思想及概念梳理(上)
    相對論和量子力學是現代科學的兩大基礎,前者顛覆了物理學中的時空觀,後者顛覆了物理學中的因果律。最近看了點相對論和量子力學的書,本文就狹義相對論的思想和概念做個梳理,不涉及數學形式-偏微分方程的推導。這是一篇讀書筆記,就是撿我覺得重點的寫一寫,有疑惑或不了解的背景知識,你得去問度娘。