終於有人把數據中臺講明白了

2020-12-01 騰訊網

點藍色字關注「雲技術」

導讀:要建設數據中臺,我們首先需要明確什麼是數據中臺,以及數據中臺能為企業帶來什麼價值。

作者:陳新宇 羅家鷹 江威 鄧通 等

來源:大數據DT(ID:hzdashuju)

01 數據中臺定義

數據中臺是一種將企業沉睡的數據變成數據資產,持續使用數據、產生智能、為業務服務,從而實現數據價值變現的系統和機制。通過數據中臺提供的方法和運行機制,形成匯聚整合、提純加工、建模處理、算法學習,並以共享服務的方式將數據提供給業務使用,從而與業務聯動。

再者,結合業務中臺的數據生產能力,最終構建數據生產—消費—再生的閉環。為了更好地理解數據中臺,我們將其與數據倉庫、數據湖、BI、大數據等相關概念進行對比。

1. 與數據倉庫的對比

數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合,用於支持管理決策。因此,其重點在於數據的集合。數據倉庫可使用維度建模方法論從業務過程中抽象出通用維度與度量,組成數據模型,為決策分析提供通用的數據分析能力。

數據中臺與數據倉庫相比,至少有四大優勢

第一,數據中臺強調數據業務化,讓數據用起來,滿足企業數據分析和應用的需求。

第二,數據中臺梳理的流程比數據倉庫建設更加複雜和全面。數據中臺增加了以企業的全局視角來梳理數據域的環節,這是數據中臺建設中很重要的一環。數據域的梳理正好體現了中臺化的能力。

舉個例子,新零售場景下,企業的交易場景有很多,包括自建商城渠道、第三方電商渠道、外賣訂單渠道、線下門店渠道等。建設數據中臺時就需要規劃出一個交易域,此交易域要抽象出各種渠道的業務流程,並能覆蓋線上、線下運營部門在運營時需要考核的維度與度量。

因此數據中臺建設過程要更多從企業全局出發,從人、貨、場多維度打通數據,真正做到無論消費者從哪個渠道進來,都能洞察其與本企業的接觸軌跡。

而數據倉庫的建設則相對單一,專注於維度模型如何設計,如何拆解指標和維度,卻很少關注基於人、貨、場這些主體進行實體拉通,然後做出全局的畫像數據供前端業務調用。

第三,數據中臺建設的範疇遠遠大於數據倉庫的建設,除了完成數據倉庫的建模,還需要制定完善的數據治理方案,甚至在建設的過程中需要成立專門的數據治理委員會來促成複雜的數據治理工作。

最重要的一點是,在數據中臺的規劃階段就需要去主動迎合業務,需要全面梳理哪些業務場景需要利用數據的賦能才能形成業務閉環,因此,在建設數據中臺的同時就必須著眼於業務場景的賦能。

第四,對於企業來講,建設數據中臺並不只是搭建一個能力平臺。正如我們在《中臺戰略》一書中提到的,建設中臺需要中臺文化及相匹配的中臺組織。

因此,從宏觀上來講,數據中臺承擔著企業重新搭建數據組織的職能,倒逼企業為了運營好數據中臺而建設一套能與之匹配的數據中臺組織。數據倉庫則純粹注重於系統解決方案,並不涉及組織形態。

因此,簡單來說,數據倉庫重在建數據,而數據中臺則將建、治、管、服放到同樣的高度,數據倉庫只是數據中臺的一個子集。

那我們為什麼會從數據倉庫發展到數據中臺呢?因為傳統的數據倉庫已不能完全滿足企業數據分析的需求。企業已從原來的統計分析轉變為預測分析並提供標籤、推薦等算法,從被動分析轉變為主動分析,從非實時分析轉變為實時分析,並且從結構化數據轉變為結構化、半結構化和非結構化的多元化數據。

2. 與數據湖的對比

與數據中臺相關的概念還有數據湖(Data Lake)。數據湖是一種數據存儲理念,作為一個集中的存儲庫,它可以以自然格式存儲任意規模的數據,包括來自關係資料庫行和列的結構化數據,XML、JSON、日誌等半結構化數據,電子郵件、文檔等非結構化數據,以及圖像、音視頻等的二進位數據,從而實現數據的集中式管理。

目前Hadoop是最常見的實現數據湖概念的技術。比如HBase可讓數據湖保存海量數據,Spark可以使得數據湖批量分析數據,而Flink等可讓數據湖實時接入和處理IoT數據等。

3. 與BI的對比

BI(商業智能)是分析數據並獲取洞察,進而幫助企業做出決策的一系列方法、技術和軟體。相比數據倉庫,BI還包含數據挖掘、數據可視化等工具,並可支持用戶在一定範圍內任意組合維度與指標,從而上升到支持決策的層面,而不只是作為數據倉儲。

4. 與大數據的對比

數據中臺也不等於大數據。數據中臺是基於大數據、人工智慧等技術構建的數據採、存、通、管、用的平臺。

數據中臺需要以Hadoop、Spark等為代表的大數據處理技術做支撐,但絕不能將數據中臺與大數據劃等號。數據中臺不只有大數據處理技術,還包括智能算法、與業務聯動的特性、數據資產、數據工具等。

5. 小結

可以說數據中臺是上述概念和技術的集大成者。

首先,大數據豐富的數據計算和存儲技術為數據中臺提供了強大的數據處理能力。

其次,數據中臺作為企業數據的集結地,其底層也當然承載著數據湖的職能。

再次,數據倉庫對數據的分域建模是數據中臺的重要部分,它承載著將企業數據治理得井井有條的職能。

最後,基於強大的數據能力,結合業務場景提供實時、智能的服務和應用是數據中臺的核心價值體現。

02 數據中臺價值

數據中臺不等於大數據平臺,數據中臺的核心工作也並不是將企業的數據全部收集起來做匯總就夠了。數據中臺的使命是利用大數據技術、通過全局規劃來治理好企業的數據資產,讓數據使用者能隨時隨地獲取到可靠的數據。

因此,數據中臺一旦建成並得以持續運營,其價值將隨著時間的推移將呈指數級增長。數據中臺的價值眾多,下面詳述其中的三大價值,見圖4-1。

▲圖4-1 數據中臺的三大價值

1. 幫助企業建立數據標準

在有數據中臺之前,企業基本不會有全局的數據標準,即使有相關的數據標準,由於沒有數據中臺這個實體形態,數據標準也無從執行。數據中臺的建設天然會幫助企業建設數據標準,包括數據建設規範數據消費規範

數據建設規範有諸如數據接入規範、數據建模規範、數據存儲規範和數據安全規範等,數據消費規範包含數據權限規範、數據調用規範以及數據銷毀規範等。這些標準都是建設數據中臺時必須建立起來並依託數據中臺去執行和落地的。

2. 促進中臺組織形成

再宏偉的企業戰略規劃,都離不開一套科學合理的組織去落地執行。數據中臺建設將是企業宏觀戰略規劃的一個重要部分,那麼在踐行數據中臺建設的過程中,擺在企業第一位的問題就是如何搭建起一套能穩定護航數據中臺建設及運營的數據中臺班子。

數據中臺這種體系化工程將橫向拉通企業數據相關方,包括中臺建設團隊、中臺運維團隊、數據產品經理團隊、數據資產管理團隊、數據運營團隊等,組成標準的企業數據委員會,從而形成企業真正的中臺組織。

需要說明的是,中臺組織可以是一個橫跨各個業務部門的弱矩陣組織,也可以是一個完整的實體組織。這需要因地制宜,因企業不同而異。

3. 全面賦能業務,促使降本增效

數據中臺的終極價值是降本增效,無論是建設數據標準還是形成中臺組織,其核心目標都是幫助企業達成戰略規劃。

通過數據中臺,可以更加合理地布局團隊;數據從加工生產到使用的整個時間周期將大大縮短;以中臺之力拉通整合企業營銷、交易、服務、庫存、物流等一方數據,結合二方及三方數據,以全局視角,形成強大的數據資產,滋養各業務板塊。

同時有目的性地針對場景,設計出賦能場景的數據應用,幫助其從研、產、銷等多個方面縮短產品研發周期,生產未來一段時間暢銷的產品,精準找到願意購買公司產品的群體,以至於增強用戶對企業產品及服務的友好體驗,提高用戶對於企業品牌的忠誠度,降低企業運營過程中的損耗,壓縮供應鏈端的周期等。

這些價值都是企業一直以來孜孜追求的目標。

關於作者:陳新宇,雲徙科技聯合創始人兼首席架構師,中國軟體行業協會應用軟體產品雲服務分會「數字企業中臺應用專家顧問團」副主任專家,香港中文大學計算機科學與工程學博士,領導雲徙科技數字中臺系統的規劃、建設並賦能企業落地實施。

羅家鷹,雲徙科技副總裁,上海交通大學學士,中山大學MBA。近四年來,一直致力於阿里中臺賦能數字商業的研究與布道。擁有20年的企業諮詢及服務經驗,先後主導了數十家大型企業的數位化轉型諮詢方案。

江威,雲徙科技地產事業部總經理,領導中臺在地產方面的建設與落地,長期從事阿里中臺賦能地產行業的研究與布道,擁有豐富的地產項目實施經驗。

鄧通,雲徙科技汽車事業部總經理,香港中文大學信息工程碩士,專注於汽車行業數位化營銷研究。

本文摘編自《中臺實踐:數位化轉型方法論與解決方案》,經出版方授權發布。

相關焦點

  • 終於有人把大數據講明白了
    大數據技術追求的不是精確性的樣本數據,而是面向全體的數據,這部分數據可能是不精確的、非結構化的,但大數據技術正是利用這些之前未被利用的數據,創造新的價值。從海量數據中獲得的數據處理結果可能是超乎我們的認知邏輯的,但是我們並不需要理解結果背後的因果關係。簡言之,我們需要用相關思維替代因果思維。
  • 終於有人把「籌碼分布」講明白了
    從某種意義上講,節奏存在速率性和方向性,如果投資者的節奏與市場存在速率性差別可以彌補,並且最終不影響獲利效果;如果投資者節奏與市場存在方向性差別,並不能得到及時的糾正,必將被市場所拋棄。 趨勢只能跟隨,節奏只能把握,這就是交易制勝的法寶。
  • 「營銷數位化10講」之7:數位化的心臟——數據中臺
    編輯導語:數據從軟體誕生的那一天開始就存在,但是,數據並不是第一天就被存儲和利用的。今年來,數據中臺的概念火熱了起來,建立數據中臺的目標是為了融合整個企業的全部數據,打通數據之間的隔閡,消除數據標準和口徑不一致的問題。而數位化的心臟,就是數據中臺。
  • 終於有人講清楚了樹莓派是什麼
    打開APP 終於有人講清楚了樹莓派是什麼 發表於 2018-01-22 15:59:53 5.一臺超級計算機 大家都知道,什麼銀河計算機之內的超級計算機簡單說就是很多臺電腦同時運算。
  • 什麼樣的數據才有價值?應該怎樣收集和處理?終於有人講明白了
    提起數據,我們只單純指那些可被收集、衡量或分析的碎片信息或信息集合。我們的目的不在於討論數據本身,而是使你認識到數據對了解用戶的價值。比如老營員不喜歡過多食用綠色蔬菜,對制定夏令營運營計劃的你而言,這是否算是一則有用的信息?常聽有人爭執於一些數據比另一些更具價值。
  • 人工智慧7大關鍵技術,終於有人講明白了
    在2017年德勤對250位經理(其所在公司都已經在探索AI)開展的「了解認知」調查中,接受調查的公司58%在其業務中採用了機器學習。它是許多人工智慧方法的核心技術並且有很多的版本。公司內部和外部數據(尤其是這些外部數據)的爆炸式增長使它們採用機器學習來全面理解這些數據變得既可行又必要。
  • 被稱為企業「變速齒輪」的數據中臺到底是什麼 | 推薦收藏
    數據中臺跟之前大數據平臺最大的區別,在於數據中臺距離業務更近,能更快速地響應業務和應用開發的需求,可追溯,更精準。在這三種服務中,重點關注的是依賴於數據的服務,數據中臺具有大數據分析能力,並將該能力通過接口服務等方式對外提供。這一點是數據中臺與數據倉庫的最大區別,數據倉庫對外直接提供規整的數據分析能力,一般由BI工具或者大數據挖掘工具負責,而數據中臺直接將數據封裝成服務,以API等方式對外輸出。
  • 直到今天,終於明白了!為什麼很少有人欠花唄和借唄不還的?
    導語:直到今天,終於明白了!為什麼很少有人欠花唄和借唄不還的?科技生活的頭銜已經冠上了我們的生活,我們可以很真切的感受到身邊的一切都在慢慢和網際網路聯繫起來,讓它令我們生活得更好。更無需說行動支付帶給我們什麼好處,少現金的時代正在往無現金的時代發展途中,銀聯雲支付也在推廣中。
  • 數據分析最常用的18個概念,終於有人講明白了
    很多的數據分析工具會根據數據中的欄位的實際取值,做出類型的自動判斷:如字符型的數據,一般都認定為分類型數據;如某個欄位的所有取值只有「1」「2」「3」,則判斷其為分類型變量,然後經過用戶的再次判斷,其很可能是序數型變量。不同的數據類型,在算法進行模型訓練時,處理和對待的方式是不同的。
  • 《數據中臺實戰》:數據中臺的分層建模體系
    各層數據模型之間的關係如圖1-1所示。圖1-1 分層模體系第一層是ODS和DIM層。ODS層數據是數據倉庫的第一層數據,是業務資料庫的原始數據的複製,例如,每條產品線的用戶信息、訂單信息等數據一般都是原封不動地同步到數據中臺的ODS層中。
  • 從數據中臺到AI中臺,企業到底要建什麼中臺?
    但其實「中臺」到底是什麼,很少有人能夠給出明確的定義。無論是專家還是普通人,對於「前臺」、「後臺」都有一個比較明確的概念。對於普通人而言,前臺就是演戲時那個觀眾能看見的舞臺,後臺就是觀眾想看又進不去的那個地方。對於網際網路企業來說,前臺就是跟用戶打交道的應用和服務,後臺就是支持這些應用服務的技術、算法、數據、流程和基礎設施。
  • 數據中臺實戰(二):基於阿里OneData的數據指標管理體系
    本文將通過具體案例來介紹OneData的實施流程,繼而介紹阿里OneData數據體系中數據指標的管理和數據模型的設計,最後再為大家講數據看板的設計。上一篇文章講了《數據中臺實戰(一):以B2B點電商為例談談產品經理下的數據埋點》,本文我們先以一個例子實戰介紹OneData實施流程。接著再講阿里OneData數據體系中數據指標的管理、數據模型的設計。
  • LOL職業賽場上LEVI一秒五鍵搶龍,看完終於明白什麼叫不講道理
    LOL職業賽場上LEVI一秒五鍵搶龍,看完終於明白什麼叫不講道理 LOL職業賽場上LEVI一秒五鍵搶龍,看完終於明白什麼叫不講道理
  • 終於有人講清楚了,BI和報表的差異!
    終於有人講清楚了,BI和報表的差異! 2020年06月01日 15:20作者:黃頁編輯:黃頁   IT系統自帶報表功能,為什麼還要額外採購BI?
  • 數據中臺的雲原生機會
    2018年阿里升級數據業務雙中臺戰略並對外輸出,再到2019年數據中臺全面爆發,數據中臺一直是一個爭議和熱度並存的創業風口。資金層面,雖然對於數據中臺的準確定義,業內仍然莫衷一是,甚至爆出茅臺這類客戶不滿意的負面新聞,但是資本還在源源不斷地向數據中臺賽道湧入。一方面,投資機構在袋鼠雲、智領雲、奇點雲、滴普、數瀾等老玩家身上繼續加碼,另一方面,九章數據、元年科技、科傑大數據、創略科技等數據中臺賽道新面孔也紛紛湧現。
  • 關於數據中臺,這篇通俗易懂的解釋正是你需要的
    最近兩年,中臺的概念火了。然而卻有相當一部分人,壓根沒整明白,到底中臺是啥。我們來通俗解釋一下中臺吧,中臺是相對於「前臺」和「後臺」來講的。說白了,我們日常接觸到的各種應用,都分為「前、後」兩個部分。前臺,就是我們能看到和感知的,那些繽紛的界面、交互展現的操作。
  • 從概念到應用,這一次終於把數據挖掘給講明白了
    02 什麼是數據挖掘數據挖掘是在大型資料庫中自動地發現有用信息的過程。數據挖掘技術用來探查大型資料庫,發現先前未知的有用模式。數據挖掘還可以預測未來的觀測結果,比如顧客在網上或實體店的消費金額。並非所有的信息發現任務都被視為數據挖掘。例如查詢任務:在資料庫中查找個別記錄,或查找含特定關鍵字的網頁。
  • 電解液添加量是個難題,終於有人講明白了
    Günter等人根據電化學阻抗譜、注液、老化和壽命試驗等實驗數據,給出了軟包電池的電解液用量、潤溼速率、容量、能量密度和壽命之間的相互關係,研究了鋰離子電池的最佳電解液用量。作者採用了軟包電池作為研究對象,其中包含13片石墨負極極片和12片NCM111材料正極極片,採用的電解液是1mol濃度的LiPF6溶液(EC:EMC=3:7,另外添加2%的VC)。
  • 數據中臺,將決定企業數位化轉型的深度與廣度
    因此,為了彌合前端與後端系統的速度差,中臺的概念出現了。簡單說,就是梳理和規範企業業務和管理數據,將數據存儲、數據計算和數據應用的能力統一到「中臺」中,在為前端業務提供決策、快速響應迭代需求、實現精細化運營的同時兼顧後端系統的穩定。廣義的數據中臺包含了數據模型、算法服務、數據產品、數據管理等,和企業的業務有較強的關聯性,是企業獨有的、能復反覆使用的。
  • 數據中臺建設四步方法論:採、存、通、用
    「中」就是中心化,中臺是公司的業務中心,也是數據中心,通過業務中臺支持起公司內所有產品線的業務,通過數據中臺幫助公司各條產品線做數據化的運營,實現數據智能。 「能力復用」無論是業務中臺還是數據中臺功能都應該可以復用,都能夠支撐起公司的N條產品線,無限的拓展。 「臺」是平臺,中臺是平臺型產品,提供底層通用的能力。 中臺一般來說包括:業務中臺和數據中臺。