終於有人把數據中臺講明白了

2020-12-11 騰訊網

點藍色字關注「雲技術」

導讀:要建設數據中臺,我們首先需要明確什麼是數據中臺,以及數據中臺能為企業帶來什麼價值。

作者:陳新宇 羅家鷹 江威 鄧通 等

來源:大數據DT(ID:hzdashuju)

01 數據中臺定義

數據中臺是一種將企業沉睡的數據變成數據資產,持續使用數據、產生智能、為業務服務,從而實現數據價值變現的系統和機制。通過數據中臺提供的方法和運行機制,形成匯聚整合、提純加工、建模處理、算法學習,並以共享服務的方式將數據提供給業務使用,從而與業務聯動。

再者,結合業務中臺的數據生產能力,最終構建數據生產—消費—再生的閉環。為了更好地理解數據中臺,我們將其與數據倉庫、數據湖、BI、大數據等相關概念進行對比。

1. 與數據倉庫的對比

數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合,用於支持管理決策。因此,其重點在於數據的集合。數據倉庫可使用維度建模方法論從業務過程中抽象出通用維度與度量,組成數據模型,為決策分析提供通用的數據分析能力。

數據中臺與數據倉庫相比,至少有四大優勢

第一,數據中臺強調數據業務化,讓數據用起來,滿足企業數據分析和應用的需求。

第二,數據中臺梳理的流程比數據倉庫建設更加複雜和全面。數據中臺增加了以企業的全局視角來梳理數據域的環節,這是數據中臺建設中很重要的一環。數據域的梳理正好體現了中臺化的能力。

舉個例子,新零售場景下,企業的交易場景有很多,包括自建商城渠道、第三方電商渠道、外賣訂單渠道、線下門店渠道等。建設數據中臺時就需要規劃出一個交易域,此交易域要抽象出各種渠道的業務流程,並能覆蓋線上、線下運營部門在運營時需要考核的維度與度量。

因此數據中臺建設過程要更多從企業全局出發,從人、貨、場多維度打通數據,真正做到無論消費者從哪個渠道進來,都能洞察其與本企業的接觸軌跡。

而數據倉庫的建設則相對單一,專注於維度模型如何設計,如何拆解指標和維度,卻很少關注基於人、貨、場這些主體進行實體拉通,然後做出全局的畫像數據供前端業務調用。

第三,數據中臺建設的範疇遠遠大於數據倉庫的建設,除了完成數據倉庫的建模,還需要制定完善的數據治理方案,甚至在建設的過程中需要成立專門的數據治理委員會來促成複雜的數據治理工作。

最重要的一點是,在數據中臺的規劃階段就需要去主動迎合業務,需要全面梳理哪些業務場景需要利用數據的賦能才能形成業務閉環,因此,在建設數據中臺的同時就必須著眼於業務場景的賦能。

第四,對於企業來講,建設數據中臺並不只是搭建一個能力平臺。正如我們在《中臺戰略》一書中提到的,建設中臺需要中臺文化及相匹配的中臺組織。

因此,從宏觀上來講,數據中臺承擔著企業重新搭建數據組織的職能,倒逼企業為了運營好數據中臺而建設一套能與之匹配的數據中臺組織。數據倉庫則純粹注重於系統解決方案,並不涉及組織形態。

因此,簡單來說,數據倉庫重在建數據,而數據中臺則將建、治、管、服放到同樣的高度,數據倉庫只是數據中臺的一個子集。

那我們為什麼會從數據倉庫發展到數據中臺呢?因為傳統的數據倉庫已不能完全滿足企業數據分析的需求。企業已從原來的統計分析轉變為預測分析並提供標籤、推薦等算法,從被動分析轉變為主動分析,從非實時分析轉變為實時分析,並且從結構化數據轉變為結構化、半結構化和非結構化的多元化數據。

2. 與數據湖的對比

與數據中臺相關的概念還有數據湖(Data Lake)。數據湖是一種數據存儲理念,作為一個集中的存儲庫,它可以以自然格式存儲任意規模的數據,包括來自關係資料庫行和列的結構化數據,XML、JSON、日誌等半結構化數據,電子郵件、文檔等非結構化數據,以及圖像、音視頻等的二進位數據,從而實現數據的集中式管理。

目前Hadoop是最常見的實現數據湖概念的技術。比如HBase可讓數據湖保存海量數據,Spark可以使得數據湖批量分析數據,而Flink等可讓數據湖實時接入和處理IoT數據等。

3. 與BI的對比

BI(商業智能)是分析數據並獲取洞察,進而幫助企業做出決策的一系列方法、技術和軟體。相比數據倉庫,BI還包含數據挖掘、數據可視化等工具,並可支持用戶在一定範圍內任意組合維度與指標,從而上升到支持決策的層面,而不只是作為數據倉儲。

4. 與大數據的對比

數據中臺也不等於大數據。數據中臺是基於大數據、人工智慧等技術構建的數據採、存、通、管、用的平臺。

數據中臺需要以Hadoop、Spark等為代表的大數據處理技術做支撐,但絕不能將數據中臺與大數據劃等號。數據中臺不只有大數據處理技術,還包括智能算法、與業務聯動的特性、數據資產、數據工具等。

5. 小結

可以說數據中臺是上述概念和技術的集大成者。

首先,大數據豐富的數據計算和存儲技術為數據中臺提供了強大的數據處理能力。

其次,數據中臺作為企業數據的集結地,其底層也當然承載著數據湖的職能。

再次,數據倉庫對數據的分域建模是數據中臺的重要部分,它承載著將企業數據治理得井井有條的職能。

最後,基於強大的數據能力,結合業務場景提供實時、智能的服務和應用是數據中臺的核心價值體現。

02 數據中臺價值

數據中臺不等於大數據平臺,數據中臺的核心工作也並不是將企業的數據全部收集起來做匯總就夠了。數據中臺的使命是利用大數據技術、通過全局規劃來治理好企業的數據資產,讓數據使用者能隨時隨地獲取到可靠的數據。

因此,數據中臺一旦建成並得以持續運營,其價值將隨著時間的推移將呈指數級增長。數據中臺的價值眾多,下面詳述其中的三大價值,見圖4-1。

▲圖4-1 數據中臺的三大價值

1. 幫助企業建立數據標準

在有數據中臺之前,企業基本不會有全局的數據標準,即使有相關的數據標準,由於沒有數據中臺這個實體形態,數據標準也無從執行。數據中臺的建設天然會幫助企業建設數據標準,包括數據建設規範數據消費規範

數據建設規範有諸如數據接入規範、數據建模規範、數據存儲規範和數據安全規範等,數據消費規範包含數據權限規範、數據調用規範以及數據銷毀規範等。這些標準都是建設數據中臺時必須建立起來並依託數據中臺去執行和落地的。

2. 促進中臺組織形成

再宏偉的企業戰略規劃,都離不開一套科學合理的組織去落地執行。數據中臺建設將是企業宏觀戰略規劃的一個重要部分,那麼在踐行數據中臺建設的過程中,擺在企業第一位的問題就是如何搭建起一套能穩定護航數據中臺建設及運營的數據中臺班子。

數據中臺這種體系化工程將橫向拉通企業數據相關方,包括中臺建設團隊、中臺運維團隊、數據產品經理團隊、數據資產管理團隊、數據運營團隊等,組成標準的企業數據委員會,從而形成企業真正的中臺組織。

需要說明的是,中臺組織可以是一個橫跨各個業務部門的弱矩陣組織,也可以是一個完整的實體組織。這需要因地制宜,因企業不同而異。

3. 全面賦能業務,促使降本增效

數據中臺的終極價值是降本增效,無論是建設數據標準還是形成中臺組織,其核心目標都是幫助企業達成戰略規劃。

通過數據中臺,可以更加合理地布局團隊;數據從加工生產到使用的整個時間周期將大大縮短;以中臺之力拉通整合企業營銷、交易、服務、庫存、物流等一方數據,結合二方及三方數據,以全局視角,形成強大的數據資產,滋養各業務板塊。

同時有目的性地針對場景,設計出賦能場景的數據應用,幫助其從研、產、銷等多個方面縮短產品研發周期,生產未來一段時間暢銷的產品,精準找到願意購買公司產品的群體,以至於增強用戶對企業產品及服務的友好體驗,提高用戶對於企業品牌的忠誠度,降低企業運營過程中的損耗,壓縮供應鏈端的周期等。

這些價值都是企業一直以來孜孜追求的目標。

關於作者:陳新宇,雲徙科技聯合創始人兼首席架構師,中國軟體行業協會應用軟體產品雲服務分會「數字企業中臺應用專家顧問團」副主任專家,香港中文大學計算機科學與工程學博士,領導雲徙科技數字中臺系統的規劃、建設並賦能企業落地實施。

羅家鷹,雲徙科技副總裁,上海交通大學學士,中山大學MBA。近四年來,一直致力於阿里中臺賦能數字商業的研究與布道。擁有20年的企業諮詢及服務經驗,先後主導了數十家大型企業的數位化轉型諮詢方案。

江威,雲徙科技地產事業部總經理,領導中臺在地產方面的建設與落地,長期從事阿里中臺賦能地產行業的研究與布道,擁有豐富的地產項目實施經驗。

鄧通,雲徙科技汽車事業部總經理,香港中文大學信息工程碩士,專注於汽車行業數位化營銷研究。

本文摘編自《中臺實踐:數位化轉型方法論與解決方案》,經出版方授權發布。

相關焦點

  • 終於有人把雲計算、大數據和人工智慧講明白了!
    虛擬化靈活多了  有人就想辦法了。第一個辦法就是虛擬化。用戶不是只要一個很小的電腦麼?  數據中心的物理設備都很強大,我可以從物理的 CPU、內存、硬碟中虛擬出一小塊來給客戶,同時也可以虛擬出一小塊來給其他客戶。  每個客戶只能看到自己的那一小塊,但其實每個客戶用的是整個大的設備上的一小塊。
  • 6種數據分析實用方法,終於有人講明白了
    導讀:在《終於有人把AI、BI、大數據、數據科學講明白了》中,我們討論了分析以及相關的一些概念,如大數據和數據科學。現在我們將注意力轉向分析中使用的實用方法,包括各種分析工具。時間序列分析的目的是在歷史數據(或時間序列數據)中找出一種模式,然後推測未來趨勢。通常有四大類時間序列分析方法,如圖1-5所示。
  • 數據中臺、數據倉庫、數據平臺的關係你明白了嗎?
    數據中臺是什麼 數據中臺是指通過數據技術,對海量數據進行採集、計算、存儲、加工,同時統一標準和口徑。數據中臺把數據統一之後,會形成標準數據,再進行存儲,形成大數據資產層,進而為客戶提供高效服務。
  • 6種數據分析實用方法,終於有人講明白了
    而時間序列分析不同於預測,雖然你需要時間序列數據來進行預測,但並非所有的時間序列分析都是用來進行預測的。例如,時間序列分析可用於在多個時間序列中發現模式或相似的特徵,或執行統計過程控制。類似地,季節性的分析也可以用來識別模式。時間序列分析採用了多種方法,既有定量的,也有定性的。時間序列分析的目的是在歷史數據(或時間序列數據)中找出一種模式,然後推測未來趨勢。
  • 從大數據的發展史,看數據中臺的核心價值
    關注並將「人人都是產品經理」設為星標每天早 07 : 45 按時送達自從數據中臺提出以後,各行各業都開始推出關於中臺的應用和落實;數據中臺的核心價值是什麼?所有公司都適合做數據中臺嗎?本文作者詳細分析了大數據下的數據中臺。
  • 終於有人講清楚了樹莓派是什麼
    打開APP 終於有人講清楚了樹莓派是什麼 發表於 2018-01-22 15:59:53 5.一臺超級計算機 大家都知道,什麼銀河計算機之內的超級計算機簡單說就是很多臺電腦同時運算。
  • 人工智慧7大關鍵技術,終於有人講明白了
    在2017年德勤對250位經理(其所在公司都已經在探索AI)開展的「了解認知」調查中,接受調查的公司58%在其業務中採用了機器學習。它是許多人工智慧方法的核心技術並且有很多的版本。公司內部和外部數據(尤其是這些外部數據)的爆炸式增長使它們採用機器學習來全面理解這些數據變得既可行又必要。
  • 終於有人講明白了
    最基本的機器學習使用算法解析和學習數據,然後在相似的環境裡做出決定或預測。簡言之,即基於數據學習並做決策。這樣的描述將機器學習與傳統軟體或普通程序區分開來。機器學習過程中,並沒有人為指示機器學習系統如何對未知環境做出決策或預測,這一過程由機器學習中的算法從數據中習得,做出決策的主體是機器學習算法,並且決策或預測是非確定性的結果,一般以概率的形式輸出,比如80%的可能性是晴天。
  • 終於有人把智能語音處理講明白了
    作者:張雄偉 孫蒙 楊吉斌 等來源:大數據DT(ID:hzdashuju)機器學習的快速發展,為智能語音處理奠定了堅實的理論和技術基礎。智能語音處理的主要特點是從大量的語音數據中學習和發現其中蘊含的規律,可以有效解決經典語音處理難以解決的非線性問題,從而顯著提升傳統語音應用的性能,也為語音新應用提供性能更好的解決方案。
  • 數據分析最常用的18個概念,終於有人講明白了
    但是,序數型的數據還有另外一層含義就是每個取值是有大小之分的。比如,如果將年收入劃分為3個檔次:高、中、低,則不同的取值既有類別之分,也有大小之分。如果不了解欄位的實際業務含義,數據分析人員可能會出現數據類型判斷失誤。
  • 數據分析最常用的18個概念,終於有人講明白了
    很多的數據分析工具會根據數據中的欄位的實際取值,做出類型的自動判斷:如字符型的數據,一般都認定為分類型數據;如某個欄位的所有取值只有「1」「2」「3」,則判斷其為分類型變量,然後經過用戶的再次判斷,其很可能是序數型變量。不同的數據類型,在算法進行模型訓練時,處理和對待的方式是不同的。
  • 數據中臺與大數據的關聯度
    近年,數據中臺在網際網路領域走紅,越來越多的人開始探索數據中臺相關的應用。儘管數據中臺人氣火爆,但是仍有很多人分不清「中臺」與平臺、前臺-後臺、大數據等概念之間的關係。中臺的產生是由於無法科學合理地設計後臺,因此許多業務並和數據之間的銜接關係處理的並不恰當,為了改變這一現狀中臺問世了。因此,所謂的中臺戰略,必須說清楚中臺是如何從後臺分離出來以及分離之後的中臺與後臺的聯繫和關係。此外,上述眾多中臺的定義與大數據關聯不夠。
  • 圖說| 關於5G,終於有人能講明白了……
    當然,5G 的辦事快、不拖延和擠不爆這三大好處,並不僅是為了提升現有的上網體驗。  所以,要想沒駕照也能開車,就得先用上5G。  最後說物聯網。所謂物聯網,就是說不但你的手機、VR 和汽車能上網,你家電視、空調、冰箱、浴霸、花盆、門鎖都能上網,甚至連你吃的水果、蔬菜、牛肉、三文魚在生產、加工、運輸的過程中都能上網。  大家都知道,物聯網的概念已經提(chuī)出(niú)很多年了,之所以沒有實現,一個很重要的原因是網絡容量不夠。
  • 後來,我終於在眼淚中明白…
    在班主任講完規則和客套話以後,她說,由你們的數學老師為你們獻唱一首! 臺下歡呼一片,特別是那幾個愛搗亂的男生,還吹起了口哨! 那天,老師穿了一件藍色風衣,把頭髮挽了起來,那一刻,嗯,老師太漂亮了! 老師說,歌名叫《後來》! 「後來,我終於在眼淚中明白,有些人,一旦錯過就不再。
  • 終於有人把Elasticsearch原理講透了!
    呂老師:類型是用來定義數據結構的,你可以認為是 MySQL 中的一張表。文檔就是最終的數據了,你可以認為一個文檔就是一條記錄。呂老師:注意,只有建立索引和類型需要經過 Master,數據的寫入有一個簡單的 Routing 規則,可以 Route 到集群中的任意節點,所以數據寫入壓力是分散在整個集群的。
  • 阿里中臺之變
    此後行業中臺之風漸盛,在2019年達到頂峰,和阿里的推動密不可分,阿里也成為中臺的代名詞,直接或間接和一部分中臺公司關聯,將中臺做成一門新生意。不過,和中臺業務聲名一併成長的不乏質疑,有觀點認為中臺是阿里包裝的網際網路概念,換湯不換藥;也有人指出,中臺是阿里的中臺,不具備普適性,對其他公司助力不大;甚至有公司因為盲目採用中臺,導致自身發展受挫。
  • 終於有人講明白了!什麼是明心見性?修行的終極目標!
    明白看見,洞如觀火!搞明白,看清楚了。什麼是心性?人心人性!明心見性,明見心性,把人心人性搞明白看清楚了。佛家是人與心的關係,就是人搞明白看清楚了自己的人心人性。儒家是人與人之間的關係,搞明白看清楚了自己和他人的人心人性。道家是人與自然之間的關係。搞明白看清楚人心人性與動物的心性,宇宙陰陽變化之間的共同特性。不論是從佛家,儒家還是道家切入。
  • 一文讀懂數據平臺、大數據平臺、數據中臺
    同樣的道理,在理解「大數據」「數據中臺」相關知識之前,我們有必要先將常遇到的包括數據倉庫、數據集市、數倉湖、大數據平臺、數據中臺等概念一次性說清,以便在今後的學習與建設中能夠清楚的區別開來。 在回答上述問題之前,我們先來看看數據中臺應該怎麼理解?
  • 數據中臺實戰(二):基於阿里OneData的數據指標管理體系
    上一篇文章講了《數據中臺實戰(一):以B2B點電商為例談談產品經理下的數據埋點》,本文我們先以一個例子實戰介紹OneData實施流程。接著再講阿里OneData數據體系中數據指標的管理、數據模型的設計。
  • 又一個大廠要押寶數據中臺
    在當前中臺受到一些質疑,甚至有人稱為「中臺至暗「的時刻,又有一家業界大廠繼續加持」中臺「。這家公司知名度可能不是很高,但卻是人工智慧、大數據業界的絕對大廠。它是今年12月剛剛完成2億美元E+輪戰略融資、2019年獲得20億元人民幣融資的明略科技集團。