你知道什麼是數據中臺嗎?

2020-12-16 OFweek維科網

什麼是數據中臺數據中臺是全新的架構變革。過去三十年,企業數據管理都以傳統的IT架構為基礎。每當技術部門為業務部門解決問題時,需要從業務需求的探查、技術壁壘的打通等從上到下各個方面來建設新系統。每個系統的建成都自成一體,各自滿足業務部門的需求。這種情況不僅耗費各部門大量的精力也使得各個系統難以打通管理,無法形成更強大的數據能力。

圖片來源:國雲數據

此外,目前的IT輔助管理系統是以歐美國家發達的製造業為奠定基礎的,其更多的功能是採集數據,各個系統數據孤立存在、煙囪林立。在今天新的產業網際網路時代,企業需要快速響應外部變化,建立多維度的數據以重塑DT的應用,因此傳統的架構並不適合現在的市場發展情況,數據中臺的架構顛覆了過去三十年傳統的IT數據管理架構。

IT長不出DT。IT是CRM等軟體管理系統進行數據採集的信息技術,DT是基於IT產生的數據進行智能化應用的技術,前者以信息技術為主,後者以數據技術為主。IT作為傳統的數據管理架構是無法長出DT的。

如果以通俗化的生活案例來解說的話,數據中臺的工作原理如同五星級飯店為滿足食客需求的工作過程。數據類似於大型飯店中所用的果蔬肉等基礎食材,CRM、ERP等管理系統將數據採集到,放到資料庫裡。為滿足不同用戶(食客的用餐)需求,企業需要將資料庫中匯總的數據放到中央廚房以備業務人員(廚師)製作。數據放置的過程同步功能將數據分門別類,就像通過物流系統運送不同的食材到食材庫裡,將食材按類分撥。同時,數據治理技術需要將數據清洗好,對於某些特殊要求的數據還需要深加工等。

圖片來源:Unsplash

通過以上處理方式,數據才能提供給業務人員或者技術人員使用,相當於將分類規整好、清洗好的食材交給廚師製作一樣。業務人員或者技術人員在使用時會根據不同的需求對數據進行組合搭配,即對數據進行建模。同理,廚師在烹炒時也會添加佐料、配方等,使菜餚更加美味。數據通過建模生成了不同的應用方向,再通過可視化將其進行美化,比如廚師的添油加醋等,最終為用戶(食客)呈現契合需求的應用產品(佳餚)。

在企業有了數據的「中央廚房」之前,某個方向的應用產品的生成需要從數據治理、清洗、建模等從頭到尾的流程都做一遍,只形成了這款產品的加工鏈,其他方向的數據沒有實現同步、清洗,從而打通,煙囪式的壁壘由此產生。當另一用戶的業務需求與之前做的產品應用方向有重合時,仍然需要從頭再做。

在IT管理系統時代,這樣漫長的周期為三到六個月,且過程中不能有太多的變更,也就是說用戶不能根據業務變化隨時調整。這樣的應用研發不僅進度周期長,而且重複建設某些共性的功能,通用性功能無法沉澱,某些能力無法實現共享,最終造成企業資源和成本的浪費。

如今,若企業建立一套完整的數據中臺體系,相當於建立了從物流系統、倉儲系統等一體化的中央廚房系統。該體系將食材加工裝配好,業務人員可以直接按需「下單」,定製化應用立即生成。可見,數據中臺可為最終的用戶,比如業務人員(廚師),比如用戶(食客)提供成本低、靈活度高的業務處理平臺。如果某個應用受到用戶熱烈歡迎,可以依靠數據中臺多元化、共享的功能為其提供持續性地服務。如此,企業可以依靠強大的數據中臺服務能力提升競爭力,保持市場有利地位。

數據中臺是能力共享平臺。如今,很多產品應用研發初始都在強調功能性,各個功能存在或多或少的重複性。然而企業對這些產品功能的定義並不相同。當客戶產生某些需求時,由於定義的不同,產品功能和功能間的數據很難打通,也無法實現能力共享。

在數據中臺基礎上的應用開發並不強調功能性,更注重能力的共享。這種能力就像水電煤一樣可以直接向外輸出使用,從而滿足業務部門和用戶的不同需求。

數據中臺是有機的一體化平臺。數據中臺是包含模型資產、應用資產、工具資產、技術資產為一體的賦能平臺,並不是純技術概念。數據中臺不只是輸出技術能力,數據能力、資產能力、應用能力以及制度能力等也是中臺的價值輸出。數據中臺的核心點在於賦能業務部門及用戶,以應用為出發點,快速響應外部的需求,幫助業務部門產生業績,形成業務增長。

數據中臺是新一代的數據架構思路,其工作原理是以應用為出發點,進行數據整合,最終呈現的結果是數據應用的平臺。隨著未來科學技術愈發先進,人們的需求千變萬化,各種應用的產生也就順其自然,而以純技術為導向的數據中臺很難快速響應外部應用需求。

數據中臺是一種端到端的技術平臺,而不是一堆API的接口,其更注重業務端的使用和業務價值的體現。傳統API能力輸出模式無法滿足企業應用產品多變的需求,其需要中間層的技術轉化,無法快速、高效地產生應用。傳統企業搭建數據中臺,如果僅完成了API接口的創建,僅僅是完成了數據中臺建設的其中一環。因此,數據中臺並不是端到端的技術賦能平臺。

可見,數據中臺的建設需要業務部門靈活的應用需求,技術部門強大的數據治理、數據建模等能力,以及公司各個部門和資產的多維配合。它是集業務、技術和公司資產的有機結合體,並不是片面的模塊的組合體。

數據中臺是一種新的技術建設思路。數據中臺作為一種新的建設思路,打破了企業以前傳統的功能式和集成式的建設思路。企業以前產品打造的過程先依靠工程師搭建基礎技術架構,架構搭建完成後再添加應用功能。這種建設思路比較適合產品模式穩定的企業,對於應用需求多變、應用出發點無法一時統一的公司來說並不是最佳的選擇。這種因為工程或者基礎設施建設出的產品最終會無法為業務部門提供更多價值。因此,以應用為核心思考點的建設思路才是企業保持長久生命力的關鍵,而數據中臺的建設將幫助企業改變傳統的產品應用建設方式。

在過去,傳統企業為提高管理效率會部署CRM、ERP等多種管理系統,這種管理系統在企業管理基礎數據,簡單分析業務等方面為企業主運營決策提供了一定的參考價值。但是,當企業外部需求越來越多變,企業管理系統僅僅進行簡單的數據採集是無法滿足市場需求的。

企業主通過將多個管理系統的帳號打通,並增設各種分析工具等來加強管理,這種集成式的建設思路仍無法真正賦能業務對象。數據應用多樣化,大量的臨時的、即時的、分散的需求不時產生,數據模型需要根據業務重點經常調整,企業主僅僅通過聯通各個管理系統帳號是無法響應需求的。

多個管理系統和分析工具的集成雖然為企業主解決了部分問題,但是各個系統產品的建設思路不一致,產品與產品間既有重疊功能,也有邊界劃分,且產品之間定義並不相同,無法形成統一的、無縫結合的數據資產。產品與產品之間的技術出入會導致應用的出錯,最終影響用戶對產品的信任。由此,集成式的建設方式給技術部門形成巨大的維護成本和治理成本,並沒有達到數據中臺建設。

數據中臺的基本能力

數據中臺具有數據服務的能力。數據中臺幫助業務部門建立工作檯,通過工作檯可以快速獲取到數據相關服務,包括數據提取、數據分析、數據推送、數據回流等服務;數據中臺可以將髒亂差的數據進行加工、治理、切分、建模、打標籤等。

數據中臺可以使業務人員具備數據應用開發的能力。業務人員可以根據自己業務單元的需求,做深度的應用開發,比如精準、智能、智慧等相關應用,這些應用可以獨立變成產品。

數據中臺具有強大的海量數據處理能力。數據中臺對數據治理能力、融合能力、採集能力、同步能力等為數據應用提供了強大的基礎支持。無論企業生產、運營、消費者溯源、供應商維護、外部公共數據等不同維度的數據,數據中臺都可以通過不同的功能實現數據的打通、共享。

由於不同的業務場景需要不同規模的計算平臺來處理海量數據。數據中臺的建設幫助業務人員根據應用需求隨時調度計算能力。

數據中臺具有數據開發的能力。數據中臺中分析工具、挖掘工具、清洗工具等不同數據工具的設置可以幫助上下遊企業和外部用戶直接開發應用。數據中臺可以將上下遊工具進行傻瓜式包裝,比如應用開發、應用複製、應用使用、應用評價、應用分享等功能的設置,幫助企業不同領域的用戶實現數據共享、應用共享。

數據中臺具備自學習和自動完善的能力。數據中臺賦能業務人員的特性決定了其具有自學習的能力。中臺可以通過不斷的能力疊加,將數據和公司資產進行良性的循環和回流,賦能企業業務和技術部門,為企業建成一個具有滾動的、增長的、變化的自學習能力平臺。

數據中臺具有資產沉澱能力。用戶在使用數據的過程中會自動地沉澱出高價值的數據,通過數據中臺的融通能力,將這些有價值的數據進行良性的循環與回流。企業因此對自身的用戶數據、會員數據、人力數據等認識加深。這樣的沉澱能力可以為公司提高核心競爭力。另外,公司內部高價值的資產,比如模型資產、IT資產、DT資產、數據資產、應用資產,以及應用資產中的用戶資產、畫像資產等均可以通過中臺沉澱下來,為公司日後的應用提供更多的支持。長期以往的沉澱幫助公司建立核心競爭力,使企業在數位化轉型中先行一步,快速布局數位化市場競爭。

數據中臺具有數據質量自動跟蹤的能力。數據在使用過程中往往有多部門多角色參與,各個部門會定義多種多樣的數據指標、標籤和使用方式,長期以往數據治理體系將會越來越複雜。一旦數據無法跟蹤,會導致前端的數據應用出錯,最終使得企業決策失誤,付出較大代價。數據中臺可以避免以上問題的出現,數據質量智能追蹤和血緣分析會跟蹤數據的血緣系統,確保數據質量。

數據中臺具備數據融合打通的能力。隨著企業業務多變,數據互聯互通變得越來越重要。數據中臺將數據定義和意義保持一致,使數據真正實時打通。

數據中臺具有IT系統和DT系統風險隔離的能力。IT系統在企業數據採集、管理方面發揮著作用。業務需求變化快,而IT系統卻無法隨著DT系統變化,DT系統有著自身存在的意義。兩個系統的目標、定位不同,必然導致數據應用出現分歧。數據中臺的建立可以幫助企業對數據進行風險隔離,確保一方不影響另一方。

數據中臺應用方式

數據中臺應用方式一為幫助業務部門靈活使用數據分析。數據中臺改變了以往業務部門數據分析技術能力不足的窘況。在數據中臺出現以前,業務部門因為技術能力的缺乏,面對分析需求時只能藉助技術部門的輔助。中間經業務部門、技術部門、分析部門等各部門的溝通與配合在耗費了大量的時間成本和溝通成本的情況下,也耽誤了技術部門做更有價值的項目的機會。

數據中臺打破了數據的複雜格式,使得數據實現共享,在數據分析技術方面為業務部門開通了綠燈,業務人員可以自由地進行數據分析。

數據中臺應用方式二為幫助技術單元和業務單元,甚至外部單元靈活地創建應用。企業內部技術部門、業務部門,甚至外部供應商等第三方也可以基於數據中臺完成應用的創建。數據中臺幫助企業搭建行業生態共享平臺,造福企業內外部人員及上下遊企業客戶。

數據中臺應用方式三為技術部門可以不斷構建應用能力,沉澱數據資產和價值資產。數據中臺使業務、技術、公司資產實現了打通、合併、共享,數據資產的形成使技術部門可以形成持續的應用開發能力。反之,推陳出新的應用產生的數據又為新應用的誕生提供了肥沃的土壤,雙方形成閉環。

數據中臺的建設內容

數據中臺在SaaS層、DaaS層、PaaS層、IaaS層具有不同的應用內容。

SaaS層:從技術角度講SaaS層是業務用戶或技術用戶直接可以使用的服務和功能,包括數據分析工具、數據挖掘工具、可視化工具、清洗工具、建模工具等不同的數據工具;還包括不同層次的數據應用,如大屏可視化應用、決策分析系統、用戶畫像系統、精準推薦系統、AI應用等。

DaaS層:用戶可以通過DaaS層獲取數據直接的服務。最常見的服務有客戶數據獲取、原始數據治理服務、原始數據和IT數據互聯互通服務、數據質量監控服務、數據關係分析服務等。

PaaS層:該層具備更深度的能力,主要向公司內部數據治理團隊、數據團隊和技術團隊提供服務。基於PaaS層可以構建出更優良地DaaS層和SaaS層。這層要與基本的數據治理、清洗、建模、模型管理、模型共享、應用開發、應用發布等工具和能力有所區分。在該層有很多調度PaaS的能力,包括同步系統、調度系統。

IaaS層:主要解決數據計算資源和存儲資源等基礎的能力,包括大數據集群計算、分布式計算、資料庫等計算資源。該層可對流失計算、數據調度系統和計算資源進行存儲。該層具備數據最基本能力,包括數據安全等。該層可以幫助用戶從IT中獲取能力,又能產生DT的應用,同時又能回流到IT裡面支撐IT發展,滲透到IT業務環境中,提高企業業務能力。(註:由於篇幅有限,數據中臺各個技術模塊將後續補充)

文章由國雲數據原創,轉載請註明出處。

相關焦點

  • 數據倉庫、數據集市、數據湖、數據中臺到底有什麼區別?都得做嗎?
    什麼是數據倉庫? 大家都去宜家買過東西吧,還記得一樓的大倉庫不,你如果看中了某個家具,想要自己去倉庫提貨,一般都會記下商品上的編碼:
  • 什麼是數據中臺,為什麼數據中臺這麼火?
    近年來,數據中臺這個概念特別火,各個企業都在關注如何構建自己的數據中臺。中臺這個概念早期是由美軍的作戰體系演化而來的,技術上所說的「中臺」主要是指學習這種高效、靈活和強大的指揮作戰體系。所謂的中臺就是:通過制定標準和機制,把不確定的業務規則和流程通過工業化和市場化的手段確定下來,以減少人與人之間的溝通成本,同時還能最大程度地提升協作效率。那麼什麼是數據中臺呢數據中臺是指通過數據技術,對海量數據進行採集、計算、存儲、加工,同時統一標準和口徑。
  • 全網數商告訴你什麼是數據中臺
    前言近期,全網數商開設了「中臺百科」專欄,每周會定期分享關於中臺的百科知識。在這裡,您能看到中臺的源起;什麼是業務中臺;什麼是數據中臺;以及關於中臺建設的所有內容,包括組織架構、進化策略、方法論等等。總而言之,學中臺、懂中臺、用中臺,就選全網數商,我們期待您的召喚!本期主要分享兩個知識:●什麼是數據中臺?●數據中臺對企業有哪些意義和作用?
  • 阿里雲劉偉光:真正的數據中臺是什麼?
    2020年7月底,在杭州召開的數據中臺高峰論壇上,阿里雲宣布正式推出金融級數據中臺。「到底是不是玄學,今天如果你有幸加盟阿里工作,你在每天使用數據的過程中,你就會知道到底是不是玄學,此外阿里曾經在幾年前面臨的數據問題跟今天金融機構是一模一樣,所以我們真正把路走通過」,劉偉光這樣說到。在和客戶接觸時,劉偉光也發現,現在每家廠商和金融機構講的數據中臺故事都不一樣。
  • 中臺詳解(上)——什麼是中臺
    老規矩,咱們還是按照「是什麼」、「有什麼價值」、「怎麼做」的順序來聊。一、什麼是「中臺」?為什麼要搞「中臺」?「專業化職能分工」、「數據唯一性建模」又是什麼鬼?鑑於所有的軟體及其背後的理論、原理、概念、技術都是為了解決業務問題而產生的,就讓我帶著大家一邊梳理「中臺」產生的業務背景,一邊揭開「中臺」的面紗。
  • 什麼是中臺,為什麼需要中臺
    第一部分問對問題很重要繼續閱讀之前大家要停下來,如何真的可以,停在這裡,思考三分鐘,企業需要的中臺到底是什麼?有了答案後,如果可能找一張紙,寫下來。中臺是什麼不重要,一個名詞,可以有各種定義,最關鍵自己如何給它定義,為什麼要這樣定義,這樣定義對於企業的意義是什麼?第二部分目前大家如何看中臺?
  • 所有人只知道麥迪的35秒13分,姚明比賽中什麼數據你知道嗎?
    說起麥迪,大家腦子裡幾乎都會瞬間想到他那經典的35秒13分,可以說麥迪在那場和馬刺的比賽中創造了奇蹟,在最後時刻幫助球隊在主場完成驚天逆轉。所有人只知道麥迪的35秒13分,姚明比賽中什麼數據你知道嗎?不過,最後火箭能夠在關鍵時刻完成逆轉,不僅僅只是完全依靠麥迪那神奇的表現,你們知道姚明在當時發揮了什麼樣的作用嗎?可以毫不誇張的說,如果那場比賽沒有姚明的出色表現,幾乎不可能會有最後時間裡麥迪的偉大時刻。那麼我們一起來欣賞一下姚明有著怎樣的發揮。
  • 企業需要的中臺是什麼?
    1 什麼是中臺?中臺是企業的作戰指揮體系,中臺是企業的「指揮官體系」。中臺是怎麼熱起來的,是企業在遇到大環境變差、競爭激烈並且希望有新技術幫助自己贏得市場的背景下提出的。基於中臺概念提出時面對的的VUCA環境, 首先我這裡要把從技術、架構的角度定義的中臺要徹底排除出去。 為什麼要這樣? 取決於你用中臺幹什麼: 是要一個架構?技術?還是要企業的成功? 我的回答很明確: 是助力企業的成功,就是在VUCA時代贏得市場。在中國,從架構技術落實中臺的第一個公司是蘇寧。
  • 保險公司為什麼要標配數據中臺?
    在[看懂經濟]看來,雙方在集團級數據中臺的建設合作上,更值得品味。數據中臺,是阿里首創並實踐過的解決方案,被公認為數字時代讓企業數據資產化產生價值的關鍵要素架構。中國太平洋保險集這樣領頭型保險企業選擇上馬數據中臺,可能對於整個行業都有著極強的示範效應,未來各家保險公司數位化轉型過程中,數據中臺乃至數據資產化極有可能成為標配。
  • 數據中臺的雲原生機會
    資金層面,雖然對於數據中臺的準確定義,業內仍然莫衷一是,甚至爆出茅臺這類客戶不滿意的負面新聞,但是資本還在源源不斷地向數據中臺賽道湧入。一方面,投資機構在袋鼠雲、智領雲、奇點雲、滴普、數瀾等老玩家身上繼續加碼,另一方面,九章數據、元年科技、科傑大數據、創略科技等數據中臺賽道新面孔也紛紛湧現。
  • 數據中臺與大數據的關聯度
    近年,數據中臺在網際網路領域走紅,越來越多的人開始探索數據中臺相關的應用。儘管數據中臺人氣火爆,但是仍有很多人分不清「中臺」與平臺、前臺-後臺、大數據等概念之間的關係。中臺的產生是由於無法科學合理地設計後臺,因此許多業務並和數據之間的銜接關係處理的並不恰當,為了改變這一現狀中臺問世了。因此,所謂的中臺戰略,必須說清楚中臺是如何從後臺分離出來以及分離之後的中臺與後臺的聯繫和關係。此外,上述眾多中臺的定義與大數據關聯不夠。
  • 關於數據中臺,這篇通俗易懂的解釋正是你需要的
    最近兩年,中臺的概念火了。然而卻有相當一部分人,壓根沒整明白,到底中臺是啥。我們來通俗解釋一下中臺吧,中臺是相對於「前臺」和「後臺」來講的。說白了,我們日常接觸到的各種應用,都分為「前、後」兩個部分。前臺,就是我們能看到和感知的,那些繽紛的界面、交互展現的操作。
  • 你知道最早的汽車是什麼品牌嗎?
    大家都會開車,都有車,但是大家知道汽車的發展史嗎?(嘿嘿,你知道汽車的老祖宗是什麼樣嗎?) 相信大家都知道工業革命是由蒸汽機掀起的(歷史學過哦),古時候的車是由馬或牛等動物來拉動的,而等我驅動有一定的局限。在1770年,有一名法國大佬,就將蒸汽機裝在了馬車上,用蒸汽機來代替動物,造出了世界上第一臺機動車。
  • 數據中臺建設中的幕後意義
    中臺戰略主要都是指通過「小前臺,大中臺」的架構方式,降低試錯成本,加快響應速度,從而真正做到「降本增效」。1、中臺解決哪些問題在戰略層面上,中臺主要解決兩個問題:一,提升體驗;二,降低成本。2、中臺建設滿足哪些條件中臺主要解決兩個問題:一提升體驗;二降低成本。已經高度服務化的組織,不會因為做中臺而顯著提升體驗。沒有重複建設,也就是沒有重複組織的情況下,很難大幅降低成本。
  • 數據中臺的雲原生機會|甲子光年
    作者 | 趙健編輯 | 火柴Q從2015年阿里提出中臺概念,到2018年阿里升級數據業務雙中臺戰略並對外輸出,再到2019年數據中臺全面爆發,數據中臺一直是一個爭議和熱度並存的創業風口。彭鋒告訴「甲子光年」:「2005年在矽谷時,要做一個大數據集群,需要十幾個博士,幾千萬美元才能搭建起來,現在,用雲原生的技術搭建同樣的系統,只需要30分鐘。」不過,雲原生技術是都開源技術。同樣的技術,我能用你也能用,智領雲的數據中臺建設理念又有什麼獨特之處?
  • 數據中臺的雲原生機會 | 甲子光年
    作者 | 趙健 編輯 | 火柴Q 從2015年阿里提出中臺概念,到2018年阿里升級數據業務雙中臺戰略並對外輸出,再到2019年數據中臺全面爆發,數據中臺一直是一個爭議和熱度並存的創業風口。彭鋒告訴「甲子光年」:「2005年在矽谷時,要做一個大數據集群,需要十幾個博士,幾千萬美元才能搭建起來,現在,用雲原生的技術搭建同樣的系統,只需要30分鐘。」 不過,雲原生技術是都開源技術。同樣的技術,我能用你也能用,智領雲的數據中臺建設理念又有什麼獨特之處? 2.自研派與社區開源派
  • 讓數據中臺進入數智化時代|明略科技的「中臺」論道
    目前,從Gartner的數據中臺(Data Middle Office) 炒作周期圖來看,數據中臺已逼近炒作頂峰。與其不斷在市場上討論什麼是數據中臺及其是否有價值,不如從為客戶創造價值出發論道明略數據中臺的特點與方法論、助力企業數智化轉型「四步走」之路。
  • 你知道嗎高爾夫球中的108mm是什麼意思嗎?
    學習這麼久的高爾夫球,你知道一個標準的高爾夫球場有18洞,正規的18洞球場劃分為18個大小不一、形狀各異的場地,每塊場地均由發球檯
  • 數據湖,比「數據中臺」更需要重視的概念
    反映歷史變化的:正是由於通常數據倉庫中的數據是基於預先設定好的時間窗口從事務型系統中獲取數據,無論是一分鐘、一小時還是一天、一周,它都是可以反映數據整體歷史變化的,分行長可以清楚地知道今天銀行的人民幣存款入帳環比昨天增長或減少了多少,同比上個月的今天又發生了什麼變化。
  • 你知道《魔道祖師》中,金星雪浪的下一句是什麼嗎?
    《魔道祖師》中,有很多經典的句子,並且都是上下句關聯的,就比如說「明月清風曉星塵,傲雪凌霜宋子琛。」再比如說「姑蘇藍氏雙壁,雲夢江氏雙傑。」但是,你知道金星雪浪對應的下一句是什麼嗎?一提到「金星雪浪」大家腦海裡第一個能想到的一定是「金星雪浪袍」,沒錯,這是蘭陵金氏的家紋代表。