被稱為企業「變速齒輪」的數據中臺到底是什麼 | 推薦收藏

2020-12-06 DataHunter

△藍字可關注並標星

-數據分析展示就用DataHunter-

在二戰時期,美軍是以龐大的軍隊為單位作戰;到了越戰時,以營為單位作戰;到了中東戰鬥的時候,以7人或者11人的極小班排去作戰,這就是今天具備最強核心競爭力和打擊能力的組織。而美軍之所以能靈活作戰,敢放這麼小的團隊到前方,是因為有非常強的中臺能力,這些能力包括戰鬥直升機、艦炮遠程支援、戰術飛彈系統、戰鬥機支援體系等,這些能力能支持小團隊快速做判斷,並且引領整個炮火覆蓋和定點清除。

而對比今天多變的市場競爭環境,企業也正在尋找像美軍一樣具備創新性、靈活性的中臺能力。今天我們就從以下幾個方面來說說數據中臺:

1.數據中臺產生的歷史背景

2.數據中臺對企業有什麼價值

3.到底什麼是數據中臺

4.數據中臺與資料庫、數據湖和BI有什麼區別

5.企業搭建數據中臺需要注意什麼

6.企業如何使用數據中臺

一、數據中臺產生的歷史背景

數據從軟體誕生的那一天開始就存在,但是,數據並不是第一天就被存儲和利用的。在信息化時代,企業早期通過流程來進行生產和管理,流程是預先設計好的,然後在設計好的流程中產生了數據。比如現在銷售部門依賴於CRM(客戶關係管理平臺),售後部門主要看客服系統,市場營銷部門關心微信平臺,數據分析團隊使用各類數據分析工具…在這個過程中,各個企業分別都在用不同的方式來儘可能的利用數據產生的價值。

但是隨著企業為了適應需求端(市場和消費者)的變化,早期工具各自產生新的、孤立的、片面的客戶數據,卻無法快速同步,甚至團隊之間還懷疑對方數據是否正確。因此,企業急需調整和改革供應端(生產製造和供應鏈),也就是需要一個統一真實的數據源來描述客戶,而不是任由客戶的不同維度數據由不同部門各自存儲,於是在這樣的場景下數據中臺應運而生。數據中臺跟之前大數據平臺最大的區別,在於數據中臺距離業務更近,能更快速地響應業務和應用開發的需求,可追溯,更精準。

圖為:DataHunter數據中臺 Data Formula

數據中臺的概念是最早由阿里巴巴首次提出,是為了應對像雙十一這樣的業務高峰、應對大規模數據的線性可擴展問題、應對複雜業務系統的解耦問題,而在技術、組織架構等方面採取的一些變革,其本質上還是一個平臺,阿里稱之為「共享服務平臺(Shared Platform as Service,SPAS)」。SPAS採用的是基於面向服務的架構SOA理念的 「去中心化」的服務架構,所有的服務都是以「點對點」的方式進行交互。阿里之所以選擇「去中心化」的分布式服務架構,主要是考慮到擴展性。

二、數據中臺對企業有什麼價值

數據中臺對一個企業,起著至關重要的作用,可以讓數據在數據平臺和業務系統之間形成了一個良性的閉環。為什麼這麼說呢,不得不提到兩個概念「前臺」和「後臺」。

前臺是由各個應用組成的前端系統平臺。前端系統直接觸達用戶,通過前臺,企業與最終用戶直接進行信息交互。例如,企業搭建的電子商務網站、門戶網站、手機APP、微信公眾號等都屬於前臺。後臺是由各個業務管理系統組成的後端平臺。每個後臺業務系統管理了企業的一塊業務,例如,財務系統、產品系統、客戶管理系統、倉庫物流管理系統等。基礎設施、存儲和計算平臺作為企業的核心計算資源,也屬於後臺的一部分。

因為企業後臺往往並不能很好的支撐前臺快速創新響應用戶的需求,後臺更多解決的是企業管理效率的問題,而中臺要解決的才是前臺的創新問題。此時的前臺和後臺就像是兩個不同轉速的齒輪,前臺由於要快速響應前端用戶的需求,講究的是快速創新迭代,所以要求轉速越快越好;但後臺由於面對的是相對穩定的後端資源,而且往系統陳舊複雜,甚至還受到法律法規審計等相關合規約束,所以往往是穩定至上,越穩定越好,轉速也自然是越慢越好。

所以,隨著企業務的不斷發展,這種「前臺+後臺」的雙輪速率「匹配失衡」的問題就逐步顯現出來。隨著企業業務的發展壯大,因為後臺修改的成本和風險較大,所以驅使我們會儘量選擇保持後臺系統的穩定性,但還要響應用戶持續不斷的需求,自然就會將大的業務邏輯(業務能)直接塞到前臺系統中,引入重複的同時還會致使前臺系統不斷膨脹,變得臃腫,形成了一個個滾球的「煙囪式單體應用」。漸漸拖垮前臺系統的「客戶響應力」,用戶滿意度降低,企業競爭也隨之不斷下降。

而中臺連結了前臺用戶與後臺核心資源,既可以將早已臃腫不堪的前臺系統中的穩定通用業務能力「沉降」到中臺層,為前臺減肥,實施「大中臺,小前臺」戰略,恢復前臺的響應力。前臺可以快速生成各種微應用;又可以將後臺系統中需要頻繁變化或是需要被前臺直接使用的業務能力「提取」到中臺層,賦予這些業務能力更強的靈活度和更低的變更成本,從而為前臺提供更強大的「能力炮火」援。

中臺就像是在前臺與後臺之間添加的一組「變速齒輪」,將前臺與後臺的速率進行匹配,是前臺與後臺的橋梁。它為前臺而生,易於前臺使用,將後臺資源順滑流向用戶,響應用戶。

三、到底什麼是數據中臺

數據中臺是指通過數據技術,對海量數據進行採集、計算、存儲、加工,同時統一標準和口徑。數據中臺把數據統一之後,會形成標準數據,再進行存儲,形成大數據資產層,進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能復用的,它是企業業務和數據的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競爭優勢所在。

數據中臺主要提供三類服務:依賴接口的服務依賴工具的服務依賴數據的服務(包括垂直數據中心、公共數據中心和萃取數據中心)。

在這三種服務中,重點關注的是依賴於數據的服務,數據中臺具有大數據分析能力,並將該能力通過接口服務等方式對外提供。這一點是數據中臺與數據倉庫的最大區別,數據倉庫對外直接提供規整的數據分析能力,一般由BI工具或者大數據挖掘工具負責,而數據中臺直接將數據封裝成服務,以API等方式對外輸出。數據中臺原則上只提供通用的服務接口,個性化在業務層實現,簡化上層業務使用,提升對業務需求的響應效率。

「數據中臺」不是既有的專業術語,而是企業在持續思索「如何讓數據產生更多價值」的過程中,演變成型的一種管理理念。數據中臺並不是一個模板,不同的企業、不同的業務所需要的數據中臺並不相同,技術部門需要和業務部門協調,從企業的業務需求出發構建與企業相匹配的一套數據應用的流程機制。同時企業也需要有前瞻性,考慮到業務未來的發展和豐富性,傳統系統發展到數據中臺時需要考慮到擴展性,靈活性。

四、與資料庫、數據湖和BI的區別

1.數據中臺和BI

BI更多的是做了用數據展示工作,詳細內容請參考《一文講透商業智能BI到底是什麼 | 推薦收藏》,是在一種滯後的業務數據分析,而用數據管理工作,用數據推動工作(用人為的方式推動)做的很少,所以BI偏重分析;數據中臺則提出了數據滲透到整個業務的閉環中,用系統的方式推動工作,所以更實用和全面,並實時滲透到業務的全過程。

2.數據中臺與數據倉庫

數據中臺最核心的是OneData體系。這個體系實質上是一個數據管理體系,包括全局數據倉庫規劃、數據規範定義、數據建模研發、數據連接萃取、數據運維監控、數據資產管理工具等。數據倉庫是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合,出於分析性報告和決策支持目的而創建。

數據中臺是一個數據集成平臺,它不僅僅是為數據分析挖掘而建,它更重要的功能是作為各個業務的數據源,為業務系統提供數據和計算服務。數據中臺的本質就是「數據倉庫+數據服務中間件」。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前臺解決,這樣就避免了重複建設,既省時、省力,又省錢。

3.數據中臺與數據湖

數據的聚集、加工的目的也是為了數據的服務,但是數據湖泊只是解決了聚集問題,詳細內容請參考《什麼是數據湖?有什麼用?終於有人講明白了》,在數據加工方面由於不可控制的需求變得異常繁重,由於數據的繁雜和混亂引入數據治理讓數據的加工更是舉步維艱。

數據倉庫、數據湖泊、BI主要是是圍繞「讀」數據展開的,強調利用數據的能力,而不修改數據,而數據中臺則不單提供數據,同時強調圍繞數據的各種形式的服務,一旦涉及數據的「寫」,又想提供通用的服務,就變成了主數據管理了。但是站在靈活性上來說,數據中臺,主要解決的還是數據「讀」的能力的聚集和向多方賦能。

五、企業搭建數據中臺需要注意什麼

對於很多準備或者正在規劃商業智能BI項目的企業來說,業務分析需求的梳理是整個項目開始的第一步,往往也是最困難的,主要表現如下:業務部門往往提不出比較具體的分析需求,而IT部門很難深入到業務,也提不出適合業務部門的分析需求。BI項目需求分析涉及到很多部門,有的時候內部資源的溝通、協調都是很困難的...

圖為:DataHunter數據中臺 Data Formula

搭建數據中臺需要圍繞「規劃、治理、整合、共享」四步,將企業海量、多維的數據資產盤點、整合、分析、確保整個公司數據一致性和可復用性,為前臺提供數據資產、數據定製創新、數據監測與數據分析等服務,最終實現數據資產的價值最大化。在這裡需要注意:

(1)需要一把手重視,認識數據中臺價值,他們的業務模式數據是重要的支撐,是重要的推動力,而且從心底認知到技術不僅僅是服務業務,更是可以引領業務。從思想上也要認識到,基於客戶在不斷變化,個性化、社交化和高品質需求,企業需要所提供的體驗也必須實時在線,不斷改進;

(2)需要數據生態建設思維。數據生態體系的構建能夠為企業的管理、人才、銷售與夥伴,提供更好的競爭環境和,資源配置效率,實現可持續發展的戰略轉折。並通過開放式數據生態合作,創新連通上下遊產業鏈,保持存量市場,擴大增量市場;

(3)需要建立數據湖的概念,推動數據的3融合,5跨越的建設(技術融合、業務融合、數據融合,實現跨層級、跨地域、跨系統、跨部門、跨業務的協同管理和服務)。

在具體建設策略方面,企業應基於自身的業務戰略,選擇明確數據資產對象,由業務或應用(需求)驅動。數據中臺需要匯聚企業的內部數據、公開數據、線上數據和線下數據,比如內部數據包含企業的各業務系統中實時產的數據,如CRM、ERP等系統,記錄企業常 為數據;公開數據主要是通過爬等式抓取的數據,如電商站商品、社交站的戶評論等。 線上數據指通過SDK等式獲取的數據,主要是行動裝置上的戶為數據、LBS位置數 據等;線下數據指類是通過WIFI、藍探針獲取的數據,另類是公安、運營商、銀聯等價 值數據。

六、企業如何使用數據中臺

1.需要一份好用的企業數據資產目錄

數據中臺來源數據多樣、多源、多域,通過數據的清洗、分類整合拉通、維度匯總等,數據使用者想要了解數據的前世今生難度很大,需要有一份清晰的數據資產目錄,並能通過智能的搜索、推薦等方式滿足數據使用者快速找到合適的數據。

2.了解企業數據資產更多的關聯性

企業數據資產除了常用的各層模型數據,還有很多指標、報表、文檔、腳本等,都是數據資產的重要組成部分,如何便捷地把需求、數據等多種形態的數據資產拉通理解,對企業組織流程提出了更高要求。

3.在相同認知下進行交流和知識共享

數據中臺的數據整合、數據服務封裝等,打破了企業部門壁壘,形成了很多跨業務條線的數據服務、組件,數據使用者可使用數據的範圍較以往有極大擴展,如何讓數據使用者快速對新業務、新數據進行學習和積累,需要給數據使用者提供一種統一的界面對數據理解、數據使用方式等進行密切交流,及時互動。

4.需要一種新的合作方式來加快創新活動

為實現企業快速業務響應能力和規模化創新能力,數據使用者除了對跨業務條線數據、業務的學習和積累,還需要跨出部門界限,強強聯合。特別是當前金融科技創新、跨界競爭壓力不斷增強的情況下,企業急需藉助數據和分析的力量,創造一種與數據資產、用數環境密切關聯的創新流程,形成靈活試錯、快速驗證、敏捷開發的合作模式,以加快企業數據資產的變現能力。

數據中臺的建設是一個長期的過程,需要全企業組織、工作流程的密切配合與支持。數據中臺的價值體現,更加需要企業為數據使用者創造一種基於數據的協同工作模式,提高企業用數效率,為業務前臺快速提供有效的數據支撐和分析支撐,實現企業的用戶增長和業績增長。

七、小結

1.數據中臺是為解決「創新驅動快速變化」的前臺和「穩定可靠驅動變化周期相對較慢」的後臺之間的盾而存在的;

2.數據中臺是一種支持以用戶為中心的持續規模化的創新,並想方設法持續提高企業對於戶的響應;

3.數據中臺是企業業務能力模式從當前狀態逐步進化的一種企業架構方法論,它更重要的支撐是以共享為目標的「業務流程再造」和「業務組織重構」的過程。

第230篇 數據分析展示就用DataHunter

-End-

*參考資料:

【1】《為什麼掌握了海量數據的大企業,都想擁有數據中臺》浙電e家

【2】《華為、阿里都在說的中臺究竟是什麼》IDG資本

【3】《數據中臺的本質,終於有人說清楚了》御數坊

【4】《張涵誠:數據中臺十問十答》數據工匠俱樂部

【5】《從數據倉庫到數據中臺,為什麼還是用不好數據》八爪魚協同分析社區

關於 DataHunter

DataHunter 是一家專業的數據分析和商業智能服務提供商,註冊於2014年。團隊核心成員來自 IBM、Oracle、SAP 等知名公司,深耕大數據分析領域,具有十餘年豐富的企業服務經驗。

DataHunter 旗下核心產品智能數據分析平臺 Data Analytics、數據大屏設計配置工具 Data MAX已在業內形成自己的獨特優勢,並在各行業積累了眾多標杆客戶和成功案例。

成立以來,DataHunter就致力於為客戶提供實時、高效、智能的數據分析展示解決方案,幫助企業查看分析數據並改進業務,成為最值得信賴的數據業務公司。

相關焦點

  • 從數據中臺到AI中臺,企業到底要建什麼中臺?
    編輯導讀:中臺這個概念,有些人會覺得「不明覺厲」,其實它已經被各企業討論過無數遍了。中臺,是一個企業內部可以復用的技術平臺和共用的組織平臺。從這個概念引進開始,中臺經歷了不小的改變。本文將從三個方面,分析企業到底要建一個什麼樣的中臺,希望對你有幫助。
  • 2021中國(廣州)國際齒輪傳動及減變速機展覽會_易車網
    2021中國(廣州)國際齒輪傳動及減變速機展覽會時間:2021年9月16日至18日  地點:廣州-中國進出口商品交易會琶洲館C區同期活動:高效新變速裝置技術交流     如何優勝劣汰大力發展高效節能產品特邀單位:中國通用機械工業協會減變速機分會   中國減變速機行業協會機械工業減變速機標準化技術委員會
  • 製造業企業中臺建設思考與實踐
    中臺是什麼     在解讀中臺的概念之前我們先看一下「中臺」這個詞的來源。中臺很早的時候由美軍作戰體系演化而來。通過中後臺的強大炮火能力支持前線小團隊的快速判斷,引領整個進攻的完成。意味著讓聽得到炮火聲的人能及時呼喚到炮火。     對於「中臺到底是什麼」這個問題,不同的人不同的理解。
  • 變速齒輪機構主要包括哪些-合肥欣納
    變速齒輪機構主要包括行星齒輪機構和換擋執行機構兩部分。行星齒輪機構是自動變速箱的重要部件之一,主要由太陽齒輪、內齒圈、行星架和行星齒輪等部件組成。行星齒輪機構是一種實現變速的機構,速比的變化是通過採用不同的部件作為活動部件,限制不同部件的運動來實現的。
  • 自行車基礎知識,內變速系統和外置變速系統到底有多大的區別?
    目前的傳動系統主要是分為兩大類,一類是外置變速系統,一類是內變傳動系統。外置傳動系統外置傳動系統是市面上使用較多的一種傳動系統,對於內變速來說。外置變速系統,主要是通過外部拔鏈器。例如是前拔和後拔的作用拔動鏈條,從而改變鏈條的位置。所謂的改變鏈條位置,就是使鏈條掛在不同的飛輪上,或者是使鏈條掛在不同的牙盤碟片上,從而實現不同速度比之間的轉換。
  • 優秀企業推薦 | 小原齒輪工業株式會社
    作為標準齒輪的領先企業,今後我們以成為對應時代變化的全球性企業為目標,通過各種企業活動為客戶帶去「信賴」與「滿足」。200系列、20000種規格的標準齒輪產品,準確、迅速地送到客戶手中。・按小原齒輪獨自的規格標準化的200系列、20000種規格齒輪產品。・標準齒輪誕生半個世紀,凝聚了超過80年的傳統技術和品質的齒輪產品。
  • 拖拉機無極變速傳動系的應用分析
    國內中功率拖拉機如中國一拖、天拖等公司的系列拖拉機上基本沒有應用。機械變速機構為自動有級變速器。分、匯流機構為定軸齒輪傳動或行星齒輪傳動,從成本及實現難易來講,分流機構以定軸齒輪傳動居多,匯流機構以行星齒輪傳動居多,在拖拉機上用這種的較多。
  • 行星齒輪變速機構在新能源汽車中的應用
    行星輪繫結構介紹行星齒輪是指除了能像定軸齒輪那樣圍繞著自己的轉動軸轉動之外,它們的轉動軸還隨著行星架繞其它齒輪的軸線轉動的齒輪系統。繞自己軸線的轉動稱為「自轉」,繞其它齒輪軸線的轉動稱為「公轉」,就象太陽系中的行星那樣,因此得名。
  • 齒輪的應用及發展史,長知識!
    ,齒輪傳動的例子很多,比如機械手錶、鬧鐘走時機構、電風扇的搖頭機構、空調的擺風機構、自行車的鏈傳動和變速機構、洗衣機的變速機構、汽車的變速機構、工具機的變速機構、減速器等,都用到了齒輪傳動。 當主動軸的轉速不變時,利用輪系可以使從動軸獲得多種工作轉速,這種傳動稱為變速傳動。
  • 直觀演示齒輪組是如何工作的,計算齒輪傳動的齒輪比,漲知識了
    齒輪傳動是利用兩齒輪的輪齒相互嚙合傳遞動力和運動的機械傳動。在所有的機械傳動中,齒輪傳動應用最廣,可用來傳遞相對位置不遠的兩軸之間的運動和動力。
  • 數據中臺,將決定企業數位化轉型的深度與廣度
    什麼是數據中臺?「數據中臺」其實並不是既有的專業術語,而是人們為了兼顧前端和後端的迭代速度差而想出來的 Trade-off。企業的前端需要根據用戶的反饋、市場的需求快速迭代,而後端出於業務和管理的需要,系統較為穩定。在數位化轉型的過程中,此二者的靈活與穩重如若無法協調,將成為企業數位化轉型道路上無法跨越的砍。
  • 中臺詳解(上)——什麼是中臺
    編輯導語:中臺這一概念,這兩年在國內大熱,不少企業接連開始組織架構的調整,意圖建設中臺;中臺到底是什麼?哪類企業可以搭建中臺?本文作者對中臺進行了非常詳細的分析,我們一起來看一下。
  • 一圖讀懂華陽變速:汽車變速器零部件製造企業 客戶有東風汽車
    新三板創新層公司華陽變速(839946),為汽車變速器零部件製造企業。據介紹,公司主要從事商用車變速器零部件的研發、生產與銷售。通過鋁合金應用、結構優化、熱成型以及模塊化設計等技術實現汽車零部件的輕量化。公司與東風汽車公司、神龍汽車有限公司、陝西法士特齒輪有限責任公司等客戶建立了良好的配套合作關係。
  • 解析:MT、AMT、AT、CVT、DSG變速箱到底是什麼意思
    今天車大爺就來說說變速箱,常見的有MT、AMT、AT、CVT、DSG,那到底有何區別呢?一般新手在買車時候會糾結到底是買AT還是MT(自動擋、手動擋),其次是知名的DSG(雙離合變速箱)市面上的變速箱種類也很多,各有各的優點和缺點。接下來我們就來介紹一下變速箱知識。
  • 2015亞洲國際齒輪(上海)展覽會
    在面對國際市場上越來越激烈的競爭中,對企業來說要不斷吸收新的知識和技術,適當調整產品的產銷理念,適應當前的發展格局。     本次大會將以「突出品牌、開拓創新、注重實效,強化服務」的辦展宗旨,憑藉獨特的創意,科學合理的整合傳播和卓越的服務,以全新的理念為廣大參展企業提供「高水準,高品位,高質量」的展示交流舞臺,打造集行業內最具規模,最有價值和最具權威的盛會。
  • DIATEST齒輪測量儀-DIACOME內外齒輪測量臺的工作原理
    DIATEST齒輪測量儀-DIACOME內外齒輪測量臺簡介內外測量系統是DIATEST最新開發的產品,可以快速在內齒,外齒,內徑,外徑測量形式中切換。測量高度可以調節,豐富的附件選擇,滿足使用者的測量需求。別名:跨棒距測量儀、棒間距測量儀
  • 腦洞大開的發明——行星齒輪組
    行星齒輪除了能像定軸齒輪那樣圍繞著自己的轉動軸(B-B)轉動之外,它們的轉動軸還隨著藍色的支架(稱為行星架)繞其它齒輪的軸線(A-A)轉動。
  • 數據中臺的雲原生機會
    在矽谷,雖然沒有數據中臺的說法,但從2005年前後,Google、Facebook、Twitter等很多科技公司都開始構建自己的大數據平臺,這些大數據平臺都包含了類似現在數據中臺的功能,都是解決企業數據能力的抽象、共享與復用的難題。其中,今年9月登陸納斯達克的Snowflake,其實做的就是大數據平臺中的一個細分層:數據倉庫。
  • 淘寶雙十一的背後,是阿里強大的數據中臺
    其中就離不開阿里耗費多年精力構建的數據中臺,並且筆者認為,在數據大屏上,體現了阿里數據中臺以下的能力:數據存儲能力:在處理數據之前,首先是要收集用戶的數據並進行存儲,在淘寶這款億量級APP上,存儲的數據是海量的,體現了阿里中臺的數據存儲能力。
  • 齒輪掌控者,手動思域的純粹與情懷|CAR PEOPLE
    任何車輛都離不開傳動機構的加持,而傳動機構的核心零件就是齒輪。齒輪間不斷嚙合與分離,正是那看似冰冷的機械最富有生機的一面。相信包括天諮在內的每一名理工科男生,骨子裡都流淌著「汽車人」的血液。他們希望,有朝一日能夠親自掌控不同齒輪間的切換時機,並享受它們嚙合時傳出的美妙聲調。