△藍字可關注並標星
-數據分析展示就用DataHunter-
在二戰時期,美軍是以龐大的軍隊為單位作戰;到了越戰時,以營為單位作戰;到了中東戰鬥的時候,以7人或者11人的極小班排去作戰,這就是今天具備最強核心競爭力和打擊能力的組織。而美軍之所以能靈活作戰,敢放這麼小的團隊到前方,是因為有非常強的中臺能力,這些能力包括戰鬥直升機、艦炮遠程支援、戰術飛彈系統、戰鬥機支援體系等,這些能力能支持小團隊快速做判斷,並且引領整個炮火覆蓋和定點清除。
而對比今天多變的市場競爭環境,企業也正在尋找像美軍一樣具備創新性、靈活性的中臺能力。今天我們就從以下幾個方面來說說數據中臺:
1.數據中臺產生的歷史背景
2.數據中臺對企業有什麼價值
3.到底什麼是數據中臺
4.數據中臺與資料庫、數據湖和BI有什麼區別
5.企業搭建數據中臺需要注意什麼
6.企業如何使用數據中臺
一、數據中臺產生的歷史背景
數據從軟體誕生的那一天開始就存在,但是,數據並不是第一天就被存儲和利用的。在信息化時代,企業早期通過流程來進行生產和管理,流程是預先設計好的,然後在設計好的流程中產生了數據。比如現在銷售部門依賴於CRM(客戶關係管理平臺),售後部門主要看客服系統,市場營銷部門關心微信平臺,數據分析團隊使用各類數據分析工具…在這個過程中,各個企業分別都在用不同的方式來儘可能的利用數據產生的價值。
但是隨著企業為了適應需求端(市場和消費者)的變化,早期工具各自產生新的、孤立的、片面的客戶數據,卻無法快速同步,甚至團隊之間還懷疑對方數據是否正確。因此,企業急需調整和改革供應端(生產製造和供應鏈),也就是需要一個統一真實的數據源來描述客戶,而不是任由客戶的不同維度數據由不同部門各自存儲,於是在這樣的場景下數據中臺應運而生。數據中臺跟之前大數據平臺最大的區別,在於數據中臺距離業務更近,能更快速地響應業務和應用開發的需求,可追溯,更精準。
圖為:DataHunter數據中臺 Data Formula
數據中臺的概念是最早由阿里巴巴首次提出,是為了應對像雙十一這樣的業務高峰、應對大規模數據的線性可擴展問題、應對複雜業務系統的解耦問題,而在技術、組織架構等方面採取的一些變革,其本質上還是一個平臺,阿里稱之為「共享服務平臺(Shared Platform as Service,SPAS)」。SPAS採用的是基於面向服務的架構SOA理念的 「去中心化」的服務架構,所有的服務都是以「點對點」的方式進行交互。阿里之所以選擇「去中心化」的分布式服務架構,主要是考慮到擴展性。
二、數據中臺對企業有什麼價值
數據中臺對一個企業,起著至關重要的作用,可以讓數據在數據平臺和業務系統之間形成了一個良性的閉環。為什麼這麼說呢,不得不提到兩個概念「前臺」和「後臺」。
前臺是由各個應用組成的前端系統平臺。前端系統直接觸達用戶,通過前臺,企業與最終用戶直接進行信息交互。例如,企業搭建的電子商務網站、門戶網站、手機APP、微信公眾號等都屬於前臺。後臺是由各個業務管理系統組成的後端平臺。每個後臺業務系統管理了企業的一塊業務,例如,財務系統、產品系統、客戶管理系統、倉庫物流管理系統等。基礎設施、存儲和計算平臺作為企業的核心計算資源,也屬於後臺的一部分。
因為企業後臺往往並不能很好的支撐前臺快速創新響應用戶的需求,後臺更多解決的是企業管理效率的問題,而中臺要解決的才是前臺的創新問題。此時的前臺和後臺就像是兩個不同轉速的齒輪,前臺由於要快速響應前端用戶的需求,講究的是快速創新迭代,所以要求轉速越快越好;但後臺由於面對的是相對穩定的後端資源,而且往系統陳舊複雜,甚至還受到法律法規審計等相關合規約束,所以往往是穩定至上,越穩定越好,轉速也自然是越慢越好。
所以,隨著企業務的不斷發展,這種「前臺+後臺」的雙輪速率「匹配失衡」的問題就逐步顯現出來。隨著企業業務的發展壯大,因為後臺修改的成本和風險較大,所以驅使我們會儘量選擇保持後臺系統的穩定性,但還要響應用戶持續不斷的需求,自然就會將大的業務邏輯(業務能)直接塞到前臺系統中,引入重複的同時還會致使前臺系統不斷膨脹,變得臃腫,形成了一個個滾球的「煙囪式單體應用」。漸漸拖垮前臺系統的「客戶響應力」,用戶滿意度降低,企業競爭也隨之不斷下降。
而中臺連結了前臺用戶與後臺核心資源,既可以將早已臃腫不堪的前臺系統中的穩定通用業務能力「沉降」到中臺層,為前臺減肥,實施「大中臺,小前臺」戰略,恢復前臺的響應力。前臺可以快速生成各種微應用;又可以將後臺系統中需要頻繁變化或是需要被前臺直接使用的業務能力「提取」到中臺層,賦予這些業務能力更強的靈活度和更低的變更成本,從而為前臺提供更強大的「能力炮火」援。
中臺就像是在前臺與後臺之間添加的一組「變速齒輪」,將前臺與後臺的速率進行匹配,是前臺與後臺的橋梁。它為前臺而生,易於前臺使用,將後臺資源順滑流向用戶,響應用戶。
三、到底什麼是數據中臺
數據中臺是指通過數據技術,對海量數據進行採集、計算、存儲、加工,同時統一標準和口徑。數據中臺把數據統一之後,會形成標準數據,再進行存儲,形成大數據資產層,進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能復用的,它是企業業務和數據的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競爭優勢所在。
數據中臺主要提供三類服務:依賴接口的服務、依賴工具的服務和依賴數據的服務(包括垂直數據中心、公共數據中心和萃取數據中心)。
在這三種服務中,重點關注的是依賴於數據的服務,數據中臺具有大數據分析能力,並將該能力通過接口服務等方式對外提供。這一點是數據中臺與數據倉庫的最大區別,數據倉庫對外直接提供規整的數據分析能力,一般由BI工具或者大數據挖掘工具負責,而數據中臺直接將數據封裝成服務,以API等方式對外輸出。數據中臺原則上只提供通用的服務接口,個性化在業務層實現,簡化上層業務使用,提升對業務需求的響應效率。
「數據中臺」不是既有的專業術語,而是企業在持續思索「如何讓數據產生更多價值」的過程中,演變成型的一種管理理念。數據中臺並不是一個模板,不同的企業、不同的業務所需要的數據中臺並不相同,技術部門需要和業務部門協調,從企業的業務需求出發構建與企業相匹配的一套數據應用的流程機制。同時企業也需要有前瞻性,考慮到業務未來的發展和豐富性,傳統系統發展到數據中臺時需要考慮到擴展性,靈活性。
四、與資料庫、數據湖和BI的區別
1.數據中臺和BI
BI更多的是做了用數據展示工作,詳細內容請參考《一文講透商業智能BI到底是什麼 | 推薦收藏》,是在一種滯後的業務數據分析,而用數據管理工作,用數據推動工作(用人為的方式推動)做的很少,所以BI偏重分析;數據中臺則提出了數據滲透到整個業務的閉環中,用系統的方式推動工作,所以更實用和全面,並實時滲透到業務的全過程。
2.數據中臺與數據倉庫
數據中臺最核心的是OneData體系。這個體系實質上是一個數據管理體系,包括全局數據倉庫規劃、數據規範定義、數據建模研發、數據連接萃取、數據運維監控、數據資產管理工具等。數據倉庫是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合,出於分析性報告和決策支持目的而創建。
數據中臺是一個數據集成平臺,它不僅僅是為數據分析挖掘而建,它更重要的功能是作為各個業務的數據源,為業務系統提供數據和計算服務。數據中臺的本質就是「數據倉庫+數據服務中間件」。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前臺解決,這樣就避免了重複建設,既省時、省力,又省錢。
3.數據中臺與數據湖
數據的聚集、加工的目的也是為了數據的服務,但是數據湖泊只是解決了聚集問題,詳細內容請參考《什麼是數據湖?有什麼用?終於有人講明白了》,在數據加工方面由於不可控制的需求變得異常繁重,由於數據的繁雜和混亂引入數據治理讓數據的加工更是舉步維艱。
數據倉庫、數據湖泊、BI主要是是圍繞「讀」數據展開的,強調利用數據的能力,而不修改數據,而數據中臺則不單提供數據,同時強調圍繞數據的各種形式的服務,一旦涉及數據的「寫」,又想提供通用的服務,就變成了主數據管理了。但是站在靈活性上來說,數據中臺,主要解決的還是數據「讀」的能力的聚集和向多方賦能。
五、企業搭建數據中臺需要注意什麼
對於很多準備或者正在規劃商業智能BI項目的企業來說,業務分析需求的梳理是整個項目開始的第一步,往往也是最困難的,主要表現如下:業務部門往往提不出比較具體的分析需求,而IT部門很難深入到業務,也提不出適合業務部門的分析需求。BI項目需求分析涉及到很多部門,有的時候內部資源的溝通、協調都是很困難的...
圖為:DataHunter數據中臺 Data Formula
搭建數據中臺需要圍繞「規劃、治理、整合、共享」四步,將企業海量、多維的數據資產盤點、整合、分析、確保整個公司數據一致性和可復用性,為前臺提供數據資產、數據定製創新、數據監測與數據分析等服務,最終實現數據資產的價值最大化。在這裡需要注意:
(1)需要一把手重視,認識數據中臺價值,他們的業務模式數據是重要的支撐,是重要的推動力,而且從心底認知到技術不僅僅是服務業務,更是可以引領業務。從思想上也要認識到,基於客戶在不斷變化,個性化、社交化和高品質需求,企業需要所提供的體驗也必須實時在線,不斷改進;
(2)需要數據生態建設思維。數據生態體系的構建能夠為企業的管理、人才、銷售與夥伴,提供更好的競爭環境和,資源配置效率,實現可持續發展的戰略轉折。並通過開放式數據生態合作,創新連通上下遊產業鏈,保持存量市場,擴大增量市場;
(3)需要建立數據湖的概念,推動數據的3融合,5跨越的建設(技術融合、業務融合、數據融合,實現跨層級、跨地域、跨系統、跨部門、跨業務的協同管理和服務)。
在具體建設策略方面,企業應基於自身的業務戰略,選擇明確數據資產對象,由業務或應用(需求)驅動。數據中臺需要匯聚企業的內部數據、公開數據、線上數據和線下數據,比如內部數據包含企業的各業務系統中實時產的數據,如CRM、ERP等系統,記錄企業常 為數據;公開數據主要是通過爬等式抓取的數據,如電商站商品、社交站的戶評論等。 線上數據指通過SDK等式獲取的數據,主要是行動裝置上的戶為數據、LBS位置數 據等;線下數據指類是通過WIFI、藍探針獲取的數據,另類是公安、運營商、銀聯等價 值數據。
六、企業如何使用數據中臺
1.需要一份好用的企業數據資產目錄
數據中臺來源數據多樣、多源、多域,通過數據的清洗、分類整合拉通、維度匯總等,數據使用者想要了解數據的前世今生難度很大,需要有一份清晰的數據資產目錄,並能通過智能的搜索、推薦等方式滿足數據使用者快速找到合適的數據。
2.了解企業數據資產更多的關聯性
企業數據資產除了常用的各層模型數據,還有很多指標、報表、文檔、腳本等,都是數據資產的重要組成部分,如何便捷地把需求、數據等多種形態的數據資產拉通理解,對企業組織流程提出了更高要求。
3.在相同認知下進行交流和知識共享
數據中臺的數據整合、數據服務封裝等,打破了企業部門壁壘,形成了很多跨業務條線的數據服務、組件,數據使用者可使用數據的範圍較以往有極大擴展,如何讓數據使用者快速對新業務、新數據進行學習和積累,需要給數據使用者提供一種統一的界面對數據理解、數據使用方式等進行密切交流,及時互動。
4.需要一種新的合作方式來加快創新活動
為實現企業快速業務響應能力和規模化創新能力,數據使用者除了對跨業務條線數據、業務的學習和積累,還需要跨出部門界限,強強聯合。特別是當前金融科技創新、跨界競爭壓力不斷增強的情況下,企業急需藉助數據和分析的力量,創造一種與數據資產、用數環境密切關聯的創新流程,形成靈活試錯、快速驗證、敏捷開發的合作模式,以加快企業數據資產的變現能力。
數據中臺的建設是一個長期的過程,需要全企業組織、工作流程的密切配合與支持。數據中臺的價值體現,更加需要企業為數據使用者創造一種基於數據的協同工作模式,提高企業用數效率,為業務前臺快速提供有效的數據支撐和分析支撐,實現企業的用戶增長和業績增長。
七、小結
1.數據中臺是為解決「創新驅動快速變化」的前臺和「穩定可靠驅動變化周期相對較慢」的後臺之間的盾而存在的;
2.數據中臺是一種支持以用戶為中心的持續規模化的創新,並想方設法持續提高企業對於戶的響應;
3.數據中臺是企業業務能力模式從當前狀態逐步進化的一種企業架構方法論,它更重要的支撐是以共享為目標的「業務流程再造」和「業務組織重構」的過程。
第230篇 數據分析展示就用DataHunter
-End-
*參考資料:
【1】《為什麼掌握了海量數據的大企業,都想擁有數據中臺》浙電e家
【2】《華為、阿里都在說的中臺究竟是什麼》IDG資本
【3】《數據中臺的本質,終於有人說清楚了》御數坊
【4】《張涵誠:數據中臺十問十答》數據工匠俱樂部
【5】《從數據倉庫到數據中臺,為什麼還是用不好數據》八爪魚協同分析社區
關於 DataHunter
DataHunter 是一家專業的數據分析和商業智能服務提供商,註冊於2014年。團隊核心成員來自 IBM、Oracle、SAP 等知名公司,深耕大數據分析領域,具有十餘年豐富的企業服務經驗。
DataHunter 旗下核心產品智能數據分析平臺 Data Analytics、數據大屏設計配置工具 Data MAX已在業內形成自己的獨特優勢,並在各行業積累了眾多標杆客戶和成功案例。
成立以來,DataHunter就致力於為客戶提供實時、高效、智能的數據分析展示解決方案,幫助企業查看分析數據並改進業務,成為最值得信賴的數據業務公司。