來源：時刻頭條
數據中臺作為數字經濟時代的新基建,能夠幫助企業搭建數據信息於一體、開放共享、安全可靠的數據共享中心,最終實現數據驅動業務的新模式。9月17日,行業領先的企業數位化基礎設施供應商袋鼠雲,聯合愛分析在杭州西溪賓館首次舉辦了2020DDIC數智+行業峰會暨數棧戰略發布會。本次峰會由浙江省工業和信息化研究院、長三角數字經濟產業聯盟、浙江大學智雲實驗室、杭州數字經濟聯合會、未來科技鯤鵬企業聯盟為指導單位,36氪、極客學院、雙態IT聯盟、B.P數字生態商學院協辦。規模宏大,話題前沿,從技術到方法論再到實踐,亮點頗多。其中,數棧DTinsight4.0:雲原生數據中臺產品發布更是成為全場焦點之一。
累計數億元研發投入,近五年全身心迭代打磨數棧DTinsight4.0具備天生雲原生、自研核心引擎、金融級安全三大特性,覆蓋數據源採集、離線計算、實時計算、數據挖掘、數據治理、數據資產管理、數據共享服務等整個數據中臺生命周期。袋鼠雲數棧事業部總經理閔佳在《數棧DTinsight4.0:雲原生數據中臺產品發布》中表示:數棧DTinsight要成為中國企業數位化首選平臺。
採用微服務架構的數棧DTinsight4.0滿足複雜性和多元性的環境
雲原生
在考慮到客戶環境的複雜性和多元性後,數棧DTinsight4.0採用了微服務的架構,把各個子產品之間解耦化,每個產品內部服務也會按照一定邏輯進行拆開,從而採用標準化的容器方式進行產品部署,可以實現30分鐘完成產品的交付。實現彈性擴容則是天生雲原生的特點之二,可以根據不同時間點,計算集群的負載情況,自動擴容,這樣就可以很好地提升資源利用率。天生雲原生的特點之三,是存儲計算分離,可以有效解決很多場景下對於計算資源和存儲資源要求不匹配,以及資源利用不均衡的弊端。同時數棧DTinsight4.0也實現了調度的統一化,幾大開發平臺全部採用容器化方式做調度,能夠保證不同任務之間的隔離性和安全性。服務API化是天生雲原生的第四大特點,數棧DTinsight4.0中採用了聲明式API方式,執行效率更高,可為後續的持續產品迭代留非常大的升級空間。
袋鼠雲數棧事業部總經理 閔佳發布數棧DTinsight4.0
自研核心引擎
自研核心引擎包括FlinkX、DAGSchedulerX和EasyManager。引擎FlinkX實現了分布式同步,一種框架可以去支持實時採集和離線採集兩種場景要求,可以實現100%以上的開發和管理效率的提升。DAGSchedulerX在單臺兩核CPU 8G內存的配置下,可以實現百萬級任務的並發調度,並可支持幾十種任務在平臺上調度,保證任務的穩定運行。同時可以實現對新引擎、新版本的快速兼容,實現10倍以上兼容效率的提升。
金融級安全
金融級安全也是袋鼠雲一直持續打造的產品核心能力。數棧DTinsight4.0通過多數據中心容災的方式,可以實現零數據的丟失,並基於多集群、多租戶、多項目的管控方式,實現數據資源的隔離,保證數據安全。同時,通過數據層加密、脫敏等手段,實現數據的可收、可管。另外,由於在很多場景下,當面臨大規模任務調度時,數棧DTinsight4.0可以自動做到計算資源的彈性擴展,這樣可以保證集群穩定運行的同時,還可以讓任務及時獲取到足夠的資源,及時運行出結果,支撐數據業務的發展。而對一些高危操作,比如刪表或者下線任務,數棧DTinsight4.0後臺都會做到自動預警,保證整個平臺的安全性。
歷經5年,四次版本飛躍
袋鼠雲成立至今一直在結合市場需求變化對數據中臺產品數棧DTinsight進行打磨,近5年來數棧DTinsight經歷了幾百次迭代、四次版本飛躍。
在產品研發和迭代過程當中,袋鼠雲除了做好產品本身的功能迭代和場景迭代之外,也非常重視和強化產品的基礎能力、技術能力。數棧從1.0到4.0逐步打造數據平臺化核心能力、數據資產化核心能力、數據服務化核心能力、算法智能核心能力,真正擁有自主可控的雲原生數據中臺核心技術。
可應用的數智場景可以布局到眾多行業生態中
致力於成為雲原生數據中臺基礎設施的數棧DTinsight可以應用到眾多數智場景,數據化運營、智能化應用、可視化大屏、數據化運維等,這些可應用的數智場景可以布局到眾多行業生態中,金融、零售、政務、電力、工業、農業、文旅、教育等。而在此次峰會中,就有來自各個行業的負責人分享了數棧應用的實例。華夏銀行杭州分行信息科技部負責人朱蕭峰表示,銀行業目前都採用系統集中、數據集中的模式,對分行的管理存在「一收就死、一放就亂」的問題。與袋鼠雲共創的分行數據集市應用雲平臺,具備完善的大數據工具鏈,採用總分2級架構設計,滿足總行管理+分行靈活的需求,在此基礎上,定製了一鍵數據下發、模型管理與OLAP加速、集成BI等功能。平臺上線後,徹底改變了總行數據下發的工作過程,真正做到了數據的集中存儲與管理,同時在集群運維方面釋放了分行的精力,大幅提升了分行的數據應用開發效率。
招商證券相關負責人也表示:隨著證券交易數據越來越多,證券公司需要對數據進行實時計算和實時監控,進而快速處理問題、響應客戶。基於此,招商證券對於客戶統一識別、帳戶查詢、反洗錢、客戶運營等方面有了更高、更新的要求。袋鼠雲基於數棧DTinsight幫助客戶構建實時數倉,實時匯聚證券交易、融資融券、個股期權等多個領域數據流,推進企業UCM(統一客戶模型)體系構建,解決超大規模數據計算問題,滿足秒級響應需求,快速響應各業務系統數據應用需求。招商證券只需要關注業務邏輯及數據建模,通過SQL化開發,可快速響應業務部門實時數據需求。基於數棧DTinsight平臺,招商證券進行實時數據開發的效率提升2倍以上,實時任務排錯及解決時間減少了80%,實時業務消費數據的時效從秒級提升到毫秒級。
數棧DTinsight4.0,賦能企業智能化轉型
數字正在積極改變人類生產生活方式,深刻改變社會治理能力,已經成為中國新時代最鮮明的標誌。可以這樣說,以數字經濟帶來產業變革,已經成為中國經濟從速度型向創新型跨越的重要動力。發展數字經濟,已經成為這個時代最大的共識。歷經5年不斷的打磨和迭代,數棧DTinsight4.0的到來,將會賦能數字經濟,加速企業數位化轉型,助力企業搶佔新時代的至高點。