數據中臺、數據湖到底是怎麼回事兒?

2020-12-09 datafuntalk

導讀:12月20日,09:00-12:40受DataFunTalk組委會邀請,愛奇藝技術副總裁孫斌老師將擔任DataFunTalk年終大會大數據應用實踐論壇的出品人,並邀請來自愛奇藝、bilibili、網易、小米等公司的5位嘉賓,就數據中臺、數據湖等大數據應用實踐話題進行分享,感興趣的小夥伴歡迎上車!

01

論壇及日程

論壇報名

02

詳細介紹

出品人:

孫斌

愛奇藝 | 技術副總裁

孫斌,愛奇藝技術副總裁。負責愛奇藝的商業智能、大數據、智能製作等部門和方向。在網際網路產品設計和研發方面有十多年經驗,曾就職於微軟、hulu、雅虎等公司,也曾在國內知名網際網路公司負責過創業項目。

分享嘉賓:

郭磊濤

愛奇藝 | 資料庫和中間件負責人

郭磊濤,愛奇藝資料庫和中間件服務負責人。2007年博士畢業於中國科技大學計算機系,進入中國移動研究院負責大數據平臺的建設,2014年加入愛奇藝負責資料庫內核、中間件及運維系統的研發,熱衷於 Hadoop 生態系統優化和高效運維架構。

演講議題:基於大數據技術構建愛奇藝全鏈路監控平臺

演講議題介紹:為了適應業務的快速迭代和創新,並支撐海量的用戶請求,愛奇藝各系統的架構和調用鏈路拓撲越來越複雜。如何構建高效易用的全鏈路監控平臺,快速甄別調用鏈路上的故障及風險點,成為保障服務穩定性的關鍵問題。基於大數據相關的日誌採集、Kafka、Flink實時分析、Elasticsearch、HBase和Druid等技術和組件,構建了愛奇藝全鏈路監控平臺,通過調用依賴關係分析、服務間調用關係指標、程序異常分析、日誌關聯查詢等功能,有效提高了鏈路故障和風險的定位和解決效率。本次議題將重點介紹愛奇藝全鏈路監控平臺的架構及相關大數據技術的應用實踐經驗。

鄭志升

bilibili | 實時平臺負責人

鄭志升,大數據實時體系負責人,加入B站前曾任職於阿里巴巴。主導涵蓋「數據埋點-實時傳輸接入-實時計算-開發應用」全鏈路的中臺建設,目前重點關注實時(含增量)的傳輸與計算,實時機器學習等方向。

演講議題:數據湖的初步探索與實踐落地

演講議題介紹:

1. 數據ETL的痛點

2. 基於數據湖的增量ETL

3. 增量Append及Upsert的實現

4. 未來展望

聽眾收益:

1. 了解數據湖在數倉體系的一些落地應用場景

2. 了解如何基於Flink+HUDI構建一套通用的ETL增量管道

3. 了解數據在萬億規模下如何打造高性能和高可用的綜合型ETL管道化服務

新技術/實用技術點:Flink、HUDI、數據湖、增量數倉

馬金韜

愛奇藝 | 數據中臺負責人

馬金韜,目前就職於愛奇藝,負責數據中臺的規劃、建設和推廣工作,前後在360、百度和阿里巴巴等多家公司從事廣告和大數據相關工作,目前主要關注大數據技術生態、發展方向和業務價值實現等方向。

演講議題:愛奇藝數據中臺的建設實踐

演講議題介紹:隨著市場對數據價值的認可,促進了數據在各行各業的爆發式增長,以及大數據設施的快速演化,同時也帶來了不少新的數據問題;解決這些問題,發揮更大的數據價值,成為了各大公司的重點工作。愛奇藝通過數據中臺的建設和實施,發揮通用化、中心化、服務化和標準化等能力和特點,將數據能力覆蓋到公司任何角落,賦能業務發展,並通過加深數據AI化等新的技術方式,對數據價值進行深度探索;本次分享將從數據中臺的概念、架構、建設理念等角度切入,對關鍵組成部分進行深入介紹,讓大家能夠在理解中臺的同時,了解到如何通過中臺解決問題,幫助業務挖掘數據價值。

聽眾收益:理解數據中臺,了解如何通過中臺解決問題,清楚結合業務場景的方式。

新技術/實用技術點:數據中臺、統一數倉+、統一服務等。

汪勝

網易 | 資深大數據開發工程師

汪勝,網易資深大數據開發工程師,Apache Impala committer。於2016年畢業加入網易,從事OLAP系統開發,目前負責網易大數據Impala&Kylin系統的相關工作。

演講議題:Impala在網易的實踐2.0

演講議題介紹:本次分享主要介紹了Impala在網易的一些新實踐,包括Impala對接Iceberg、Impala對接Alluxio等,以及未來的一些簡單規劃。

聽眾收益:可以了解到Impala的一些新特性,通過結合實際的業務需求,對實踐有一定的幫助。

新技術/實用技術點:Impala、Iceberg

姚青林

小米 | 高級軟體工程師

姚青林,小米數據工場負責人。負責數據開發管理系統、元數據系統、數據質量系統、數據隱私管理等相關平臺的架構與研發工作。在大數據領域有多年從業經驗。

演講議題:Doris 在小米數據中臺中的實踐

演講議題介紹:本次分享主要集中在小米在數據中臺建設中,選擇使用Doris的過程、原因、以及定位。會詳細介紹 Doris 的架構、適用的場景、成本節省等方面。最後會介紹我們期望的Doris未來的發展方向,展望雲上Doris。

聽眾收益:了解小米數據中臺建設過程中的最佳實踐,Doris在其中的作用

新技術/實用技術點:Doris、數據中臺、Interactive/Batch/Streaming processing

03

論壇報名

相關焦點

  • 數據倉庫、數據集市、數據湖、數據中臺到底有啥區別?都得做嗎?
    數據倉庫和集市的概念理解了,其他一些相關問題也就迎刃而解,比如為什麼有了數據倉庫還要建數據集市?等等。那什麼是數據湖呢?數據湖至今仍然沒有一個特別標準的概念,各種概念中,比較統一的一點是數據湖存儲的是未經加工的原始數據,包含結構化和非結構化的各類數據。
  • 終於有人把數據中臺講明白了
    通過數據中臺提供的方法和運行機制,形成匯聚整合、提純加工、建模處理、算法學習,並以共享服務的方式將數據提供給業務使用,從而與業務聯動。 再者,結合業務中臺的數據生產能力,最終構建數據生產—消費—再生的閉環。為了更好地理解數據中臺,我們將其與數據倉庫、數據湖、BI、大數據等相關概念進行對比。
  • 數據中臺總領數位化轉型?明略科技提出不一樣的方法論
    自阿里最早在2015年推出「中臺」概念以來,中臺和數據中臺就迅速中國市場躥紅,以至於Gartner在《2020中國ICT技術成熟度曲線》中首次增加了「數據中臺」和「中臺架構」這兩大新興技術。
  • 胡一天自曝名字由來媽媽愛打麻將 到底是怎麼回事兒
    胡一天自曝名字由來媽媽愛打麻將 到底是怎麼回事兒時間:2018-02-20 16:49   來源:鳳凰網   責任編輯:毛青青 川北在線核心提示:原標題:胡一天自曝名字由來媽媽愛打麻將 到底是怎麼回事兒 胡一天曾對媒體解釋過自己名字的由來,因為媽媽愛打麻將,牌技也非常好,一打一起來就是打一天,所以交給他取名叫胡一天,寓意媽媽能夠打麻將胡一天
  • 數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體
    有人說數據湖是下一代大數據平臺,各大雲廠商也在紛紛的提出自己的數據湖解決方案,一些雲數倉產品也增加了和數據湖聯動的特性。但是數據倉庫和數據湖的區別到底是什麼,是技術路線之爭?是數據管理方式之爭?二者是水火不容還是其實可以和諧共存,甚至互為補充?
  • 維修師傅口中常說的發動機失火,到底是怎麼回事兒?主要原因在這
    維修師傅口中常說的發動機失火,到底是怎麼回事兒?主要原因在這視頻地址:評論:0維修師傅口中常說的發動機失火,到底是怎麼回事兒?主要原因在這1/ 5維修師傅口中常說的發動機失火,到底是怎麼回事兒?主要原因在這猜你喜歡維修師傅口中常說的發動機失火,到底是怎麼回事兒?
  • 理想的「數據中臺」,是否真的存在?
    從2016年淘係數據公共層改造完成後,隨後的兩年裡,數據中臺開始發揮它的為例,阿里的數據能力獲得了飛速的提升。自2018年下半年開始,騰訊、百度、字節、美團等網際網路巨頭,也紛紛加入中臺改革的隊列中。一時間,「中臺」如「網際網路+」一樣,得到了無數從業者的熱捧。
  • 裝臺大雀兒結局是什麼揭秘 裝臺大雀兒最後死了嗎怎麼死的
    《裝臺》大雀兒最後是怎麼死的?看過原著的觀眾都知道,大雀兒這個角色最後生病去世了,很讓人心疼,他身上的秘密也就此揭開了,下面我們一起來看看吧。如果本劇按照原著故事線走的話,大雀兒最後死於心臟病,大雀兒原來就有心臟病,什麼時候得上的誰也不知道。
  • 打造券商研究中臺,建設數據應用新生態——證券業數據治理與數據...
    即打造券商研究中臺,建立面向業務場景的專業數據倉庫,賦能分析師,對外輸出標準化產品。(一)融合多源異構數據券商研究中臺,是從證券公司數據中心中獨立封裝成的一個面向研究業務場景的數據湖,各類來自第三方數據供應商的數據能夠被融合到一起,成為前端系統的底層數據支撐。
  • 裝臺大雀兒結局是什麼揭秘 大雀兒最後死了嗎怎麼死的
    《裝臺》大雀兒最後是怎麼死的?看過原著的觀眾都知道,大雀兒這個角色最後生病去世了,很讓人心疼,他身上的秘密也就此揭開了,下面我們一起來看看吧。如果本劇按照原著故事線走的話,大雀兒最後死於心臟病,大雀兒原來就有心臟病,什麼時候得上的誰也不知道。
  • 我想告訴你 「愛是怎麼一回事兒」
    幸福雖然不是生活的全部但每個人都應該知道獲得幸福的路徑是什麼小編通過自己的洞察獲得了一些啟發用下面的五個愛情方程式告訴你 "愛是怎麼一回事兒▲心動也許就是體內的一場化學反應▲在愛情中,每個人都經歷過一段告白,有忐忑、不安,卻飽含真心和勇氣。我準備好了最抒情的語言在這裡,等著你…
  • 裝臺大雀兒結局是什麼 原著小說中大雀兒最後怎麼死的
    據悉,《裝臺》原著結局中,大雀兒得病去世了,在預告片中也可以看到這一幕。大雀兒是一個靠出賣身體健康換錢的人,非常極端,這個人為了省幾塊錢就洗涼水澡,幹活大晚上不睡覺去出大力,白天也是一個人幹兩個人的活,總是在透支自己的健康,為後來得病埋下了伏筆。
  • 談數據:微服務環境下,數據如何治理?
    小夥伴兒向我抱怨:「數據中臺可不就得建一個集中管理數據資產的平臺,實現數據資源的匯集、治理、編目、標籤化,然後再根據業務部門的用數需求形成數據服務,提供給其他系統調用嗎?數據不集中管理,怎麼給數據資產打標籤,怎麼沉澱數據服務?這跟去中心化本來就是矛盾的,MD,SB領導毛都不懂,##XXOO@#$%^&」。
  • 專訪明略科技吳明輝:數據中臺的機會在哪兒?
    作者:韓敬嫻編輯:張麗娟2019年,數據中臺火了。從2015年阿里提出「大中臺、小前臺」戰略,再到騰訊、京東、百度、滴滴、美團等對數據中臺落地實踐的探索,數據中臺熱度一路上升。數據實際上是一個相對傳統的行業,數據倉庫、數據挖掘、數據湖、數據平臺等早已存在,為何數據中臺會在當下節點爆發?
  • EA、Twitter、Airbnb、Uber,都怎麼建數據中臺?
    原標題:EA、Twitter、Airbnb、Uber,都怎麼建數據中臺? 本文由微信公眾號 「AI 前線」原創(ID:ai-front),未經授權不得轉載,作者:宋文欣
  • 現實中有人像《裝臺》中的大雀兒嗎?
    昨天追劇《裝臺》,大雀兒突發缺血性心肌梗死,被宣告死亡了。作為觀眾突然感覺心裡有些難過,因為大雀兒這個人物有我生活的很多影子。大雀兒第二次暈倒被叫醒大雀兒一個能吃能幹的高大漢子,在生活中還有點扣,裝臺的兄弟們開玩笑說他包二奶了,才這麼努力幹活掙錢,省吃儉用的。但是隨著劇情的發展才知道他這麼樣的原因。
  • 額頭出油是怎麼回事兒 該怎麼緩解
    春分時節,很多人的臉上都開始出現額頭出油的狀況了,嚴重的甚至出現了痘痘,這到底是怎麼回事兒呢?
  • 中臺建設失敗的七大原因丨中臺網絡研討會
    6月12日晚,錦囊專家聯合數位化奇葩SHUO就探討「中臺項目失敗的主要因素」打造中臺網絡研討會—中臺項目的一百種「死法」,並針對「中臺失敗類型」發起問卷調查,以調研數據為基礎同三位主講嘉賓(益豐大藥房CIO孫浩、數瀾科技COO武凱、ThoughtWorks中國區數據和AI總經理 史凱)以及12位在線互動嘉賓展開了一場精彩絕倫的線上中臺項目失敗原因大剖析。
  • 微信朋友圈都在曬秋天的第一杯奶茶,這到底是怎麼回事兒?
    我想,或許有人也和我一樣,都在想這到底是怎麼一回事兒?打擊都是怎麼來,那下面我就來給大家說一下具體的原因。一:曬奶茶的原因可能是因為自己年齡不再像以前一樣了,也沒能跟上時代的潮流,這不,為了弄清楚這朋友的奶茶風,我就趕緊找來個朋友來問。
  • 卡bug在電競遊戲中到底是什麼意思 樂言卡bug是怎麼回事
    樂言卡bug的事情最近鬧得沸沸揚揚的,並且樂言因此也受到了很嚴重的禁賽處罰,那麼卡bug在電競遊戲中到底是什麼意思呢?  卡bug是什麼梗  卡bug是專挑遊戲bug然後卡進去,做一些讓遊戲不平衡的行為。