數據中臺、數據湖到底是怎麼回事兒?

2020-12-06 datafuntalk

導讀：12月20日，09：00-12：40，受DataFunTalk組委會邀請，愛奇藝技術副總裁孫斌老師將擔任DataFunTalk年終大會大數據應用實踐論壇的出品人，並邀請來自愛奇藝、bilibili、網易、小米等公司的5位嘉賓，就數據中臺、數據湖等大數據應用實踐話題進行分享，感興趣的小夥伴歡迎上車！

01

論壇及日程

論壇報名

02

詳細介紹

出品人：

孫斌

愛奇藝 | 技術副總裁

孫斌，愛奇藝技術副總裁。負責愛奇藝的商業智能、大數據、智能製作等部門和方向。在網際網路產品設計和研發方面有十多年經驗，曾就職於微軟、hulu、雅虎等公司，也曾在國內知名網際網路公司負責過創業項目。

分享嘉賓：

郭磊濤

愛奇藝 | 資料庫和中間件負責人

郭磊濤，愛奇藝資料庫和中間件服務負責人。2007年博士畢業於中國科技大學計算機系，進入中國移動研究院負責大數據平臺的建設，2014年加入愛奇藝負責資料庫內核、中間件及運維系統的研發，熱衷於 Hadoop 生態系統優化和高效運維架構。

演講議題：基於大數據技術構建愛奇藝全鏈路監控平臺

演講議題介紹：為了適應業務的快速迭代和創新，並支撐海量的用戶請求，愛奇藝各系統的架構和調用鏈路拓撲越來越複雜。如何構建高效易用的全鏈路監控平臺，快速甄別調用鏈路上的故障及風險點，成為保障服務穩定性的關鍵問題。基於大數據相關的日誌採集、Kafka、Flink實時分析、Elasticsearch、HBase和Druid等技術和組件，構建了愛奇藝全鏈路監控平臺，通過調用依賴關係分析、服務間調用關係指標、程序異常分析、日誌關聯查詢等功能，有效提高了鏈路故障和風險的定位和解決效率。本次議題將重點介紹愛奇藝全鏈路監控平臺的架構及相關大數據技術的應用實踐經驗。

鄭志升

bilibili | 實時平臺負責人

鄭志升，大數據實時體系負責人，加入B站前曾任職於阿里巴巴。主導涵蓋「數據埋點-實時傳輸接入-實時計算-開發應用」全鏈路的中臺建設，目前重點關注實時（含增量）的傳輸與計算，實時機器學習等方向。

演講議題：數據湖的初步探索與實踐落地

演講議題介紹：

1. 數據ETL的痛點

2. 基於數據湖的增量ETL

3. 增量Append及Upsert的實現

4. 未來展望

聽眾收益：

1. 了解數據湖在數倉體系的一些落地應用場景

2. 了解如何基於Flink+HUDI構建一套通用的ETL增量管道

3. 了解數據在萬億規模下如何打造高性能和高可用的綜合型ETL管道化服務

新技術/實用技術點：Flink、HUDI、數據湖、增量數倉

馬金韜

愛奇藝 | 數據中臺負責人

馬金韜，目前就職於愛奇藝，負責數據中臺的規劃、建設和推廣工作，前後在360、百度和阿里巴巴等多家公司從事廣告和大數據相關工作，目前主要關注大數據技術生態、發展方向和業務價值實現等方向。

演講議題：愛奇藝數據中臺的建設實踐

演講議題介紹：隨著市場對數據價值的認可，促進了數據在各行各業的爆發式增長，以及大數據設施的快速演化，同時也帶來了不少新的數據問題；解決這些問題，發揮更大的數據價值，成為了各大公司的重點工作。愛奇藝通過數據中臺的建設和實施，發揮通用化、中心化、服務化和標準化等能力和特點，將數據能力覆蓋到公司任何角落，賦能業務發展，並通過加深數據AI化等新的技術方式，對數據價值進行深度探索；本次分享將從數據中臺的概念、架構、建設理念等角度切入，對關鍵組成部分進行深入介紹，讓大家能夠在理解中臺的同時，了解到如何通過中臺解決問題，幫助業務挖掘數據價值。

聽眾收益：理解數據中臺，了解如何通過中臺解決問題，清楚結合業務場景的方式。

新技術/實用技術點：數據中臺、統一數倉+、統一服務等。

汪勝

網易 | 資深大數據開發工程師

汪勝，網易資深大數據開發工程師，Apache Impala committer。於2016年畢業加入網易，從事OLAP系統開發，目前負責網易大數據Impala&Kylin系統的相關工作。

演講議題：Impala在網易的實踐2.0

演講議題介紹：本次分享主要介紹了Impala在網易的一些新實踐，包括Impala對接Iceberg、Impala對接Alluxio等，以及未來的一些簡單規劃。

聽眾收益：可以了解到Impala的一些新特性，通過結合實際的業務需求，對實踐有一定的幫助。

新技術/實用技術點：Impala、Iceberg

姚青林

小米 | 高級軟體工程師

姚青林，小米數據工場負責人。負責數據開發管理系統、元數據系統、數據質量系統、數據隱私管理等相關平臺的架構與研發工作。在大數據領域有多年從業經驗。

演講議題：Doris 在小米數據中臺中的實踐

演講議題介紹：本次分享主要集中在小米在數據中臺建設中，選擇使用Doris的過程、原因、以及定位。會詳細介紹 Doris 的架構、適用的場景、成本節省等方面。最後會介紹我們期望的Doris未來的發展方向，展望雲上Doris。

聽眾收益：了解小米數據中臺建設過程中的最佳實踐，Doris在其中的作用

新技術/實用技術點：Doris、數據中臺、Interactive/Batch/Streaming processing

03

論壇報名

相關焦點

  • 小博美竟然變成了小海豹 到底怎麼一回事兒?
    小博美竟然變成了小海豹 到底怎麼一回事兒？時間：2017-03-30 08:44   來源：搜狐網   責任編輯：毛青青 川北在線核心提示：原標題：小博美竟然變成了小海豹 到底怎麼一回事兒？ 不知道對於狗狗的選擇上，大家更喜歡大型犬還是小型犬呢？
  • 終於有人把數據中臺講明白了
    通過數據中臺提供的方法和運行機制，形成匯聚整合、提純加工、建模處理、算法學習，並以共享服務的方式將數據提供給業務使用，從而與業務聯動。 再者，結合業務中臺的數據生產能力，最終構建數據生產—消費—再生的閉環。為了更好地理解數據中臺，我們將其與數據倉庫、數據湖、BI、大數據等相關概念進行對比。
  • 被稱為企業「變速齒輪」的數據中臺到底是什麼 | 推薦收藏
    今天我們就從以下幾個方面來說說數據中臺：1.數據中臺產生的歷史背景2.數據中臺對企業有什麼價值3.到底什麼是數據中臺4.數據中臺與資料庫、數據湖和BI有什麼區別數據中臺跟之前大數據平臺最大的區別，在於數據中臺距離業務更近，能更快速地響應業務和應用開發的需求，可追溯，更精準。
  • G36步槍的過熱問題到底是怎麼回事兒
    然後有夥計也發私信給我，想了解一下G36的過熱問題到底是怎麼回事兒，所以水一篇這個。咱們先從故事本身開始聊，在2010年4月2日，阿富汗北部的一個德軍傘兵排正在執行掃雷任務時被大約一百來個塔利班襲擊，結果陣亡3人，負傷8人，這對於長期只知道喝啤酒吃香腸的聯邦肥宅來說是個大事件。
  • 尿潛血3+是怎麼回事兒?很嚴重嗎?
    尿潛血3+是怎麼回事兒？很嚴重嗎？尿隱血而且3個加號，到底是不是比較嚴重的疾病，讓很多人困擾，因為有的時候對這些疾病問題我們並不認識和了解，所以自然而然出現這種狀況的時候，大家都會有這種擔心恐懼心理，因此下面就為大家具體來分析一下，尿隱血，而且有3個加號，是不是非常嚴重的。尿隱血1是什麼意思?
  • 厄爾尼諾究竟是怎麼回事兒?
    厄爾尼諾究竟是怎麼回事兒？時間：2016-07-13 12:25   來源：科普中國——科學原理一點通   責任編輯：沫朵 川北在線核心提示：原標題：厄爾尼諾現象是什麼？ 厄爾尼諾究竟是怎麼回事兒？ 厄爾尼諾在21世紀頻頻光顧地球，給人類造成了極大的危害。那麼，厄爾尼諾究竟是怎麼回事兒呢？
  • 宇宙最大背鍋俠——水逆,到底是怎麼回事兒?
    圖自網絡那麼，這個傳說中會給我們帶來黴運的水逆到底是個啥？本著科普的精神，蝌蚪君今天就來講講水逆是怎麼回事兒？圖自網絡從圖中我們可以看到，這八個行星的公轉方向都是相同的，都是逆時針。不過呢，這是上帝視角。
  • 從數據中臺到AI中臺,企業到底要建什麼中臺?
    編輯導讀：中臺這個概念，有些人會覺得「不明覺厲」，其實它已經被各企業討論過無數遍了。中臺，是一個企業內部可以復用的技術平臺和共用的組織平臺。從這個概念引進開始，中臺經歷了不小的改變。本文將從三個方面，分析企業到底要建一個什麼樣的中臺，希望對你有幫助。
  • 裝臺大雀兒結局是什麼 原著小說中大雀兒最後怎麼死的
    據悉，《裝臺》原著結局中，大雀兒得病去世了，在預告片中也可以看到這一幕。大雀兒是一個靠出賣身體健康換錢的人，非常極端，這個人為了省幾塊錢就洗涼水澡，幹活大晚上不睡覺去出大力，白天也是一個人幹兩個人的活，總是在透支自己的健康，為後來得病埋下了伏筆。
  • 數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體
    有人說數據湖是下一代大數據平臺，各大雲廠商也在紛紛的提出自己的數據湖解決方案，一些雲數倉產品也增加了和數據湖聯動的特性。但是數據倉庫和數據湖的區別到底是什麼，是技術路線之爭？是數據管理方式之爭？二者是水火不容還是其實可以和諧共存，甚至互為補充？
  • TB級大數據如何採用優刻得USQL數據湖分析降本90%
    摘要：TB級大數據使用優刻得USQL，將數據分析的等待時間從平均43小時降到2小時;同時依託USQL根據數據分析量計費，不使用不收費的特性，幫助客戶將數據運算成本降至自建方案的0.5%。 當前，大數據的價值已無需贅述，作為衡量一個公司核心能力的最底層標準，數據的建設也面臨著諸多難題。
  • 光譜分析到底是怎麼一回事呢?
    光譜分析到底是怎麼一回事呢？2018年04月03日 10:07作者：科普中國網編輯：網絡 光譜分析到底是怎麼一回事呢那麼，光譜分析到底是怎麼一回事呢？ 在陽光照射下，肥皂泡上會出現斑斕的顏色。為什麼光有這麼多不同的顏色呢？為了研究這個問題，1666年牛頓讓太陽光通過三稜鏡，發現太陽光被分解為七色光帶。牛頓稱之為光譜。
  • [技術]天線是無源器件,那麼天線增益是怎麼回事兒
    一款有源天線那麼天線增益到底是怎麼回事兒呢？書本中對天線增益是這樣定義的，在測試天線和基準天線上給與同一功率的信號，在最大電場方向上接收的功率之比。該比值用 dB 表示，即為天線增益的值。有兩種基準天線，全方向性(定向性為球形)的點源（Isotropic）天線和半波長的偶極天線。
  • 30歲的熊頓因淋巴瘤不幸去世,淋巴瘤究竟是怎麼回事兒?能被治癒嗎?
    那麼，非霍奇金淋巴瘤究竟是怎麼回事兒？淋巴瘤能被治癒嗎？ 1.淋巴瘤到底是怎麼回事？ 淋巴瘤是一種血液系統疾病，血液系統由髓細胞系統（紅細胞、白細胞、血小板）和淋巴系統組成。 當淋巴系統的細胞發生惡變，就有可能導致淋巴瘤。
  • 張亮麻辣燙是什麼意思 一起看看到底是怎麼回事
    張亮麻辣燙是什麼意思 一起看看到底是怎麼回事時間：2020-08-11 12:36   來源：燒荒網   責任編輯：凌君 川北在線核心提示：原標題：張亮麻辣燙是什麼意思 一起看看到底是怎麼回事 最近因為中餐廳的事情張亮也是登上了熱搜為了幫趙麗穎發聲，那麼張亮麻辣燙也喜提了熱搜，這兩者有什麼關係呢，下面就跟小編一起看看到底是怎麼回事吧
  • 嬰兒脫皮是怎麼回事 嬰兒脫皮是怎麼回事兒?
    嬰兒脫皮是怎麼回事寶寶腳部脫皮有臭味要警惕寶寶是不是患有腳氣病。腳氣是一種疾病，一方面有可能是因為腳部真菌皮炎導致的腳氣問題，也有可能是缺乏維生素導致的腳氣病。8個月的寶寶腳底脫皮怎麼回事？下面小編來給大家介紹寶寶腳底脫皮怎麼辦。
  • 到底怎麼回事?最近經常停氣和氣壓不足,天然氣公司回應…
    到底怎麼回事？ 最近有不少人跟郫妹兒抱怨
  • 丁香湖最近頻上熱搜、勢頭正猛,到底咋回事兒?
    到底咋回事兒？教育必須要跟上該區教育問題一直令大家頭疼，東北英才中、小學的入駐，真是讓周邊居民高興了一把，東北英才小學去年就開始招生了，中學進度如何？從芒果門店經紀人那了解到，東北英才中學工程進展也是十分迅速。去年8月底，學校還處於樁基階段，如今已基本成型。
  • 物理上說的虛像到底是怎麼回事?
    虛像到底是怎麼回事？當你學習物理時，很可能會對虛像這個問題有疑問，總覺得沒有從根兒徹底理解虛像到底是怎麼回事。
  • EA、Twitter、Airbnb、Uber,都怎麼建數據中臺?
    原標題：EA、Twitter、Airbnb、Uber，都怎麼建數據中臺？，而人們漸漸開始有這樣的疑問：中國的數據中臺市場如此火熱，而國外的數據中臺卻沒有什麼聲音。 事實並不是這樣，矽谷的公司其實已經早於中國建設了所謂的」數據中臺「。只不過，在國外，並沒有數據中臺這個稱謂，而是統一以數據平臺的名稱命名，但是這個數據平臺已經具備我們所說的數據中臺的全部功能。 那麼，作為全球技術風向標的矽谷企業的「數據中臺「到底什麼樣，他們的「數據中臺」是如何建設的？想必很多人對此多充滿著好奇和疑問。