數據中臺、數據湖到底是怎麼回事兒?

2020-12-21 datafuntalk

導讀:12月20日,09:00-12:40受DataFunTalk組委會邀請,愛奇藝技術副總裁孫斌老師將擔任DataFunTalk年終大會大數據應用實踐論壇的出品人,並邀請來自愛奇藝、bilibili、網易、小米等公司的5位嘉賓,就數據中臺、數據湖等大數據應用實踐話題進行分享,感興趣的小夥伴歡迎上車!

01

論壇及日程

論壇報名

02

詳細介紹

出品人:

孫斌

愛奇藝 | 技術副總裁

孫斌,愛奇藝技術副總裁。負責愛奇藝的商業智能、大數據、智能製作等部門和方向。在網際網路產品設計和研發方面有十多年經驗,曾就職於微軟、hulu、雅虎等公司,也曾在國內知名網際網路公司負責過創業項目。

分享嘉賓:

郭磊濤

愛奇藝 | 資料庫和中間件負責人

郭磊濤,愛奇藝資料庫和中間件服務負責人。2007年博士畢業於中國科技大學計算機系,進入中國移動研究院負責大數據平臺的建設,2014年加入愛奇藝負責資料庫內核、中間件及運維系統的研發,熱衷於 Hadoop 生態系統優化和高效運維架構。

演講議題:基於大數據技術構建愛奇藝全鏈路監控平臺

演講議題介紹:為了適應業務的快速迭代和創新,並支撐海量的用戶請求,愛奇藝各系統的架構和調用鏈路拓撲越來越複雜。如何構建高效易用的全鏈路監控平臺,快速甄別調用鏈路上的故障及風險點,成為保障服務穩定性的關鍵問題。基於大數據相關的日誌採集、Kafka、Flink實時分析、Elasticsearch、HBase和Druid等技術和組件,構建了愛奇藝全鏈路監控平臺,通過調用依賴關係分析、服務間調用關係指標、程序異常分析、日誌關聯查詢等功能,有效提高了鏈路故障和風險的定位和解決效率。本次議題將重點介紹愛奇藝全鏈路監控平臺的架構及相關大數據技術的應用實踐經驗。

鄭志升

bilibili | 實時平臺負責人

鄭志升,大數據實時體系負責人,加入B站前曾任職於阿里巴巴。主導涵蓋「數據埋點-實時傳輸接入-實時計算-開發應用」全鏈路的中臺建設,目前重點關注實時(含增量)的傳輸與計算,實時機器學習等方向。

演講議題:數據湖的初步探索與實踐落地

演講議題介紹:

1. 數據ETL的痛點

2. 基於數據湖的增量ETL

3. 增量Append及Upsert的實現

4. 未來展望

聽眾收益:

1. 了解數據湖在數倉體系的一些落地應用場景

2. 了解如何基於Flink+HUDI構建一套通用的ETL增量管道

3. 了解數據在萬億規模下如何打造高性能和高可用的綜合型ETL管道化服務

新技術/實用技術點:Flink、HUDI、數據湖、增量數倉

馬金韜

愛奇藝 | 數據中臺負責人

馬金韜,目前就職於愛奇藝,負責數據中臺的規劃、建設和推廣工作,前後在360、百度和阿里巴巴等多家公司從事廣告和大數據相關工作,目前主要關注大數據技術生態、發展方向和業務價值實現等方向。

演講議題:愛奇藝數據中臺的建設實踐

演講議題介紹:隨著市場對數據價值的認可,促進了數據在各行各業的爆發式增長,以及大數據設施的快速演化,同時也帶來了不少新的數據問題;解決這些問題,發揮更大的數據價值,成為了各大公司的重點工作。愛奇藝通過數據中臺的建設和實施,發揮通用化、中心化、服務化和標準化等能力和特點,將數據能力覆蓋到公司任何角落,賦能業務發展,並通過加深數據AI化等新的技術方式,對數據價值進行深度探索;本次分享將從數據中臺的概念、架構、建設理念等角度切入,對關鍵組成部分進行深入介紹,讓大家能夠在理解中臺的同時,了解到如何通過中臺解決問題,幫助業務挖掘數據價值。

聽眾收益:理解數據中臺,了解如何通過中臺解決問題,清楚結合業務場景的方式。

新技術/實用技術點:數據中臺、統一數倉+、統一服務等。

汪勝

網易 | 資深大數據開發工程師

汪勝,網易資深大數據開發工程師,Apache Impala committer。於2016年畢業加入網易,從事OLAP系統開發,目前負責網易大數據Impala&Kylin系統的相關工作。

演講議題:Impala在網易的實踐2.0

演講議題介紹:本次分享主要介紹了Impala在網易的一些新實踐,包括Impala對接Iceberg、Impala對接Alluxio等,以及未來的一些簡單規劃。

聽眾收益:可以了解到Impala的一些新特性,通過結合實際的業務需求,對實踐有一定的幫助。

新技術/實用技術點:Impala、Iceberg

姚青林

小米 | 高級軟體工程師

姚青林,小米數據工場負責人。負責數據開發管理系統、元數據系統、數據質量系統、數據隱私管理等相關平臺的架構與研發工作。在大數據領域有多年從業經驗。

演講議題:Doris 在小米數據中臺中的實踐

演講議題介紹:本次分享主要集中在小米在數據中臺建設中,選擇使用Doris的過程、原因、以及定位。會詳細介紹 Doris 的架構、適用的場景、成本節省等方面。最後會介紹我們期望的Doris未來的發展方向,展望雲上Doris。

聽眾收益:了解小米數據中臺建設過程中的最佳實踐,Doris在其中的作用

新技術/實用技術點:Doris、數據中臺、Interactive/Batch/Streaming processing

03

論壇報名

相關焦點

  • 漫畫:數據倉庫、數據中臺、數據湖,終於搞懂了!
    2、數據中臺數據中臺主要特點如下:■ 數據是「打平」的,而非主題式,以利於企業從全局角度對數據進行分析。■ 數據是以業務語言表示的,業務人員可直接使用:不同於數據倉庫時代數據都是以表和欄位等技術語言來表示,數據中臺的數據要支撐管理模型,對外以業務語言來表示,能夠為業務人員直接使用。
  • 數據湖正在成為新的數據倉庫
    這種趨勢基本上始於十年前標準設備進入數據倉庫主流,然後隨著市場向新一代雲數倉轉移逐漸獲得了新動力。在過去幾年中,一個雲數倉供應商(Snowflake) 在市場上獲得了非常多的支持。數據倉庫的衰落但在另一方面,數據倉庫也不斷被行業中的新事務所衝擊,例如大數據、機器學習和人工智慧。
  • 數據湖也要自學習 構建數據通路是前提
    這些領導者能夠進行新類型的分析,例如通過日誌文件、來自點擊流的數據、社交媒體以及存儲在數據湖中的網際網路連接設備等新來源的機器學習。這有助於他們通過吸引和留住客戶、提高生產力、主動維護設備以及做出明智的決策來更快地識別和應對業務增長機會。
  • 贛州有個「數據湖」
    平米的藍光存儲中心機房共安裝了83臺藍光存儲機櫃、33臺熱磁機櫃。贛南數據湖雲計算中心機房。彈性擴容雲計算怎麼理解呢?對於政府或企業來說,一臺伺服器的運算能力如果不夠,就需要購置多臺伺服器,甚至演變成為一個具有多臺伺服器的數據中心,而且伺服器的數量會直接影響這個數據中心的業務處理能力。除了高額的初期建設成本之外,計算機在運營中電費的支出要比投資成本高得多,再加上計算機和網絡的維護支出,這些總費用會給政府和企業帶來較大的壓力。
  • 關於數據中臺你最想知道的幾個問題,我們這次聊了個透
    很快,不少中小企業也群起而效之,吹響了向中臺架構轉型的號角。一時間,中臺仿佛成了企業的萬金油,不管什麼毛病只要有了中臺就能藥到病除。但中臺到底是什麼?什麼樣的企業應該建設中臺?中臺到底應該怎麼建?許多人都是一頭霧水。日前,數據中臺領域最為領先和活躍的四家企業,在杭州湖畔大學烹茶論道。
  • 企業級數據湖來了 阿里雲陳起鯤:數據湖將成為企業應用創新標配
    10月23日,數據湖高峰論壇在京召開,阿里雲宣布推出業內首個雲原生企業級數據湖解決方案,提供EB級數據存儲、分析能力,可一站式實現湖存儲、湖加速、湖管理、湖計算,幫助企業對數據深入挖掘與分析,洞察其中蘊含價值,更適合於人工智慧、物聯網、自動駕駛等擁有海量數據場景的新興行業。
  • 華為雲智能數據湖FusionInsight 成功助力10000+大數據集群滾動升級
    隨著政企數位化發展,大數據在政府、金融、運營商、大型企業等中承載越來越多的關鍵數據分析、處理的業務,在日常升級和維護過程中,對於業務連續性保障的要求也越來越高。每次升級操作的窗口準備時間要求儘量短,同時需要實現大集群滾動升級時業務不停機,如何處理這些痛點,成為了業界關注的重點。
  • 數據湖的發展趨勢將給企業帶來什麼
    【51CTO.com快譯】「數據湖」(Data Lake) 這一術語已經推出了將近10年的時間,如今已經成為從大型數據存儲庫中的數據挖掘中形成競爭性見解的關鍵工具。
  • 數據中臺總領數位化轉型?明略科技提出不一樣的方法論
    自阿里最早在2015年推出「中臺」概念以來,中臺和數據中臺就迅速中國市場躥紅,以至於Gartner在《2020中國ICT技術成熟度曲線》中首次增加了「數據中臺」和「中臺架構」這兩大新興技術。用數據中臺牽引數位化轉型怎麼理解明略科技所提出的數據中臺方法論?如何用數據中臺組織和驅動政企數位化轉型?具體來看一個實際的案例。
  • 阿里雲最新重構的數據湖解決方案「秒殺所有對手」
    ▲阿里雲智能存儲產品資深總監陳起鯤  早期大數據分析架構,是強耦合擴容模式,同一份數據需要在不同的計算集群中重複拷貝,空間利用率低,計算資源過剩;但數據是不斷積累狀態,並且有波峰波谷期,為了滿足業務需求,
  • G36步槍的過熱問題到底是怎麼回事兒
    然後有夥計也發私信給我,想了解一下G36的過熱問題到底是怎麼回事兒,所以水一篇這個。咱們先從故事本身開始聊,在2010年4月2日,阿富汗北部的一個德軍傘兵排正在執行掃雷任務時被大約一百來個塔利班襲擊,結果陣亡3人,負傷8人,這對於長期只知道喝啤酒吃香腸的聯邦肥宅來說是個大事件。
  • 數智時代基石,阿里雲推出新一代雲原生數據倉庫與數據湖
    6月9日, 在2020阿里雲峰會上,阿里巴巴副總裁、阿里雲計算平臺事業部高級研究員賈揚清宣布推出新一代雲原生數據倉庫和數據湖解決方案。基於創新的技術架構,新一代雲原生數據倉庫可支持PB級數據關聯分析和實時查詢,實現離線、實時、分析、服務的四位一體。
  • 數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體
    隨著近幾年數據湖概念的興起,業界對於數據倉庫和數據湖的對比甚至爭論就一直不斷。有人說數據湖是下一代大數據平臺,各大雲廠商也在紛紛的提出自己的數據湖解決方案,一些雲數倉產品也增加了和數據湖聯動的特性。但是數據倉庫和數據湖的區別到底是什麼,是技術路線之爭?是數據管理方式之爭?
  • 又一個大廠要押寶數據中臺
    在當前中臺受到一些質疑,甚至有人稱為「中臺至暗「的時刻,又有一家業界大廠繼續加持」中臺「。這家公司知名度可能不是很高,但卻是人工智慧、大數據業界的絕對大廠。它是今年12月剛剛完成2億美元E+輪戰略融資、2019年獲得20億元人民幣融資的明略科技集團。
  • 阿里雲宣布推出業內首個雲原生企業級數據湖解決方案
    10月23日,數據湖高峰論壇在京召開,阿里雲宣布推出業內首個雲原生企業級數據湖解決方案,提供EB級數據存儲、分析能力,可一站式實現湖存儲、湖加速、湖管理、湖計算,幫助企業對數據深入挖掘與分析,洞察其中蘊含的價值,更適合於人工智慧、物聯網、自動駕駛等擁有海量數據場景的新興行業。
  • 他們自稱愛伲族,卻不在56個少數民族裡,這到底是怎麼回事兒
    這到底是怎麼回事兒?西雙版納共有12個少數民族,傣族人最多,其次是愛伲族。愛伲族是哈尼族的分支,人口大約十九萬,全部集中居住在西雙版納。西雙版納境內的愛伲人,其實就是遷徙過來的哈尼族的自稱,可以算作哈尼族的一個支系。
  • 裝臺大雀兒結局是什麼揭秘 大雀兒最後死了嗎怎麼死的
    《裝臺》大雀兒最後是怎麼死的?看過原著的觀眾都知道,大雀兒這個角色最後生病去世了,很讓人心疼,他身上的秘密也就此揭開了,下面我們一起來看看吧。  如果本劇按照原著故事線走的話,大雀兒最後死於心臟病,大雀兒原來就有心臟病,什麼時候得上的誰也不知道。
  • 孫彩瑛和紋身師戀愛怎麼回事 到底是怎麼一回事
    孫彩瑛和紋身師戀愛怎麼回事 到底是怎麼一回事時間:2020-11-09 12:36   來源:海峽網綜合   責任編輯:凌君 川北在線核心提示:原標題:孫彩瑛和紋身師戀愛怎麼回事 到底是怎麼一回事 2020年11月6日,孫彩瑛和紋身師戀愛一事遭曝光,公司回應:沒有官方立
  • 業內首次融合數據倉庫與數據湖 阿里雲推出下一代大數據平臺「湖倉...
    當企業處在初創階段,靈活性就非常重要,數據湖的架構更適用。當企業逐漸成熟,成長性成為最關鍵因素,數據倉庫的架構就再適合不過了。那麼,數據倉庫和數據湖是否只能是一道單選題?能否有一種方案同時兼顧數據湖的靈活性和雲數據倉庫的成長性?
  • 他們自稱愛伲族,卻不在56個少數民族裡,這到底是怎麼回事兒
    愛伲人歡迎遠方來的客人西雙版納共有12個少數民族,傣族人最多,其次是愛伲族。愛伲竹杆舞愛伲男子統稱為阿力,女子稱為阿布,至今還在採用父子連名制的一個民族,父親名字中的最後一個字,為兒子的姓,是不是很有意思,據說這是為了保持他們家族血統的純正,一般取名字為兩個字