大數據說了很多年,我說雷聲大,雨點小,這您同意嗎?
為什麼?
關鍵在創造的價值,如果僅僅是輔助決策,效果難以顯現,如何才能夠立竿見影?從技術上,對應的就是流式計算,因為它對應的是業務,能夠帶來收入的應用。
什麼是流式大數據?有哪些應用?現在就讓我們一起回顧下流計算平臺的發展歷史,以及如何在企業中運用。
流計算在蘇寧的前世今生
課程簡介:1. 流計算平臺的發展歷程
2014年到現在4年多的發展歷程,經歷storm->spark streaming->flink的轉變,目前在轉變中。
2. storm及spark streaming的缺點&我們為什麼選擇flink?
(1)兼顧吞吐量和延時;(2)高效的狀態管理;(3)Exactly-Once的保證;(4)Event-Time
3. 關於flink,我們做了哪些工作?
(1)平臺層功能豐富:sql語法豐富(distinct,流表join),算子自動擴縮容,connector(mysql, hbase,kafka1.0),sink降速;(2)工具層:統一日誌收集及展示、統一監控管理平臺(平臺層&業務層);(3)服務層:Dlink 一站式開發平臺。
4. 未來展望
數據集成 && 機器學習 && CEP 等
講師介紹:蘇寧易購IT總部大數據平臺高級技術經理陳豐,負責蘇寧易購集團大數據流計算平臺建設,包括Storm、SparkStreaming、Flink等組件,經歷了流計算從組件化到平臺服務化到智能化的發展過程。對大數據開源框架有較為豐富的經驗,在分布式計算架構設計和系統優化方面有自己的思考和領悟。
流式大數據和即時交互式分析技術
課程簡介:大數據技術逐漸變成企業的標配,漫長的等待數據分析結果已經不合時宜,延遲更低的流式大數據處理技術,即時分析變得越來越重要。在本論壇將給大家帶來行業中領先的流式大數據,即時交互式分析技術的相關分享。
講師介紹:TalkingData研發副總裁閻志濤,現任TalkingData研發副總裁,領導研發了公司的數據管理平臺(DMP)、數據觀象臺等產品,並且負責公司大數據計算平臺的研發。目前專注於構建一個融合多種計算模型,支持機器學習和數據挖掘的大數據計算平臺。關注Spark、Hadoop、HBase、MongoDB等技術。超過15年的IT領域從業經驗,一直從事大規模分布式計算系統、中間件、BI等相關工作。
流式計算在內容資訊推薦服務的應用
課程簡介:流式計算一直是近年來赤手可熱的專業技術話題,內容資訊也是網際網路發展近20年來一致持續受資本青睞的創業方向,本期內容主要是向大家介紹流式計算在內容資訊推薦方面的應用,給大家介紹當前主流資訊推薦服務流程,介紹其中用戶畫像的實時更新,這個也正是流式計算的典型應用。
講師介紹:中東新媒體首席架構師王成光,曾先後在百麗電商優購、搜狐、網易、一點資訊任職架構師、技術專家等職位,一直從事搜索、數據挖掘和個性化推薦的設計、研發工作,曾多次從零構建完整的搜索和推薦系統,曾開源輕量級分布式實時計算框架light_drtc,並於2016年出版《分布式實時計算框架原理及實踐案例》。