阿里新一代實時計算引擎:Blink

2021-02-08 InfoQ

實時計算這個概念是與離線計算相伴相生的,以 Hadoop為例, Hadoop 批處理 job 的執行時間往往需要幾十分鐘到幾個小時(不同的數據量),所以一般數據的處理是按照時間區間處理的,這叫離線計算,但是,從業務場景上來說,離線計算不能滿足所有業務的需求。

流計算的產生即來源於對於上述數據加工時效性的嚴苛需求:數據的業務價值隨著時間的流失而迅速降低,因此在數據發生後必須儘快對其進行計算和處理。在許多的業務場景上,比如在實時大數據分析、風控預警、實時預測、金融交易等諸多業務場景領域,以銀行的交易系統為例,可靠性要達到 4個 9,甚至 5個 9的地步,而流計算作為一類針對流數據的實時計算模型,可有效地縮短全鏈路數據流時延、實時化計算邏輯、平攤計算成本,最終有效滿足實時處理大數據的業務需求。

2015 年是流計算百花齊放的時代,各個流計算框架層出不窮。Storm, JStorm, Heron, Flink, Spark Streaming, Google Dataflow (後來的 Beam) 等等。其中 Flink 的一致性語義和最接近 Dataflow 模型的開源實現,使其成為流計算框架中最耀眼的一顆。也許這也是阿里看中 Flink的原因,並決心投入重金去研究基於 Flink的 Blink框架。

如果問是基於什麼具體的原因使得阿里選擇了 Flink框架,阿里巴巴的高級技術專家大沙曾言,他們是在 2015年開始調研新一代流計算引擎的,當時的目標就是要設計一款低延遲、exactly once、流和批統一的,能夠支撐足夠大體量的複雜計算的引擎。

Spark streaming的本質還是一款基於 microbatch計算的引擎。這種引擎一個天生的缺點就是每個 microbatch的調度開銷比較大。Kafka streaming是從一個日誌系統做起來的,它的設計目標是足夠輕量,足夠簡潔易用。這一點很難滿足對大體量的複雜計算的需求。Storm是一個沒有批處理能力的數據流處理器,除此之外 Storm只提供了非常底層的 API,用戶需要自己實現很多複雜的邏輯。

有別於 FLink,Blink主要在以下幾個方面做了改進:

優化了集群調度策略使得 Blink能夠更好更合理地利用集群資源;

優化了 checkpoint機制,使得 Blink能夠很高效地處理擁有很大狀態的 job;

優化了 failover的策略,使得 job在異常的時候能夠更快恢復,從而對業務延遲造成更少的影響;

設計了異步算子,使得 Blink能夠在即使被讀取外部數據阻塞的同時還能繼續處理其他 event,從而獲得整體非常高的吞吐率。

以前,MySQL+Linux+PHP可以免費的構建一個小型的網站,也許不久,類似 Flume + Kafka + Blink,也會成為實時流計算一套完整的解決方案。實時計算必然是未來的主流趨勢。

如果你也對實時計算感興趣,請關注 2018年 4月 23日到 24日,我們在北京國際會議中心舉辦的 QCon深度培訓。在會上,阿里巴巴的高級技術專家王紹翾和鄧小勇將為大家帶來 阿里巴巴 Blink流計算平臺介紹與實踐,詳細的介紹 Blink的前世今生,現在報名立享 8折優惠,點擊「閱讀原文」即可了解更多詳情。或添加 chenxi988625諮詢。

相關焦點

  • 阿里雲分享近幾年的計算架構圖!
    在10月21日的搜索及推薦系統架構設計專場中,來自阿里巴巴高級技術專家鄧萬禧為廣大技術開發人員帶來了主題為《開放搜索多租戶實時計算架構的演進之路》的演講。鄧萬禧於2009年畢業於南開大學並加入阿里巴巴,主要參與isearch5搜尋引擎的研發,該引擎目前已經廣泛應用於阿里集團電商搜索、神馬搜索等核心業務。
  • 寫在阿里Blink正式開源之際
    這樣一來,流計算和批計算的在這兩層大部分的設計工作就能做到儘可能地復用,   spark 君:這個就對應 spark sql 裡面的邏輯優化和物理執行兩個流程吧,這個在這裡就不用多說了吧,spark君一直孜孜不倦的給小夥伴們普及 spark邏輯優化和物理優化都做了什麼,感覺spark在這塊都優化的不能再優化了。
  • 阿里為什麼要拿下Flink?
    由於Data Artisans擁有著一種代表當今大數據流處理引擎的前沿技術,讓阿里這一收購舉動引起了相關業界不小的反響。尤其是,在阿里集團剛剛進行一次大規模組織架構調整後,需要依靠更加智能化的雲計算技術融合到阿里系更為多元化的發展格局中,收購Data Artisans不失為面向新戰略的一次有力布局。
  • 阿里正式開源輕量級深度學習端側推理引擎「MNN」
    阿里近日正式開源了輕量級深度學習端側推理引擎「MNN」。與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比,MNN 更注重在推理時的加速和優化,在大規模機器學習應用中具有優勢。本文詳細闡述了MNN背後的技術框架和規劃。 近日,阿里正式開源輕量級深度學習端側推理引擎「MNN」。
  • 阿里7 億元收購 Apache Flink 商業公司 DataArtisans
    從阿里技術公眾號分享的一篇《阿里巴巴為什麼選擇Apache Flink?》的文章中可看出端倪,阿里巴巴計算平臺事業部資深技術專家莫問在雲棲大會的演講時表示隨著人工智慧時代的降臨,數據量的爆發,在典型的大數據的業務場景下數據業務最通用的做法是:選用批處理的技術處理全量數據,採用流式計算處理實時增量數據。在絕大多數的業務場景之下,用戶的業務邏輯在批處理和流處理之中往往是相同的。
  • 揭秘:騰訊阿里京東推薦系統架構如何設計?
    最後,李深遠還介紹AI時代,QQ音樂團隊通過不同嘗試研製了智能推薦新系統。面對買賣雙方的時效敏感性挑戰,轉轉通過優化改造CF算法,構建統一畫像管理系統,來將各種算法進行了實時化改造。第三個挑戰——複雜策略下的性能壓力,通過對架構進行算能升級,實現了性能的提升了和計算能力的提升。
  • 阿里雲實時大數據解決方案,助力企業實時分析與決策
    資料庫實時同步新選擇!實時分析決策的第一步就需要將數據實時同步到大數據計算引擎,DataWorks數據集成採用自研高性能引擎,在相同的機器規格情況下,RDS實時同步性能最高為其他數據同步方案的2倍,而價格可低至其1/4。通過DataWorks數據集成,企業可以進行高效、低成本、穩定的實時數據同步。
  • 阿里巴巴雲原生實時數倉核心技術揭秘
    阿里雲新一代雲原生數倉Hologres作為雙十一背後重要的技術支撐,消費者的每一次搜索、瀏覽、收藏、加購,都會變成實時數據流入Hologres進行存儲,並與天貓上沉澱的歷史離線數據進行交叉比對。 2020雙十一,Hologres頂住了5.96億每秒的實時數據洪峰,單表存儲高達2.5PB。
  • 大數據學習:Spark 生態實時流計算
    在Spark框架當中,提起流計算,那麼主要就是Spark Streaming組件來負責。在大數據的發展歷程當中,流計算正在成為越來越受到重視的趨勢,而Spark Streaming流計算也在基於實際需求不斷調整。今天的大數據學習分享,我們就主要來講講Spark 實時流計算。
  • 三星開發新一代超音波影像引擎CrystalLive
    打開APP 三星開發新一代超音波影像引擎CrystalLive 工程師飛燕 發表於 2018-06-26 09:32:00 三星集團(Samsung Group)開發出新一代超音波影像處理引擎,可顯示更鮮明的胎兒影像,協助醫師更正確有效診斷。
  • Flink流批一體在阿里雙11首次落地的背後
    除了在業務開發效率和計算性能上的進步,流批一體計算架構也讓集群資源利用率得到大幅提升。阿里的 Flink 實時集群經過最近幾年的高速擴展,已經達到了百萬核 CPU 的計算規模,上面運行著數萬個 Flink 實時計算任務。白天是實時數據業務的高峰期,晚上業務低峰期計算資源出現空閒,正好可以為離線批任務提供免費的計算資源。
  • 圖文翻譯|育碧Snowdrop引擎如何發展以迎接下一代主機
    1前言在這個新主機發布的節點上,我們非常想知道新主機能為我們帶來什麼改變,正巧近日育碧有篇文章談到了這個話題,其中Ubisoft團隊高級渲染程式設計師Oleksandr Koshlo和Snowdrop首席引擎程式設計師Christian Seger分享了一些對下一代主機的看法。我認為值得分享一下。
  • 無可救藥的堅持,蘭博基尼新一代大牛確定使用V12引擎
    隨著全球各地的環保法規越來越嚴苛,各家車廠都朝向降低引擎排氣量、改換油電動力等方向邁進,即便是動輒千萬的超跑車廠也是一樣,不過當中卻有少數車廠仍堅持使用V12大排氣量引擎,義大利超跑品牌蘭博基尼就是其中之一,近期原廠高層透露下一代大牛依舊會採用V12自然進氣引擎。
  • 開篇|揭秘 Flink 1.9 新架構,Blink Planner 你會用了嗎?
    本文為 Apache Flink 新版本重大功能特性解讀之 Flink SQL 系列文章的開篇,Flink SQL 系列文章由其核心貢獻者們分享,涵蓋基礎知識、實踐、調優、內部實現等各個方面,帶你由淺入深地全面了解 Flink SQL。1.
  • 基於Matlab數值計算引擎的三維可視化視景仿真技術
    FMI功能模型接口視景仿真是實時仿真動畫的一種表現形式,是一種基於可計算信息的沉浸式交互環境。Matlab計算引擎是Matlab提供的API函數庫和程序庫,這些函數庫可以在其他非Matlab程序中調用。技術人員可以在自己編寫的C語言或其他語言的應用程式中調用Matlab,完成比較複雜的數學計算,在啟動Matlab引擎時,相當於啟動了另外一個matlab進程,將其在後臺運行。
  • 衛冕OLAP 算法大賽冠軍 氪信「列式計算引擎」C位亮相
    大賽薈聚了數千位算法愛好者,美團點評、阿里雲、小米、聯通等頭部科技企業,北大、北郵、中科院計算所等科研單位都曾參與過比賽。今年10月,憑藉豐富的數據場景處理經驗和技術落地能力,氪信團隊成為唯一成功解對所有賽題的隊伍,以接近滿分的成績成功衛冕。兩屆OLAP 算法大賽中,都出現了氪信「制勝法寶」——「列式計算引擎」的身影。
  • BIGO技術:實時計算平臺建設
    這些實時數據的能力都要依靠實時計算平臺來提供。從業界來看,實時化的趨勢正在加速,本文將介紹BIGO基於flink的實時計算平臺的建設經驗和成果。二、平臺介紹BIGO實時計算的發展大概分為兩個階段,在2018年之前,實時場景還比較少,實時的作業數量也不多,當時主要採用Spark Streaming來支持。
  • 新一代企業級實時圖資料庫平臺TigerGraph宣布完成3100萬美元A輪融資
    B2B圈訊 11月8日消息 新一代企業級實時圖資料庫平臺TigerGraph宣布完成3100萬美元A輪融資,本輪投資方包括啟明創投、百度、螞蟻金服、華創資本、AME雲創投、莫拉多風險投資公司、佐德·納齊姆、丹華資本和DCVC風投基金公司。
  • VIPKID實時計算技術實踐
    其中場景之一為當出現網絡等異常問題時,用戶就會點擊」Help「按鈕進行求助,此時需要監課人員(以下簡稱「FM」,來自 Fireman 縮寫)立刻介入處理,這對服務人員的規模和操作實時性有較大的需求。從技術上,該自動化業務系統構建在整個數據體系之上,以上課過程中實時標籤數據為基礎,然後由標籤系統應用標籤數據流通過預檢、自檢等手段自動化或半自動化來處理問題。對於系統不能處理的問題,則轉人工處理。
  • 阿里這屆投資者大會,把「高速公路上換引擎」的關鍵講清楚了
    信息流產品「猜你喜歡」進入手機首屏,短視頻內容數量增加,此舉進一步升級了淘寶「逛」的心智,也是阿里對人工智慧技術更強信心的寫照。此外武衛透露,阿里已呈現多引擎增長的趨勢,在CMR和佣金之外的收入佔比已超過了50%。