DolphinScheduler介紹

2021-02-21 ALC Beijing

DAG 全稱Directed Acyclic Graph,簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來,從入度為零的節點進行拓撲遍歷,直到無後繼節點為止。

Apache DolphinScheduler(目前處在孵化階段)是一個分布式、去中心化、易擴展的可視化DAG工作流任務調度系統,其致力於解決數據處理流程中錯綜複雜的依賴關係,使調度系統在數據處理流程中開箱即用。

DolphinScheduler是2019年開源的一個調度系統,在去年美國時間2019年8月29號,分布式任務調度引擎DolphinScheduler(原EasyScheduler)正式通過頂級開源組織Apache基金會的投票決議,以全票通過的優秀表現正式成為了Apache孵化器項目!

在2017年,易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調度任務的大數據平臺時,受到ETL複雜的依賴關係、平臺易用性、可維護性及二次開發等方面掣肘,易觀的技術團隊渴望找到一個具有以下功能的數據調度工具:

易於使用,開發人員可以通過非常簡單的拖拽操作構建ETL過程。不僅對於ETL開發人員,無法編寫代碼的人也可以使用此工具進行ETL操作,例如系統管理員和分析師;解決「複雜任務依賴」問題,並且可以實時監視ETL運行狀態;支持多租戶;支持許多任務類型:Shell,MR,Spark,Flink,SQL(mysql,postgresql,hive,sparksql,clickhouse等),DataX,Sqoop,Python,Sub_Process,Procedure等;支持HA和線性可擴展性。易觀技術團隊意識到現有開源項目沒有能夠達到他們要求的,因此決定自行開發這個工具。他們在2017年底設計了DolphinScheduler的主要架構;2018年5月完成第一個內部使用版本,後來又迭代了幾個內部版本後,系統逐漸穩定下來。

萬丈高樓平地起,從項目啟動的那一刻,我們就確定了開源的目標,從那一刻,開源的種子就種在了每一位項目成員的心中,它是一個使命, 也是所有人的共識和承諾。

要採用模塊化的設計,這樣才能便於開源後的協同開發;要選用開源的技術組件,這樣才能便於開源後讓更多的開發者參與進來;大道至簡,一定要做到開箱即用,我們調度的名字就叫EasyScheduler。… 就這樣,伴隨著每一位的手舞足蹈,熱情澎湃和唇槍舌劍,2017年12月在北京市朝陽區恆通商務園B12棟3層辦公室裡,拉開了EasyScheduler的序幕。

使命必達、分秒必爭,每一位夥伴都自動自發、隨時待命。

2018年5月,EasyScheduler在易觀千帆成功上線使用。

2019年3月,開放給外部種子用戶使用,正式發布第一個開源版本1.0.0。

2019年5月,相繼推出了1.0.1、1.0.2和1.0.3版本。

開源的種子早已種下,只有破土而出,才能紮根於大地。ASF作為全球最大的開源基金會,一直致力於開源軟體生態的營造,讓軟體技術能夠在全球共享,這是ASF無比耀眼的魅力所在。

我們要紮根ASF,我們要進入到全球最大的開源組織,讓我們的項目在全球共享,於是我們決定正式探索Apache開源孵化之路。

這是一個0到1的問題,這是一個需要拿到入場券資格的問題,那麼如何才能夠進入Apache呢?一個項目如果希望進入到Apache孵化器,至少需要1名Champion和2名mentor。所以我們的第一個難題就是如何找到champion和mentor. ASF孵化器擁有導師200多位,然而活躍的中國導師不超過5位,ALC Beijing也沒有成立,我們只能四處詢問,八方求援,經歷了無數次的嘗試,甚至出現了一絲絲的動搖, 但是我們馬上就想到團隊每一個人的付出和努力、想到那些默默支持我們前行的用戶、想到一開始就種在我們心中的開源之夢, 我們堅信有信念就一定有遠方,有夢想就一定有希望,我們堅信彩虹一定會出現,最終我們幸運地迎來了我們的champion和mentor。

至今仍清晰記得初見吳晟老師的場景:吳晟老師用了將近一下午的時間給我們普及了Apache孵化器的一些標準和Apache Way,我們也從最開始的喜悅興奮變為了默默沉思。第二個迎頭重擊就是Apache的license協議遵從,我們需要檢查所有的依賴是否符合license許可,否則就需要修改,於是又經過了幾個月的重構和升級。這裡還有一個小插曲,我們在申請進入Apache孵化器過程當中,發現Easy Scheduler不是全球唯一的名字,於是又進行了投票最終選中了 DolphinScheduler.

所幸我們一直堅定著信念,天道酬勤,當美國時間2019年8月29號DolphinScheduler全票通過正式成為Apache孵化器項目的時候, 每個人都洋溢著開心的笑容,但是我們又很快的冷靜下來,真正的Apache Way也許才剛剛開始。

第一次的Apache release,是孵化過程中很重要的一個裡程碑。DS用了4個月的時間發出了第一個Apache release,一個很大的原因 就是起初代碼層面上關注較多,而Apache對於license和商標有著近乎嚴苛的要求,在release的時候會進行非常仔細地檢查, 字體的版權或者某個前端組件使用的license不合規範都會結束一周左右的發版流程。

經歷過第一次Apache release發版後,會對Apache Community Over Code的名言有著更切身的體會,成功的開源項目最重要的因素就是:社區、社區還是社區。時間仿佛回到了吳晟老師給我們首次講述Apache Way的那個下午:「Apache 是一個透明、開放的社區,需要讓工作的人來決定;如果一件事情沒有出現在郵件列表中,那它就沒有發生;Apache 社區是一個公開、平等、精英治理的社區;Apache更多的是給一個思路,很多時候沒有一個固定的規則和流程。。。」

感謝吳晟老師、史少峰老師、陳亮老師、Furkan Kamaci老師和Kevin Ratnasekera老師。感謝每一位使用過DS的用戶、每一位參與過DS社區貢獻的夥伴,感謝你們願意犧牲自己寶貴的時間與我們一同前行,一個star,一個issue, 一篇文章、一行代碼、一封郵件列表,參加一場meetup的舉辦,這都是我們一起同在的見證!也期待更多的夥伴加入到DS社區, 我們一起披荊斬棘、一起高歌猛進!一起經歷風雨、一起見證勝利!

相關焦點

  • 圖解 kubernetes scheduler 源碼設計系列-初步了解
    scheudler是kubernetes中的核心組件,負責為用戶聲明的pod資源選擇合適的node,同時保證集群資源的最大化利用,這裡先介紹下資源調度系統設計裡面的一些基礎概念
  • sched 模塊中巨好用的輕量級定時任務神器scheduler!
    Python 提供有一個強大的、可用來定義執行任務調度的 sched 模塊,該模塊中含有一個 scheduler 類,可用來執行更複雜的任務調度
  • Apache DolphinScheduler 是如何誕生的
  • Scheduler Framework 初探
    下面簡單介紹下每個擴展點:Sort(QueueSort):用於給調度隊列排序,但只有一個是生效的,即如果註冊了多個,只有一個是可用的。github.com/angao/scheduler-framework-sample日前,Kubernetes v1.17 正式發布,Scheduler Framework 內置的預選和優選函數已經全部插件化,但調度器的配置還是以 Policy 的方式為主。
  • (一)Quartz介紹
    官網地址:http://www.quartz-scheduler.org/二、Quart特點三、Quart設計模式Quart中使用的設計模式如下:Builder模式Factory模式組件模式鏈式模式四、Quart體系結構Quartz 設計有四個核心類,分別是Scheduler(調度器)