這些常用ETL批量任務調度平臺框架組件,你都知道幾個?

2021-01-10 聚創說電商

1. Cron-like Scheduler

1.1 Python任務調度框架 APScheduler

一個基於Python,提供類似Cron功能,並深受Java Quartz 影響的輕量級進程內任務調度框架。

圖片源自網絡

Advanced Python Scheduler (APScheduler) is a light but powerful in-process task scheduler that lets you schedule jobs (functions or any python callables) to be executed at times of your choosing.

This can be a far better alternative to externally run cron scripts for long-running applications (e.g. web applications), as it is platform neutral and can directly access your application's variables and functions.

The development of APScheduler was heavily influenced by theQuartz task scheduler written in Java. APScheduler provides most of the major features that Quartz does, but it also provides features not present in Quartz (such as multiple job stores).

框架工具資源:

1.2 任務調度框架 cron4j

cron4j 是一個Java的任務調度框架,類似於UNIX系統下的crontab.

使用示例:

1.3 conclusion:

not web-based applicationneed to programjust only scheduler2. Gearman分布式遠程過程處理框架

2.1Outline

Gearmand 是 Gearman 的作業伺服器組件,Gearman是一個分發任務的程序框架,可以用在各種場合,與Hadoop相 比,Gearman更偏向於任務分發功能。它的 任務分布非常 簡單,簡單得可以只需要用腳本即可完成。Gearman最初用於LiveJournal的圖片resize功能,由於圖片resize需要消耗大量計算資 源,因此需要調度到後端多臺伺服器執行,完成任務之後返回前端再呈現到界面。

圖片源自網絡

2.2 Features

Open Source - It's free! (in both meanings of the word) Gearman has an active open source community that is easy to get involved with if you need help or want to contribute.

Multi-language - There are interfaces for a number of languages, and this list is growing. You also have the option to write heterogeneous applications with clients submitting work in one language and workers performing that work in another.

Flexible - You are not tied to any specific design pattern. You can quickly put together distributed applications using any model you choose, one of those options being Map/Reduce.

Fast - Gearman has a simple protocol and interface with a new optimized server in C to minimize your application overhead.

Embeddable - Since Gearman is fast and lightweight, it is great for applications of all sizes. It is also easy to introduce into existing applications with minimal overhead.

No single point of failure - Gearman can not only help scale systems, but can do it in a fault tolerant way.

3 ETL 商業免費工具: TASKCTL Web應用版

TASKCTL免費Web版作為目前唯一的ETL調度領域商業級免費軟體,保證100% free,絕無黑盒代碼。它志在促進該領域的獨立發展,使調度在ETL領域獨立化、專業化、系統化。從而使項目實施更輕鬆便捷,使企業基礎架構更清晰、更易管理。

圖片源自網絡

(一)主要適用環境

作業系統:aix/linux/unix等(由於採用標準c語言構建,理論上可應用於各種主流unix系列)

項目規模:適用於中小型ETL項目

ETL工具環境:TASKCTL由於採用任務插件驅動機制,因此,可支持各種存儲過程、各種腳本、以及諸如Datastage\Informatica\kettle等各種ETL工具任務。

(二)主要功能

核心調度功能:主要可以完成串行、並行、依賴、互斥、執行計劃、定時、容錯、循環、條件分支、遠程、負載均衡、自定義條件等各種不同的核心調度功能。

擴展功能

網絡擴展:可實現單機部署、多服務部署、遠程代理部署、集群部署等多種網絡部署

應用擴展:技術平臺設計有專門的應用API接口,可實現更多的調度應用。

任務類型擴展:為了適應不同類型的任務調度,平臺可通過具有統一模版、統一接口的插件進行快速擴展。

應用功能:配置功能、流程設計功能、監控功能、各種查詢功能以及諸如重跑、重置等人工幹預功能。

(三) 主要創新

無資料庫設計:國內首款專業無資料庫調度技術平臺。

插件機制:業界唯一通過具有統一應用接口的插件來擴展任務類型的技術平臺。

流程設計代碼開發設計理念:調度領域唯一通過文本代碼設計流程的調度技術平臺。具有語法代碼特徵的文本代碼設計與傳統記錄表格對話框方式相比,操作更方便、設計更靈活、可讀性更強。

相關焦點

  • Apache Airflow 2.0 發布,Airbnb 開源的調度系統
    Apache Airflow 2.0.0 已正式發布,Airflow 是一個靈活、可擴展的工作流自動化和調度系統,可編集和管理數百 PB 的數據流。
  • Airflow任務調度延時問題分析和優化
    但是我們不難發現幾個問題,隨著用戶腳本(dag文件)和工程目錄數量越來越多,我們可能面臨整任務出現了延時調度的現象。舉個例子說明下,假設你設置了一個任務是每天8:00跑,但是你發現到了調度的時候延時到了8:02或者某個DAG上遊節點調度完畢後,下遊節點需要等很久才能得到調度。今天我們就針對這個問題進行相關的分析並提出幾點相關的優化建議。
  • Web經典B/S快速開發框架,強大後臺+簡潔UI一體化開發工具
    整個框架包括三個版本:.net,.net core,java(開發中)以上三個版本中,.NET為初始版本,開發時間最長,是目前老客戶使用的主要產品;.net core為.net的升級版本,為新客戶使用及老客戶升級的主要產品;.net core能夠跨平臺,並且涉及Linux、Docker、Nginx、微服務等概念,將是未來的主流
  • kuapingUI 2.0 版本發布,Bootstrap 4+ 大組件 UI 框架
    kuapingUI 2.0 版本發布,更新了基於bootstrap 4+的組件版本,增加了文本、巨幕、新聞、產品、聯繫、團隊、特徵等數幾十種常用
  • 「集成架構」2020年最好的15個ETL工具(第三部)
    在當前的技術時代,「數據」這個詞非常重要,因為大多數業務都圍繞著數據、數據流、數據格式等運行。現代應用程式和工作方法需要實時數據來進行處理,為了滿足這一目的,市場上有各種各樣的ETL工具。  使用這樣的資料庫和ETL工具使數據管理任務更加容易,同時改進了數據倉庫。  市場上可用的ETL平臺在很大程度上節省了資金和時間。其中一些是商業的、授權的工具,少數是開源的免費工具。
  • ​【醫保知識】9個常用醫保小知識,你知道哪幾個?
    ​【醫保知識】9個常用醫保小知識,你知道哪幾個? 醫保是我們不可或缺的保障但有一些常識經常被我們忽略今天就給大家整理下常用的醫保小知識
  • 2020年5個最佳Vue移動端組件庫|UI框架
    小夥伴們平時開發vue,react或是angular項目,都喜歡使用的什麼UI組件庫呢?今天,就來盤點下,幾個熱門優質的Vue.js移動端UI組件庫。1、Mint UI餓了麼開源的移動端UI組件庫,基於vue.js的移動端UI框架,包含豐富的 CSS 和 JS 組件,能夠滿足日常的移動端開發需求。
  • 盤點5個熱門的web後端開發框架
    目前可選的web後端框架還是比較多的,在這篇文章中,快快小編想為大家分享熱門的5個web後端開發框架,下面就來給大家一個個介紹。1、Symfonysymfony是一個非常穩定的PHP框架,適合大型或複雜的企業級項目。
  • Kubernetes 調度詳解!
    Kubernetes 中有兩個更全面的功能來表達更複雜的調度需求:節點親和力(node affinity),標記容器以將其吸引到一組節點上;taint 和 toleration,標記節點以排斥 Pod。這些功能將在下面討論。
  • 用一個平臺處理多模數據 中國星環科技大數據平臺做到了
    但是這些產品都是孤立的,每一個或者類只能解決一類問題,不得不採用不同種類的資料庫,並把它混在一起,需要將數據複製很多份,成本高,效率低。今天,客戶對這種架構越來越難容忍,希望能用一套大數據平臺,解決各種複雜的數據結構問題。
  • PHP常用框架有哪些
    ZF 的組件結構獨一無二,每個組件幾乎不依靠其他組件。這樣的鬆耦合結構可以讓開發者獨立使用組件。 我們常稱此為 「use-at-will」設計。2、Yii由國人開發的重量級的框架,這個框架把代碼的可重用性發揮到極致。Yii是一個高性能的PHP5的web應用程式開發框架。通過一個簡單的命令行
  • 阿里「NASA」首個重磅武器亮相:機器學習平臺PAI2.0 | 雲棲2017深圳
    文末附雷鋒網整理的阿里雲人工智慧科學家閔萬裡對於PAI平臺的採訪問答。阿里「NASA」首個重磅武器亮相:機器學習平臺PAI2.0:Tensorflow開源算法和模型最豐富;Caffe是經典的圖形領域框架,使用簡單;MXNet分布式性能優異。對於底層計算資源,PAI2.0提供了強大的雲端異構計算資源,包含CPU、GPU、FPGA。在GPU方面,PAI2.0可以靈活實現多卡調度。藉助這些框架以及強大的計算資源,用戶能非常方便地就可以將計算任務下發到對應的分布式計算機群上,實現深度學習模型訓練與預測。
  • 2020年最熱度最高的5個JavaScript框架
    框架的初衷是讓設計可重複使用,並為腳本程式語言提供出色的支持。簡而言之,框架是由一組開發人員編寫的代碼塊,以使整個開發過程變得簡單且易於實現。從業務角度看,它使開發人員能夠滿足相應客戶的需求,並使用框架來解決客戶項目開發階段所面臨的挑戰。
  • 揭秘雲原生優秀實踐:星環科技&運營商容器化大數據能力開放平臺
    目前已在某運營商40餘個省公司、子公司、創新基地投入使用,實現了全國1.2萬個生產任務的調度。同時,引入金融、電商、汽車、網際網路、房地產等十餘行業,60餘個合作夥伴,有效地探索了跨行業數據融合共享新模式。案例背景某運營商作為首家在集團公司層面進行混改的央企,在全球電信發展史上首創了「基礎通信+網際網路」的資本運營合作模式。
  • 微納星空:衛星製造也可以「多快好省」小批量生產
    2017年初還在航天系統工作的幾位創始人敏銳的嗅到了商業航天的機會,成立了微納星空,聚焦衛星研發製造領域。在核心團隊的構建上,微納星空80%以上的員工來自體制內航天系統,均有9-10年的航天工作經驗。微納星空聯合創始人兼副總經理郇一恆「隨著商業航天的興起,我們認為這也是一個非常好的領域。不論是在體制內還是自主創業,都是在為航天強國做貢獻。
  • 超製造預期12個月,毅力號火星車的3D列印組件製造有多困難
    兩枚探測器對3D列印技術的應用都是規模性的,此前已有報導「天問一號」安裝使用了超過100個3D列印定製的零部件,其中包含相當數量的金屬3D列印零件。"毅力號"上採用的金屬3D列印零件也有11個,本期我們介紹的重點就是其中5個金屬零件的製造過程,它們的製造時間超過預期12個月,攻關團隊獲得了豐富的經驗教訓,同時也認識到即使是增材製造也面臨著可製造性的挑戰。
  • 曠視開源深度學習框架「天元」!孫劍:COCO三連冠背後的秘密武器
    剛剛,深度學習驅動之下最早創業的中國AI獨角獸曠視,宣布開源自研深度學習框架MegEngine(Brain++核心組件之一),中文名天元——取自圍棋棋盤中心點的名稱。在發布會上,曠視聯合創始人、CTO唐文斌透露,這也是向AlphaGO致敬。與之前開源的「前輩」框架們不同,曠視開源的AI框架,是其創業、壯大和屢屢刷新業內紀錄的核心驅動引擎。
  • Web前端開發必不可少的9個開源框架
    今天就和大家分享9個流行的、強大的前端開源框架,幫助你輕鬆構建漂亮的網站前端。1、BootstrapBootstrap無疑是最流行的CSS框架,它是最早的Web前端框架,由Twitter開發。Bootstrap還提供了許多實例來幫助你入門。
  • 日語常用口頭禪,你知道幾個?
    哈嘍,大家好,我是超元輔導員,喜歡學習日語的小夥伴們,除了正常的日語學習外,對於那些日本人經常用到的口頭禪,大家又知道多少呢?今天超元輔導員就為大家帶來了日本人常用的幾句口頭禪,快來看看你知道幾個吧!NO.1「ごめん」相信大家對於這一口頭禪都不陌生,其實在日本,大部分人都有道歉的習慣,雖然這句話嚴格來說並不算是口頭禪,但是用的人多了,也就當成口頭禪的,而且很多不需要道歉的時候,依舊會有人用這句話。比如:1、さきはごめんね。(剛才抱歉了)。2、ごめん、先日約束を守らなかった。(對不起,前些天爽約了)。
  • SpringMVC框架是幹什麼的?有哪些優點?
    目前企業當中有80%的項目使用的都是SpringMVC框架,這麼多公司都使用SpringMVC框架來開發項目,SpringMVC框架必然有他的過人之處。今天讓我們一起來看看SpringMVC框架是幹什麼的,有哪些優點。