詳細的六款主流ETL工具介紹及功能對比

2021-01-07 51CTO

 

概述

ETL(Extract-Transform-Load的縮寫,即數據抽取、轉換、裝載的過程),對於企業或行業應用來說,我們經常會遇到各種數據的處理,轉換,遷移,所以了解並掌握一種etl工具的使用,必不可少。最近用kettle做數據處理比較多,所以也就介紹下這方面內容,這裡先對比下幾款主流的ETL工具。

1、DataPipeline

Data Pipeline是一家為企業用戶提供數據基礎架構服務的科技公司,DataPipeline數據質量平臺整合了數據質量分析、質量校驗、質量監控等多方面特性, 以保證數據質量的完整性、一致性、準確性及唯一性,徹底解決數據孤島和數據定義進化的問題。


2、Kettle

Kettle是一款國外開源的ETL工具,純java編寫,可以在Windows、Linux、Unix上運行,數據抽取高效穩定。Kettle 中文名稱叫水壺,該項目的主程式設計師MATT 希望把各種數據放到一個壺裡,然後以一種指定的格式流出。

Kettle家族目前包括4個產品:Spoon、Pan、CHEF、Kitchen。

SPOON 允許你通過圖形界面來設計ETL轉換過程(Transformation)。

PAN 允許你批量運行由Spoon設計的ETL轉換 (例如使用一個時間調度器)。Pan是一個後臺執行的程序,沒有圖形界面。

CHEF 允許你創建任務(Job)。 任務通過允許每個轉換,任務,腳本等等,更有利於自動化更新數據倉庫的複雜工作。任務通過允許每個轉換,任務,腳本等等。任務將會被檢查,看看是否正確地運行了。

KITCHEN 允許你批量使用由Chef設計的任務 (例如使用一個時間調度器)。KITCHEN也是一個後臺運行的程序。


3、Talend

Talend,是一家專業的開源集成軟體公司,為企業提供開源的中間件解決方案,從而讓企業能夠在他們的應用,系統以及資料庫中贏取更大的價值。 在傳統軟體公司提供封閉、私有的解決方案的領域Talend系列軟體以開源的形式進行開發。Talend,可運行於 Hadoop 集群之間,直接生成 MapReduce 代碼供 Hadoop 運行,從而可以降低部署難度和成本,加快分析速度。而且 Talend 還支持可進行並發事務處理的Hadoop2.0。


4、Informatica

Informatica是全球領先的數據管理軟體提供商。在如下Gartner魔力象限位於領導者地位:數據集成工具魔力象限、數據質量工具魔力象限 、元數據管理解決方案魔力象限 、主數據管理解決方案魔力象限 、企業級集成平臺即服務(EiPaaS)魔力象限。

Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 兩大產品,憑藉其高性能、可充分擴展的平臺,可以解決幾乎所有數據集成項目和企業集成方案。

· Informatica PowerCenter用於訪問和集成幾乎任何業務系統、任何格式的數據,它可以按任意速度在企業內交付數據,具有高性能、高可擴展性、高可用性的特點。Informatica PowerCenter包括4個不同版本,即:標準版,實時版,高級版,雲計算版。同時,它還提供了多個可選的組件,以擴展Informatica PowerCenter的核心數據集成功能,這些組件包括:數據清洗和匹配、數據屏蔽、數據驗證、Teradata雙負載、企業網格、元數據交換、下推優化(Pushdown Optimization)、團隊開發和非結構化數據等。

· Informatica PowerExchange 是一系列的數據訪問產品,它確保 IT 機構能夠根據需要隨時隨地訪問並在整個企業內傳遞關鍵數據。憑該能力,IT機構可以優化有限的資源和數據的業務價值。Informatica PowerExchange支持多種不同的數據源和各類應用,包括企業應用程式、資料庫和數據倉庫、大型機、中型系統、消息傳遞系統和技術標準。


5、Datax

DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺,實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種異構數據源之間高效的數據同步功能。

開源地址:https://github.com/alibaba/DataX


6、Oracle Goldengate

GoldenGate軟體是一種基於日誌的結構化數據複製軟體。GoldenGate 能夠實現大量交易數據的實時捕捉、變換和投遞,實現源資料庫與目標資料庫的數據同步,保持亞秒級的數據延遲。

源端通過抽取進程提取redo log或archive log日誌內容,通過pump進程(TCP/IP協議)發送到目標端,最後目標端的rep進程接收日誌、解析並應用到目標端,進而完成數據同步。


7、ETL工具對比

整理成表格如下:



【編輯推薦】

【責任編輯:

武曉燕

TEL:(010)68476606】

點讚 0

相關焦點

  • 用於數據分析的各類主流ETL 工具比較,哪種最適合你
    用於數據分析的各類主流ETL 工具比較,哪種最適合你 工程師飛燕 發表於 2018-06-23 11:25:00 數據提取、轉換與加載(ETL,Extract-Transform-Load
  • 三大主流ETL工具選型
    在此,主要列舉三種主流ETL產品:Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation。其中,ETL Automation相對其他兩種有些特別之處,放在後面評述。
  • 三款商業化原始碼審計工具對比
    網上有很多開源的審計工具,但檢測能力、檢測精度較差,本文結合多年對原始碼檢測產品的了解,介紹三款較為成熟的商業化原始碼檢測產品。  1、 Fortify SCA  Fortify Software公司是一家總部位於美國矽谷,致力於提供應用軟體安全開發工具和管理方案的廠商。
  • 推薦三款功能強大的代碼對比工具!
    一、Beyond CompareBeyond Compare 一款專業的文件對比工具,以其高效率成為IT程序工程師及上班工作人員必備輔助工具。
  • 修圖工具詳細介紹
    介紹完後期常用的幾個功能和示例,今天給大家介紹一些後面的工具,相對之前講的工具,使用頻率可能不是很高,而且名字不太好理解,不過這些工具可以大大改變照片的視覺效果,我們現在來學習吧。曲線(點我跳轉)工具我們有一篇文章已經比較詳細的解釋了,大家如果想詳細了解可以去查看之前的文章。
  • 安卓清理工具哪家強?三款主流清理應用評測
    今天,我們就拿目前主流的手機清理工具——安卓清理大師、獵豹清理大師、360清理大師做橫向評測,看看誰更好用?那麼它們的功能又如何呢?下面小編將通過界面UI、垃圾清理、系統加速等方面來評價三款手機清理應用。一、軟體UI及功能對比軟體UI界面是用戶最先看到的東西,設計風格以及功能布局直接影響用戶體驗。那麼這幾款軟體的軟體界面如何呢?
  • 六款主流清理軟體橫評
    六款主流清理軟體橫評 出處:快科技 2014-03-18 10:38:48     作者:隨心 編輯:隨心[爆料]其中既有老牌的騰訊、百度、360,也有新秀獵豹清理大師,那麼它們的在功能、交 互體驗上孰優孰劣?誰能最大限度上滿足用戶的清理需求呢?筆者挑選了國內用戶最常用的六款手機清理軟體,進行了多個項目的測試。
  • 市面上五款主流排名進銷存軟體橫向對比
    進銷存軟體對於企業日常經營的重要性不用多說,究竟該選擇哪一款進銷存軟體呢?一款一款去下載試用,太費時間不說,單看一方面很難選出適合自己的進銷存軟體。今天,小編就選取了四款主流的進銷存軟體,給大家做一下橫向對比,可以從小編的介紹當中,選擇適合自己的進銷存軟體。
  • 10款主流的軟體測試工具,你用過嗎
    隨著軟體快速交付需求的增長,越來越多的企業開始通過DevOps方法加速軟體開發速度但這樣的話,有時候就無法保證質量,所以今天小編就來給大家介紹10款主流的軟體測試工具,供大家參考。1、UFT / QTPUFT,前身為Quick Test Professional (QTP),是跨平臺測試自動化工具,能為軟體應用程式和環境提供回歸和功能測試自動化。
  • 數據倉庫ETL工具那麼多,其實掌握一個就足夠了
    在維度建模中我們已經了解數據倉庫中的維度建模方法以及基本要素,在這篇文章中我們將學習了解數據倉庫的ETL過程以及實用的ETL工具。一、什麼是ETL?構建數據倉庫的核心是建模,在數據倉庫的構建中,ETL貫穿於項目始終,它是整個數據倉庫的生命線。
  • 六款主流BT軟體橫向評測
    六款主流BT軟體橫向評測 2007年06月20日 00:21作者:菜鳥之王編輯:陳曉峰     隨著技術的不斷發展與成熟,網絡已經成為我們生活中不可或缺的一部分。
  • 商務智能軟體FineBI的ETL處理
    下面將通過商務智能軟體FineBI介紹。比如說我們想要基於業務包外部的數據表添加一個ETL轉換表至BIdemo業務包中,那麼該如何選擇外部數據表呢?業務包,進入BIdemo業務包配置界面,如下圖:在頁面下方點擊+ETL表按鈕即可進入ETL處理界面,如下圖:點擊右上角的添加表按鈕即可添加非業務包內的數據表作為轉化表的基本表,如下隨便選擇一張數據表,比如說a_基本信息數據表,選中它,點擊下一步,頁面跳轉到數據表設置界面,此時顯示的是選中的a_基本信息表的設置界面,頁面左半邊為表數據設置區域,右半邊是當前表進行etl
  • 11款可視化大數據分析工具優缺點對比
    隨著數據使用量的增長,將有更多的人通過數據來尋求專業問題的答案。可視化數據分析工具的出現讓人們可以通過將數據可視化來探討問題、揭示洞見,用數據分享故事。甚至於不懂挖掘算法的人員,也能夠為用戶進行畫像。為了更好地幫助讀者選擇分析工具,本文將為介紹數說立方、數據觀、魔鏡等11款BI-商業智能產品!
  • Beyond Compare文件差異對比工具破解版
    說到文件對比工具,最常用的軟體就是 Beyond Compare,太強大了!強烈推薦!至今沒有發現比它更好用的替代軟體。Beyond Compare因其強悍而獨特的文件比較功能早就聲名鵲起功能上也比較多,下載關注恰鹿回復關鍵詞 文件對比簡易的操作方式,只需用滑鼠點擊幾下,開啟享受般的對比體驗,找出所需差異,同步文件並生成報告,一氣呵成。多文本格式一款不可多得的專業級的文件和文件夾對比工具,它可以支持大多數我們常見的文檔格式。
  • 程式設計師必備6款工具
    都說程式設計師的電腦上有各種各樣的軟體工具、編輯器、插件等等,不同崗位的程式設計師使用的工具也不同,今天小編就給大家分享6款程式設計師必備的工具軟體,看看是不是你們常用的!、自定義熱鍵、括號匹配、代碼片段、代碼對比Diff、Git等特性,支持插件擴展,可通過安裝插件來支持C++、C#、Python、PHP等其他語言。
  • 創想無限 主流手機拍照美化軟體對比評測
    本文評述項:拍照軟體篇,以三款主打拍照功能的軟體為對象,進行相機可調設置種類、特效鏡頭種類、成像效果對比評測;針對美化軟體篇,分別突出簡介各款美化軟體的主流特色功能。拍照軟體相機功能豐富度對比    以下,就以這三款軟體為比較對象,來具體比較一下各自的看家本領。
  • 哪款更值得買?主流27英寸明星2K顯示器對比測評!
    、節能省電、方便使用和性價比等等也是要重點考慮到的,所以,這一次做的是三款主流27英寸明星2K顯示器的橫向對比測評,希望可以給大選擇時多一點參考,儘量讓大家少花冤枉錢。為啥選這三款呢?因為這三款非常有代表性,紙面參數接近,基本代表了主流27英寸2K顯示器的硬體配置水平,不過價格上卻有不小的差異,我們的測評就是為了看一下,這三款顯示是否真的物有所值!
  • Beyond Compare專業文件對比工具-安裝激活詳解
    Beyond compare是一款可以將電腦裡的兩個文件進行對比分析的工具,當你發現自己的電腦上有兩個或者兩個以上的文件在名字和內容非常相似
  • 對比4款主流美顏App,誰才是自拍王者?
    那麼,你需要一款自然不做作的美顏類App!那麼今天,我們將用時下主流的4款美顏App做一次橫向對比,看看哪款美顏App更適合自拍?所以,我們將從清晰程度,可美顏的空間、磨皮效果、變形程度這4個維度來對比4款不同的美顏App,看看它們是否能滿足以上要求。
  • 【CG原畫插畫教程】SAI如何使用詳細功能介紹
    藝學繪小編收集整理了SAI如何使用詳細功能介紹 SAI板繪新手如何入門? 板繪新手怎樣才能熟悉SAI功能介紹?板繪新手用SAI軟體繪畫有哪些技巧?