「金猿產品展」CKettle——通用組態式大數據交換平臺

2020-12-27 數據猿DataYuan

本產品由重慶通信建設投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。

CKettle是一款跨平臺、高效、穩定且易擴展的數據交換平臺，由中國通服工業網際網路（大數據）研究院在Kettle社區版的基礎上二次開發而來，是一套國產化、代碼可控的數據ETL方案，豐富的插件支持主動採集資料庫、網際網路、文件等各種來源的數據，也可通過發布Rest接口實時被動收集數據，支持豐富的數據清洗轉換方式和各種格式的數據輸出，插件商店支持在線搜索、查看、安裝與卸載，提供了流程式界面設計器，輕鬆方便的實現數據交換過程的定製。圍繞CKettle，團隊還打造了其專屬的全方位交流學習生態圈，擁有專職技術人員提供專業支持，具備論壇、Q群多渠道實時交流，具備文檔或視頻多方式生動教學。

上線短短幾月CKettle已通過了統信UOS、華為鯤鵬桌面雲V8、中科方德高可信伺服器作業系統V4.0及方德桌面作業系統V3.1等多方兼容性認證，在國產化的道路上穩步前進，未來可期。

應用場景/人群

面向人群：對數據清洗、數據轉換等數據處理操作有需求的個人或政企用戶。

應用場景：個人用戶可應用CKettle作為ETL工具輔助工作生活中的數據處理，幫助提升工作效率；政企用戶可依靠CKettle的定製開發搭建專屬數據處理平臺，提升全企工作效率，推動企業高速發展。

產品功能

CKettle擁有豐富的插件，提供Cassandra、ElasticSearch等新興大資料庫插件，提供郵件收發，SSH遠程控制，日誌讀寫，數據流阻塞、追加、中止，數據倉庫，各類資料庫批量加載等基礎插件，支持主動採集資料庫、網際網路、文件等各種來源的數據，支持通過發布Rest接口實時被動收集數據，支持豐富的數據清洗轉換方式和各種格式的數據輸出；擁有插件商店版塊，支持在線搜索、查看、安裝與卸載，提供了流程式界面設計器，輕鬆方便的實現數據交換過程的定製。

新增重點工具CKettle-Hotpot，實現了對CKettle的調度與監控，通過節點管理、資源庫管理、任務調度、運行監控四大模塊，結合Web圖形界面，改善了對伺服器節點、Carte節點的管理，擴展了文件資源庫的功能，開發了強大靈活的定時控制任務調度功能，同時以儀錶盤展現形式保障了對各種節點及任務的運行監控，具備任務執行過程的在線分析功能。

產品優勢

CKettle產品以Kettle8.0為基礎二次開發而來，針對Kettle進行了漢化和功能增加等，更適用於國內政企的數據處理場景。相較開源Kettle而言，CKettle更快、更小、更準，通過細節的功能打磨使得更便於國內政企使用，同時提供開源軟體不具備的專業維護環境，打造了全方位的交流學習生態圈，提供專業技術人員通過文檔、視頻、實時答疑等方式幫助用戶學習了解CKettle以及提供更針對性的定製化開發功能。

對比目前目前國內已面世的幾款ETL工具，例如HaoheDI, DataPipeline, 金蝶AETL等，他們均未做與國產系統的適配兼容性，也未面向網際網路用戶開發和推廣，而CKettle在上線不足四個月的時間內就已經通過了統信UOS、華為鯤鵬桌面雲V8、中科方德高可信伺服器作業系統V4.0及方德桌面作業系統V3.1等多方兼容性認證，完成了與國內幾大重要系統的適配兼容，未來可以依靠這些國產伺服器或操作桌面系統完成更靈活、便捷的數據ETL方案開發。

使用客戶/人群

2020年度重要代表性客戶名稱：重慶市經濟和信息化委員會。CKettle通用組態式大數據交換平臺聯合公司通服數聚大數據平臺，完成了重慶市經濟和信息化委員會牽頭的重慶市工業經濟大數據平臺建設，成功助力重慶工業經濟的高質量發展。該項目也經歷了中央巡視組、重慶市副市長、全市經信體系、發改委等多層級領導蒞臨視察，獲得一致好評。

在同重要政企合作的同時，CKettle也全面面向網際網路用戶進行了開放，CKettle 2.0版本經過平臺化和國產化的一系列改進完善後，結合網際網路上的初步推廣，到目前為止（2020年11月30日）平臺已經有約766位用戶註冊、工具下載次數共計13953次，日均訪問量約有1000次，社區與技術交流群活躍度表現較好。

市場價值

CKettle的面世，為國內政企用戶提供了更易到達和維護的、符合國內生產環境的數據ETL處理方案，同時面向網際網路個人用戶提供了學習運用ETL工具到生活生產中的機會，有利於所有CKettle用戶提升對數據的處理效率從而提升政企或個人的經濟價值，十分有利於推動我國社會數字經濟的發展。

產品所屬企業·重慶通信建設：

重慶市通信建設有限公司系中國通信服務股份有限公司旗下的重慶市通信產業服務有限公司的子公司，公司成立於1952年，距今近60年通信施工管理歷程，主要從事程控交換、寬帶數通、通信電源、光電傳輸、光纜幹線、通信管道、移動通信、鐵塔安裝、網規網優、網絡維護、勘察設計、系統集成、動力環境監控、土建及配套等業務。擁有中國電信、移動、聯通及政企客戶四大目標市場，並長期與華為、中興、愛立信、艾默生、朗訊、上海貝爾阿爾卡特、思科等國內外著名設備製造商合作。業務遍及重慶全境，輻射四川、雲南、貴州、西藏等周邊省份及部份中東部地區，是名符其實的西部施工龍頭企業。

公司先後取得「通信工程專業承包一級」、「計算機信息系統集成一級」、「涉及國家秘密的計算機信息系統集成乙級」、「通信信息網絡系統集成甲級」、「智能建築化專業承包一級」和ITSS等資質。擁有質量、環境和職業健康安全管理體系認證。

從2005年起，連續五年獲重慶市高新區工商分局「高新企業年檢免檢資格」和市工商局「守合同重信用企業」稱號;被市經濟和信息化委員會評為「誠信系統集成企業」。2008年代表重慶通信業界參與汶川抗震搶險被中華全國總工會授予「工人先鋒號」光榮稱號。

2017年順利通過CMMI3認證。2020年11月3日通過CMMI5級認證，成為重慶首家按照CMMI-DEV V2.0標準評估為五級的企業,標誌著公司軟體研發能力與管理水平已達到國際最高標準，具備全球頂級的軟體成熟度及軟體項目管理能力。

相關焦點

  • 「金猿產品展」朗數大數據中臺——全方位一站式大數據服務平臺
    本產品由天津卓朗投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。卓朗朗數大數據中臺軟體（簡稱「朗數」）是天津卓朗科技發展有限公司自主研發的一款面向企業應用的輕量級、開放式、一站式大數據中臺產品，旨在幫助用戶快速採集數據、整理數據、構建PB級數倉並進行數據服務及數據資產管理。
  • 「金猿產品展」佰聆數據·聆鑑——大數據標籤運營平臺
    本產品由佰聆數據投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。聆鑑是集標籤建設、管理、畫像分析應用、業務策略設計於一體的綜合標籤運營平臺，以標籤為手段實現業務對象的「超細分」。有效支撐差異化的服務和運營，促進業務精準化、個性化，支撐數據中臺運營過程中更好地洞察客戶需求、優化產品設計、防控業務風險、創新優質服務。
  • 【金猿產品展】Yonghong Z-Suite——一站式大數據分析平臺
    本產品由永洪科技投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。 永洪一站式大數據分析平臺Yonghong Z-Suite是完整的數據分析系統套件，由敏捷BI、MPP數據集市、AI深度分析、報表等組成。全面覆蓋數據分析過程中的各個環節，包括數據採集、清洗、整合、存儲、計算、建模、訓練、展現、協作等，讓用戶可以在一個統一的平臺上完成全流程數據分析任務，極大降低了實施、集成、培訓的成本。
  • 「金猿投融展」及刻——用大數據為商業賦能
    基於龐大的線下場景覆蓋規模以及卓越的數據治理能力，及刻致力於構建「大數據洞察及數位化運營」服務體系，現已面向購物中心、零售品牌、廣告等行業提供解決方案，服務客戶超過200家，成功助力經營者提升效率，賦能商業增長。及刻目前已獲得曼圖資本、復星銳正資本、海通創意資本、極光大數據等投資機構及上市公司的投資。
  • 「金猿產品展」詢盤雲Marketing CRM——賦能外貿企業業務增長
    本產品由詢盤雲投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。詢盤雲Marketing CRM，是一款圍繞外貿企業的客戶旅程，打通營銷鏈路上所有觸點的SaaS系統。
  • 醫療App、穿戴設備盛行 惟缺數據交換通用標準
    而因應不同平臺和產品之間的數據交換，通用標準制定的需求也隨之增加。日前，在美國波士頓舉行的一場聯網健康會議(Connected Health Conference)上專家們指出，與傳統醫生開醫藥處方相較，運用穿戴式設備更有潛力和機會讓正確的醫藥在正確的時間送給正確的病患。
  • 什麼是數據交換管理平臺?
    首先來個比較官方的定義，數據交換管理平臺是指將分散建設的若干業務系統進行整合，以實現若干個業務子系統之間數據或者文件的傳輸和共享，提高信息資源的利用率，保證了分布在異構系統之間的信息的互聯互通，完成數據的採集、集中處理、分發、加載、傳輸，構造統一的數據及文件的傳輸交換，用於全面支撐數據服務平臺
  • 從金融徵信到產業運維,「金電聯行」推出通用型大數據智能平臺
    公司逐漸以抽象化、平臺化的產品為主，使客戶自主應對中低複雜程度的場景，從而快速產生業務價值。  技術開發層面，金電聯行將人工智慧與大數據結合，依託大數據將基於人和內部流程驅動的流程化系統向智能決策系統轉變。公司研發的大數據應用系統圖如下，
  • 【金猿產品展】ModelWhale——高效好用的數據科學雲端協作工具
    本產品由和鯨科技投遞並參與「數據猿年度金猿策劃活動——2020大數據產業創新服務產品榜單及獎項」評選。同時，讓研究所的科研人員快速進行數據建模、數據挖掘、模型訓練等工作，最大化釋放醫學數據的研究價值，和鯨為其搭建了一個教學和科學研究一體化的醫學數據挖掘平臺，此平臺依託於 ModelWhale 可按需配置應用模塊的定製化功能，通過給學生和科研人員帳號配置不同模塊，實現教學和科研功能的區分，並幫助學院領導與導師在一個平臺完成科研任務、教學任務的統一和協同管理。
  • 交易平臺的增長:你的商業模式,先談價值交換,才有商業變現
    我在這裡嘗試用三個相對更精準的概念來幫助大家拆解和更深地理解商業模式，它們分別是「Value exchange mode」價值交換模式，「Monetization model」變現模式，「Profitablity model」盈利模式，我們來詳細說說每個模式。
  • 通過數據交換平臺解決企業數據問題
    什麼是數據交換平臺 數據交換平臺就是把不同來源、不同特性的數據在邏輯上和物理上有機地集中，從而為企業應用系統提供全面的數據共享。通過數據交換平臺解決企業數據一致性和數據可靠傳輸問題，打破企業信息孤島，建立企業數據中心，最終實現數據的共享發布應用。
  • 「浙江數安」推出「中立國」大數據聯合計算平臺,公司背景融合國企...
    當前要幫各行業解決數據流通和安全問題，第三方技術提供商需要提供能滿足需求的數據處理產品，積累上下遊資源，以及向上下遊證明公司本身的可信性。「浙江數安」當下的產品為「中立國」大數據聯合計算平臺，這一產品的技術理念是「三極體原理」，「三極體的典型特徵是把信號進行放大，進行傳遞，對我們來說就是實現數據價值的流通，但是元數據不可見，從而保證元數據的安全。」
  • 南大通用分布式事務型資料庫GBase 8c滿分通過工信部標準測評
    2020年12月11日，中國信通院第十一批「大數據產品能力評測」評審會在北京圓滿結束。南大通用分布式交易型資料庫產品GBase 8c在基礎能力、兼容能力、管理能力、高可用、擴展能力、安全能力等50個方面，均滿足資料庫管理平臺基礎能力測試要求，以滿分的優異成績通過「第11批大數據產品能力測評」分布式事務資料庫能力認證。GBase 8c是南大通用在十餘年分布式資料庫研發積累的基礎上，全新打造的新一代分布式交易型資料庫管理系統。
  • 基於SOA的數據共享與交換平臺設計方案
    3)由於部門的級別不同，應用範圍比較大，數據信息的安全沒有保證。針對數據信息操作的靈活性問題，有學者提出了根據不同需求，採用有針對性的開發格式從而減少操作的複雜性的設想，取得了一定效果。針對數據系統異構問題，有人提出採用Web Service和企業服務總線ESB來解決各個數據系統的實時協同問題，現在已經得到了應用。
  • 析通用電子產品功能測試平臺設計方案
    本文分析當前電子產品測試中普遍存在的問題，提出一套通用電子產品功能測試平臺，利用COM技術實現，所謂COM（Component ObjectModel，組件對象模型），是一種說明如何建立可動態互變組件的規範，此規範提供了為保證能夠互操作，客戶和組件應遵循的一些二進位和網絡標準。
  • 聚焦數據安全,「昂楷科技」獲「奇安投資」獨家投資
    36氪獲悉， 專注數據安全的深圳昂楷科技有限公司（即「昂楷科技」）今日宣布獲得「奇安投資」的獨家投資，這也是「昂楷科技」首次引進具有產業背景的機構投資者。「昂楷科技」CEO劉永波表示，此次融資完成後，昂楷將加速公司發展、加速發展數據安全治理解決方案的研發和服務升級，擴大銷售渠道建設，為客戶及合作夥伴提供更加完善的數據安全治理解決方案。數據安全是近年來網絡安全領域中的熱門賽道，隨著數位化進程，全球各地數據洩露和數據濫用事件頻發，各國對數據安全的重視程度不斷提升。
  • 顛覆傳統轉診流程,醫療諮詢平臺「RubiconMD」獲 1800 萬美元 C 輪...
    「RubiconMD」官網據外媒報導，近日，總部位於紐約的數字醫療諮詢平臺「RubiconMD」獲得了 1800 萬美元 C 輪融資。迄今為止，「RubiconMD」的融資總額超過了 4000 萬美元「RubiconMD」由 Gil Addo 和 Carlos Reines 創立於 2013 年，總部位於紐約，是一個數字諮詢平臺，提供健康管理解決方案。
  • 正展逸園營銷中心—關於後期發展規劃「正展·逸園」開發商!震撼發售
    正展逸園營銷中心—關於後期發展規劃「正展·逸園」開發商！震撼發售關於坂田「正展·逸園」開發商正展逸園位於深圳市龍崗區坂田，由深圳市正展實業有限公司建成，總建築面積50650，總佔地面積19911，共計房屋122戶。
  • 通用技術集團精彩亮相2020年中國國際信息通信展
    近年來，通用技術集團著力發展先進位造與技術服務、醫藥醫療健康、貿易與工程承包三個核心主業。通用技術集團此次將在5G應用（車聯網）、智慧醫療、渠道分銷和電子融合產品、工業網際網路（生產線數控）、化纖行業基於工業網際網路平臺的智能製造解決方案等5大熱點領域，夯實新基建，展示新應用，充分展示傳統製造企業向高新技術領域的轉型升級提質增效，全面體現中國特色、國際視野。
  • Pokemon Go新增「好友」系統,「交易」系統!
    贈送友情禮物，和朋友一起參加團體戰或道館對戰可以提升「友誼等級」。友誼等級越高，和朋友一起玩遊戲時能獲得的獎勵就越多。友誼等級分做「朋友，好朋友，給力好朋友，麻吉好朋友，正港好朋友」五個等級。舉例來說，如果和友誼等級為「給力好朋友」的朋友一起參加團體戰或道館對戰，進行攻擊時可獲得「攻擊獎勵」，讓你們的形勢更加有利。當然，和朋友交換寶可夢也能提升友誼等級。