Apache Kylin v3.0.0-alpha 正式發布

2020-12-25 開源中國

Apache Kylin v3.0.0-alpha 正式發布!歡迎大家下載使用。在這個版本中,值得關注的是:

  • 3.0.0-alpha 增加了對流式數據源進行實時查詢的能力,詳情可以查看KYLIN-3654;

  • 在KYLIN-3795中,我們使用Livy Rest API提交Spark Job,從而免除本地安裝Spark客戶端配置的麻煩;

  • KYLIN-3820增加了新的基於Zookeeper的作業調度器。

Apache Kylin 是一個開源的分布式分析引擎,提供 Hadoop 之上的 SQL 查詢接口及多維分析(OLAP)能力,支持對超大規模數據進行亞秒級查詢。

關於Release Notes

Apache Kylin v3.0.0-alpha 是繼 v2.6 版本後的一次重大更新,詳情請訪問 release notes 連結

重要特性

[KYLIN-3654] - Kylin Real-time Streaming

藉助新增加了Receiver集群,Kylin實現了毫秒級別的數據準備延遲,可以實時查詢來自Kafka數據源的消息,關於如何在本地運行請參照:http://kylin.apache.org/docs30/tutorial/realtime_olap.html

[KYLIN-3795] - Submit Spark jobs via Apache Livy

Spark 作業的提交通過RestAPI來向Livy Server提交,而無需在本地啟動Spark Driver進程,從而方便對Spark資源的管理監控,同時也降低對Kylin進程所在節點的壓力。

[KYLIN-3716] - FastThreadLocal replaces ThreadLocal

使用FastThreadLocal替代ThreadLocal,可以一定程度上提升Kylin的整體性能。

[KYLIN-3867] - Enable JDBC to use key store & trust store for https connection

通過使用HTTPS,保護了JDBC使用的身份驗證信息,使得Kylin更加安全。

[KYLIN-3905] - Enable shrunken dictionary default

默認開啟shrunken dictionary,針對高基維進行精確去重的場景,可以顯著減少構建用時。

[KYLIN-3820] - Add a curator-based job scheduler

新增一種作業調度器,可以自動發現Job節點,並且可以實現自動故障恢復。

[KYLIN-3839] - Storage clean up after the refreshing and deleting a segment

更加及時地清除不必要的數據文件

故障修復

[KYLIN-3800] - Real-time streaming count distinct result wrong 

修復了Realtime OLAP精確去重結果不正確的問題

[KYLIN-3759] - Streaming ClassNotFoundExeception when lambda is enable in MR job

修復了Realtime OLAP lambda不能正確構建segment的問題

[KYLIN-3821] - Expose real-time streaming data consuming lag info

使得Realtime OLAP 可以顯示當前消費滯後的情況

[KYLIN-3909] - Spark cubing job failed for MappeableRunContainer is not registered

修復了Spark Cubing中精確去重出現的缺少類註冊的問題。

[KYLIN-3916] - Fix cube build action issue after streaming migrate

修複合並Realtime OLAP這部分代碼後,前端無法顯示cube操作的問題

關於下載

下載 Apache Kylin v3.0.0-alpha 原始碼及二進位安裝包,請訪問下載頁面:

 

關於升級

升級至 ApacheKylin v3.0.0-alpha 版本,請參見升級指南:

 

關於支持

升級和使用過程中有任何問題,請提交至 Kylin 的JIRA:

 

或發送郵件至 Apache Kylin 郵件列表:

user@kylin.apache.org

相關焦點