Apache Kylin v3.0.0-alpha 正式發布!歡迎大家下載使用。在這個版本中,值得關注的是:
3.0.0-alpha 增加了對流式數據源進行實時查詢的能力,詳情可以查看KYLIN-3654;
在KYLIN-3795中,我們使用Livy Rest API提交Spark Job,從而免除本地安裝Spark客戶端配置的麻煩;
KYLIN-3820增加了新的基於Zookeeper的作業調度器。
Apache Kylin 是一個開源的分布式分析引擎,提供 Hadoop 之上的 SQL 查詢接口及多維分析(OLAP)能力,支持對超大規模數據進行亞秒級查詢。
關於Release Notes
Apache Kylin v3.0.0-alpha 是繼 v2.6 版本後的一次重大更新,詳情請訪問 release notes 連結
重要特性
[KYLIN-3654] - Kylin Real-time Streaming
藉助新增加了Receiver集群,Kylin實現了毫秒級別的數據準備延遲,可以實時查詢來自Kafka數據源的消息,關於如何在本地運行請參照:http://kylin.apache.org/docs30/tutorial/realtime_olap.html
[KYLIN-3795] - Submit Spark jobs via Apache Livy
Spark 作業的提交通過RestAPI來向Livy Server提交,而無需在本地啟動Spark Driver進程,從而方便對Spark資源的管理監控,同時也降低對Kylin進程所在節點的壓力。
[KYLIN-3716] - FastThreadLocal replaces ThreadLocal
使用FastThreadLocal替代ThreadLocal,可以一定程度上提升Kylin的整體性能。
[KYLIN-3867] - Enable JDBC to use key store & trust store for https connection
通過使用HTTPS,保護了JDBC使用的身份驗證信息,使得Kylin更加安全。
[KYLIN-3905] - Enable shrunken dictionary default
默認開啟shrunken dictionary,針對高基維進行精確去重的場景,可以顯著減少構建用時。
[KYLIN-3820] - Add a curator-based job scheduler
新增一種作業調度器,可以自動發現Job節點,並且可以實現自動故障恢復。
[KYLIN-3839] - Storage clean up after the refreshing and deleting a segment
更加及時地清除不必要的數據文件
故障修復
[KYLIN-3800] - Real-time streaming count distinct result wrong
修復了Realtime OLAP精確去重結果不正確的問題
[KYLIN-3759] - Streaming ClassNotFoundExeception when lambda is enable in MR job
修復了Realtime OLAP lambda不能正確構建segment的問題
[KYLIN-3821] - Expose real-time streaming data consuming lag info
使得Realtime OLAP 可以顯示當前消費滯後的情況
[KYLIN-3909] - Spark cubing job failed for MappeableRunContainer is not registered
修復了Spark Cubing中精確去重出現的缺少類註冊的問題。
[KYLIN-3916] - Fix cube build action issue after streaming migrate
修複合並Realtime OLAP這部分代碼後,前端無法顯示cube操作的問題
關於下載
下載 Apache Kylin v3.0.0-alpha 原始碼及二進位安裝包,請訪問下載頁面:
關於升級
升級至 ApacheKylin v3.0.0-alpha 版本,請參見升級指南:
關於支持
升級和使用過程中有任何問題,請提交至 Kylin 的JIRA:
或發送郵件至 Apache Kylin 郵件列表:
user@kylin.apache.org