數據量爆棚難以負荷，Kyligence利用人工智慧打造新一代數據分析平臺
2019-01-11 12:46 Kyligence 大數據分析
Kyligence已經為金融，電信，零售，智能製造，能源等行業的企業提供下一代企業級智能數據倉庫及融合大數據分析平臺解決方案。
成立Kyligence之前，韓卿曾任eBay全球分析基礎架構部大數據產品負責人、Actuate中國首席顧問等職。
同時，他也是首個來自國內的Apache軟體基金會頂級項目VP，首個來自中國的Apache頂級開源項目，Apache Kylin的創建者及項目委員會主席(PMC Chair)，負責Kylin的戰略規劃、發展路線圖及產品設計等，並致力於發展 Apache Kylin 全球社區，構建生態系統及推廣等。
憑藉著在大數據、數據倉庫、商業智能、數據分析等領域擁有豐富的經驗，韓卿發現Kylin項目在商業領域的需求非常大，有著很多外部需求，這些需求遠遠超過他們當時團隊的工作職責。
另一方面，成功的開源項目背後都有一個好的創業公司，只有這樣才可以更健康地發展社區，更好地促進生態建設，讓更多客戶去使用開源項目。
「我們希望在整個大數據行業裡面，有一家專門做底層技術的創業公司能夠在行業內做些突破，做點不一樣的事情。這些是我們創立Kyligence的初衷。」
於是韓卿帶領Kylin核心團隊，於2016年3月在上海成立了Kyligence公司。Kyligence是一家專注大數據分析的創新型公司，可以為企業提供基於Apache Kylin的下一代企業級數據倉庫及商務智能大數據分析平臺和解決方案。
數據量爆棚的時代，傳統數據倉庫需要變革
韓卿告訴i黑馬＆數字觀察，1990年前後，數據倉庫技術理論被提出，這個理論認為應該把企業各個分散的業務數據整合起來，構建一個統一的數據倉庫，為企業分析和應用分析提供一個統一的平臺，企業能夠在這個平臺上構建整個分析應用。
目前，這項技術已經變成了絕大部分行業客戶的基礎技術，像金融、運營商、零售等行業的業務分析都已經構建在這樣的基礎技術之上了。以金融行業為例，銀行要進行各種各樣的分析，尤其是風控分析，都需要建立在對不同業務模塊數據的統一分析之上。
不過，2006年後開始，雲計算的蓬勃發展，各個領域的企業都紛紛開始上雲，由此很多的數據不斷地大量湧現，這時候企業如果在雲上建一個分析倉庫，就要面臨各種挑戰。
首先，數據體量變得越來越大，呈現越來越多樣性和複雜性的特質。但傳統的數據倉庫與應用系統是分開的，用戶做分析做工程時，基本上是從每塊業務數據那裡直接把數據拿過來進行分析就行了。這樣操作的問題在於，要把這麼多不同的業務數據整合到一起是一個巨大的挑戰。
其次，存儲的成本和性能上，原有的數據倉庫技術已經不能滿足企業快速增長的業務需求。「傳統的建模方式，是需要通過漫長的數據轉換過程，把轉換後的數據放到數據倉庫裡，最後基於這樣的倉庫，企業還要建非常多的分析模型、報表、預測，通常這樣的項目要耗費大量人力，花費好幾個月的時間，甚至是用年來計算的。」
第三，雖然業界推出了依靠更加專業的數據科學家來解決問題的解決方案，但本質上還是在依賴大量的人工進行工作，如果沒有革新性的變化的話，人力是不會被解放出來的，那這個行業也不會發生根本性的改變。
「未來的數據分析也應該是融合的，不需要關心這個數據的來源，而將更多的精力放在關注數據所帶來的業務決策上，這就是Kyligence正在不斷優化和創新的融合、智能數據倉庫。」
產品圖1：15倍性能提升的同時節省50%空間
Kyligence做的事情是基於Apache Kylin，為企業客戶提供下一代企業級數據倉庫及商務智能大數據分析平臺和解決方案，從私有部署到雲計算平臺，都能使用戶在超大規模數據集上獲得極速的洞察能力，以釋放數據價值，驅動業務增長。
打造企業級大數據分析平臺
i黑馬＆數字觀察了解到，Kyligence的核心產品是基於Apache Kylin的企業級智能大數據分析產品Kyligence Enterprise。這是一個基於Hadoop的企業級智能大數據分析平臺，可以為業務分析師、數據科學家和 IT 工程師提供融合的、智能的分析平臺。
簡單來說，Kyligence Enterprise採用融合架構，智能地將查詢路由至最適合的查詢引擎，同時滿足性能敏感的關鍵業務查詢和自由靈活的探索式分析，為企業用戶提供統一的大數據查詢入口。
產品圖5：Kyligence Enterprise 架構
其次，平臺基於Hadoop架構，通過橫向擴展將數據處理能力提升至PB 級；通過預計算技術生成聚合結果，再結合先進的索引技術，相比其他解決方案，將查詢性能提升數十至數百倍。
第三，平臺引入了大量的機器學習技術，其專利的自動化建模技術可基於分析師的查詢行為和歷史，智能化地推薦數據模型，自動化地調優性能，加速關鍵業務分析場景。
在保持PB級數據集上亞秒級查詢響應速度的同時，平臺可以支持無需編程的智能化自助式建模，並與主流BI工具實現無縫集成。
同時，在開源Apache Kylin核心功能之外，對企業用戶所關注的實施效率、安全控制、性能優化、自助式敏捷BI、系統監控和管理等方面進行了全面創新和增強。
「2018年7月發布的最新版Kyligence Enterprise，相比較以往的版本更是實現了查詢提速15倍的同時節省50%存儲空間，而對比市場上的同類查詢產品，根據數據倉庫典型查詢場景測試中查詢的完成度與查詢的性能比較來看，都具有顯著優勢。」
產品圖4：Kyligece Enterprise 核心優勢
這樣一來，平臺在數據量、性能、並發等方面進行了巨大突破，為企業級用戶提供快速搭建基於大數據的數據倉庫及商務智能分析平臺的能力，提升大數據效率。
而且，平臺支持多種部署模式，以適應不同的用戶場景，用戶可以根據具體需求選擇本地部署、雲端部署或是混合部署模式來適應企業 IT 架構，進一步使得其分析師能夠快速的訪問和分析海量數據，響應業務變化。
延伸雲端解決方案，助力企業平滑上雲
目前，企業上雲，意味著大量的交易記錄、日誌、文件等數據將直接在雲端產生並存儲。如何融合雲計算與大數據分析，充分發揮雲計算和大數據雙重引擎帶來的優勢，迅速發現海量數據中的業務價值並驅動商業決策，成為企業在新時代下決勝的關鍵。
同時，大數據在各行各業中取得了迅猛發展，湧現出了如Hadoop、Spark、Kylin等大量創新性技術。這些技術被大量企業廣泛應用於存儲和處理海量數據，分析和挖掘其中的價值，促進業務的發展。而這些創新技術無一例外地基於分布式計算架構，具備超高的可擴展性，將數據處理能力擴展至幾百TB甚至PB級。
不僅如此，雲計算所具備的無限擴展和按需的特性，為大數據應用提供源源不斷的計算和存儲資源，從而使大數據成為一個完美的雲計算應用。
因此，大數據分析上雲成為了企業IT雲戰略實施的重中之重，但云端環境的複雜性，如虛擬化、計算與存儲分離等特性，也讓企業大數據分析上雲面臨著諸多挑戰。
Kyligence從成立之初即在雲端進行相應布局，2017年底推出了KyligenceCloud產品。Kyligence Cloud是Kyligence公司基於雲端的大數據服務，為客戶將大數據分析平滑上雲提供解決方案，目前已支持全球超過6個雲平臺。
Kyligence Cloud主要聚焦在關注業務急速擴張的中大型企業。這類企業的特點在於絕大多數資源都投注在了業務上，對於大數據分析平臺的建設力度往往不足。
產品圖3：Kyligence Cloud 架構
據悉，Kyligence Cloud以Kyligence Enterprise為核心，充分發揮其高性能、高並發優勢，同時利用雲計算帶來的低成本、高擴展、易運維等特點，大大提高企業大數據分析上雲的效率，並有效降低成本。
使用Kyligence Cloud，客戶可以在雲端快速構建可無限擴展的大數據集群，實現對PB級數據的交互式OLAP分析和關鍵業務查詢的亞秒級響應，助力業務分析師和數據科學家快速發現數據內在價值，驅動商業決策。
同時，Kyligence與微軟Azure、亞馬遜AWS、Google Cloud、阿里雲、華為雲等雲廠商深度合作，這樣用戶可以在公有雲上快速建立大數據分析集群，接入各種雲端數據源並進行建模分析，實現對PB級數據的交互式分析與關鍵業務查詢的亞秒級響應。
Kyligence Cloud通過與雲基礎設施的無縫整合，為用戶提供了端到端的解決方案。其核心的亞秒級查詢分析能力，大大加速了從數據到價值的發現進程，可更快地支持客戶將本地應用向雲端進行遷移，在現有的數據層之上提供SQL加速層，提供高性能及高並發的雲端數據分析服務能力。
Kyligence Cloud通過與各大雲廠商的基礎服務進行深度整合，幫助客戶在數據湖上快速構建 PB 級數據多維分析（OLAP）的能力，為數據分析師和業務用戶提供交互式的大數據分析與查詢服務，助力企業實現海量數據集上的亞秒級查詢響應。
聚焦行業頭部客戶，提供標準化產品
目前，Kyligence已經為金融，電信，零售，智能製造，能源等行業的企業提供下一代企業級智能數據倉庫及融合大數據分析平臺解決方案。招商銀行、上汽集團、太平洋保險、中國銀聯、OPPO、華為、中國移動等大型企業，都在使用其產品。
韓卿表示，Kyligence在選擇行業的時候，會思考這幾方面問題。第一，這個行業是否足夠成熟，是否依賴於用數據驅動器業務發展。
「銀行就是符合這個標準，比如你申請一個信用卡或者一批貸款，如果沒有數據支撐，銀行是無法分析出貸款風險的。」
以某大型銀行為例，在大數據平臺建設之前，該銀行的數據大多存放在Greenplum、DB2等傳統關係型資料庫中，業務人員需要分析數據或提出新的報表需求時，通常都是由 IT 人員拿到需求之後現場開發，再將整理好的數據發送給業務部門。
由於數據存儲分散、再加上數據量越來越大，以及業務數據需求的臨時性和不確定性，這種方式的工作效率越來越低，業務獲取數據的周期越來越長，IT人員的工作量也越來越重。
在建設大數據平臺後，該銀行把其業務系統中產生的各種數據，通過集中處理之後統一存入到 Hadoop平臺，通過Kyligence Enterprise依據不同的業務創建不同主題的數據集市和立方體，將業模型發開放給業務分析人員。
然後，Kyligence Enterprise通過數據集市，將生硬的、技術化的表和欄位等轉換為業務人員能夠理解的業務指標和分析維度，使得業務分析人員能夠輕鬆通過各種前端BI工具如Tableau等對相關數據集市進行自助分析。
最後，依賴於Kyligence Enterprise在超大規模數據集上的高速SQL查詢能力，業務人員可以快速生成分析結果，進一步優化分析思路和業務決策。
該銀行客戶通過Kyligence Enterprise平臺，生成的數據集市模型提供自主分析能力，精簡了數據獲取的流程，降低了數據分析的技術門檻，一套模型可以實現主題內的多個維度分析，極大方便了業務用戶的自助服務，數據分析高度自由化，同時大大減輕IT的負擔。
第二，客戶意識。是否需要數位化轉型，這是企業的意識問題，如果企業到了一定的規模，希望通過數據來驅動業務轉型升級，這類型客戶的契合度、體量都是很好的。
「以某全球連鎖快餐的市場部門為例，他們在數字營銷的過程中，確實遇到了一些問題，比如數據口徑不一致、分析周期太長、不能進行探索式地進行數據分析等，在激烈的競爭中大大制約了市場部門的業務決策能力。
我們幫助他們在現有的數據平臺上，搭建了統一的大數據分析平臺，賦能市場部門的運營人員進行自助分析，極大地降低了分析的門檻。該系統為市場決策提供了更好更快的分析能力，受到了客戶高層的一致好評和讚賞，最後他們還為我們寫了一封感謝信。」
很多中大型企業需求充滿個性化、複雜化，服務商為了滿足他們的需求，經常會提供定製化的產品，久而久之變成了項目制，對服務自己來說，提高了成本，降低了效率，那麼Kyligence如何解決這樣的問題？
韓卿解釋道，Kyligence籤了很多中大型企業客戶，都是行業的頭部客戶，但都沒有為他們提供定製化的產品，目前為止，Kyligence只提供一個標準化的產品，這在中國的軟體公司中非常罕見。韓卿認為，數據倉庫是一個標準化的領域，只有提供標準化的產品，企業才能更聚焦於將產品和技術做好、做深、做紮實，在國際化的競爭中立於不敗之地。
同時，通過API接口及與上下遊廠商的合作，打造完善的生態系統，來一起滿足客戶的各種需求。這也為Kyligence打開國際市場奠定了基礎，目前Kyligence已經收穫了來自美國的付費客戶，這也充分證明了標準化產品戰略的價值。
［本文作者數字觀察，i黑馬原創。如需轉載請聯繫微信公眾號（ID:iheima）授權，未經授權，轉載必究。］