今天,我們繼續分享一下蒼穹大數據云GIS平臺(KQGIS BDS)。
KQGIS BDS融合雲計算、大數據和物聯網等新一代先進技術,採用分布式架構,提供高可靠、高性能、高並發的雲GIS服務,支持集群智能管理、資源彈性調度,實現海量地理空間數據的存儲、處理、分析和共享應用。
蒼穹大數據云GIS平臺由蒼穹大數據平臺和蒼穹雲GIS平臺兩大核心組成。
1、蒼穹大數據平臺
蒼穹大數據平臺包含數據採集系統、數據融合系統、數據管理系統、挖掘分析系統。通過數據採集系統實現資源匯聚和時空標識,再經過數據融合系統進行數據抽取、清洗、轉換、加載、關聯、融合等,導入雲資料庫,由數據管理系統統一管理和應用,由挖掘分析系統進行大數據挖掘和模擬推演,用於輔助決策。
2、蒼穹雲GIS平臺
蒼穹雲GIS平臺包括雲運維管理系統、雲服務管理系統、雲服務共享系統以及雲門戶。以計算存儲、數據、功能、接口和知識服務為核心,形成服務資源池,建立服務引擎、地名地址引擎、業務流引擎和知識引擎,連同時空大數據的數據引擎,通過雲服務系統,為各種業務應用按需提供大數據支撐和各類服務。
技術特點
1、五個「分布式」核心技術
蒼穹大數據云GIS平臺採用的核心技術,總結為五個分布式,分布式GIS算法、分布式任務調度、分布式內存計算、分布式空間索引、分布式存儲。
分布式GIS算法:服務於大數據GIS中的空間數據處理和分析,通過構建分布式空間數據處理和分析算子,來支持用戶多樣化的數據分析需求;
分布式任務調度:可為上層應用提供統一的資源管理和調度,它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處;
分布式內存計算:Spark的主要特性是它的內存中集群計算,提高了應用程式的處理速度,涵蓋各種工作負載,減少了維護單獨工具的管理負擔;
分布式空間索引:利用分布式並行技術,建立網絡環境下海量空間數據的大規模索引機制,滿足分布式環境下海量空間數據查詢、分析運算的需求;
分布式存儲:具備低成本、高容錯、高吞吐的特性,不但提高了系統的可靠性、可用性和存取效率,還易於擴展,將不穩定因素降到最低;
(分布式存儲原理圖)
2、五個「創新型」關鍵技術
蒼穹大數據云GIS平臺採用行列存儲優化組合技術、多級智能緩存和索引技術、固態硬碟存儲的優化算法、全面融合NEWSQL新技術、機器學習空間大數據挖掘技術等創新技術,實現超大規模GIS數據的快速瀏覽、查詢、渲染、分析等,極大提升了運行效率。
(創新技術)
功能優勢
1
智能化集群環境部署
提供一鍵式自動化集群環境部署,通過在線選擇硬體資源和集群配置規則,實現部署環境標準化和部署過程自動化;採用負載均衡技術,加強網絡數據處理能力、提高網絡的靈活性和可用性。
2
空間大數據ETL處理
ETL負責將分散的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後,進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘提供決策支持的數據。
3
快速瀏覽和動態渲染
基於分布式存儲模式,採用並行計算、內存計算等技術,解決了傳統GIS平臺採用切片方式進行數據快速瀏覽時存在的耗時、耗力、耗存儲以及無法動態渲染等問題,實現了WEB端無需緩存切片即可進行地圖無極縮放瀏覽和快速動態渲染等功能。
4
高性能分布式空間分析
從內核擴展了Spark空間數據模型,基於分布式計算技術重構和研發了大量空間分析算法,實現海量空間數據高性能的空間分析,支持空間查詢、空間統計、疊加分析、網絡分析、差值分析、水文分析、柵格分析、領域分析等空間分析功能,解決了空間大數據分析和應用的難題。
5
實時空間大數據分析
基於ES分布式存儲,採用並行處理、行列混合存儲、高效壓縮以及內存計算等技術,並支持多數據源協議,實現海量數據在伺服器主內存中秒級,甚至毫秒級處理,提供實時統計分析結果,能夠有效提高業務效率,具備實時決策能力。
6
空間大數據可視化表達
提供豐富的數據展示模板,針對不同的數據可套用不同的模板進行展示。主要包括條形圖、漏鬥圖、柱狀圖、儀錶盤、雷達圖、折線圖、餅狀圖、地圖等多種展示模板。同時,支持將統一數據按照不同維度、不同模板進行展現,提供數據多維度展示效果。利用API來搭建模型,選擇想要的表達方式,就可以搭建大數據挖掘的可視化系統,可以有各種模板效果。
7
數據挖掘個性化推薦
為用戶提供個性化推薦服務,通過對用戶線上線下數據的聚類、關聯和協同過濾,建立了不同使用場景的推薦機制,實現推薦引擎從傳統的大眾化推薦向差異化推薦轉變,實現智能數據服務推薦,提升了用戶購買過程的體驗。
8
自動化運維管理機制
由於分布式體系架構的節點分布較廣,運維管理相對複雜,因此時空信息雲平臺運維體系,參照ITIL的管理規範進行運維管理機制建設,通過覆蓋整個體系的雲運維管理系統,對平臺的硬體、網絡、數據、應用及服務的運行狀況進行實時、綜合監控,及時發現和預見問題,並按照相應的流程及時處置,保證平臺持久的穩定運行。
往期精彩回顧
實現可視化定製,蒼穹服務地理信息平臺更快速
聚焦 | 蒼穹數碼研究院正式成立
拒絕低效率! 蒼穹桌面GIS平臺給你「加速度」