「乾貨」蒼穹大數據云GIS平臺最全介紹

2021-01-07 蒼穹數碼

今天,我們繼續分享一下蒼穹大數據云GIS平臺(KQGIS BDS)。

KQGIS BDS融合雲計算、大數據和物聯網等新一代先進技術,採用分布式架構,提供高可靠、高性能、高並發的雲GIS服務,支持集群智能管理、資源彈性調度,實現海量地理空間數據的存儲、處理、分析和共享應用。

蒼穹大數據云GIS平臺由蒼穹大數據平臺和蒼穹雲GIS平臺兩大核心組成。

1、蒼穹大數據平臺

蒼穹大數據平臺包含數據採集系統、數據融合系統、數據管理系統、挖掘分析系統。通過數據採集系統實現資源匯聚和時空標識,再經過數據融合系統進行數據抽取、清洗、轉換、加載、關聯、融合等,導入雲資料庫,由數據管理系統統一管理和應用,由挖掘分析系統進行大數據挖掘和模擬推演,用於輔助決策。

2、蒼穹雲GIS平臺

蒼穹雲GIS平臺包括雲運維管理系統、雲服務管理系統、雲服務共享系統以及雲門戶。以計算存儲、數據、功能、接口和知識服務為核心,形成服務資源池,建立服務引擎、地名地址引擎、業務流引擎和知識引擎,連同時空大數據的數據引擎,通過雲服務系統,為各種業務應用按需提供大數據支撐和各類服務。

技術特點

1、五個「分布式」核心技術

蒼穹大數據云GIS平臺採用的核心技術,總結為五個分布式,分布式GIS算法、分布式任務調度、分布式內存計算、分布式空間索引、分布式存儲。

分布式GIS算法:服務於大數據GIS中的空間數據處理和分析,通過構建分布式空間數據處理和分析算子,來支持用戶多樣化的數據分析需求;

分布式任務調度:可為上層應用提供統一的資源管理和調度,它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處;

分布式內存計算:Spark的主要特性是它的內存中集群計算,提高了應用程式的處理速度,涵蓋各種工作負載,減少了維護單獨工具的管理負擔;

分布式空間索引:利用分布式並行技術,建立網絡環境下海量空間數據的大規模索引機制,滿足分布式環境下海量空間數據查詢、分析運算的需求;

分布式存儲:具備低成本、高容錯、高吞吐的特性,不但提高了系統的可靠性、可用性和存取效率,還易於擴展,將不穩定因素降到最低;

(分布式存儲原理圖)

2、五個「創新型」關鍵技術

蒼穹大數據云GIS平臺採用行列存儲優化組合技術、多級智能緩存和索引技術、固態硬碟存儲的優化算法、全面融合NEWSQL新技術、機器學習空間大數據挖掘技術等創新技術,實現超大規模GIS數據的快速瀏覽、查詢、渲染、分析等,極大提升了運行效率。

(創新技術)

功能優勢

1

智能化集群環境部署

提供一鍵式自動化集群環境部署,通過在線選擇硬體資源和集群配置規則,實現部署環境標準化和部署過程自動化;採用負載均衡技術,加強網絡數據處理能力、提高網絡的靈活性和可用性。

2

空間大數據ETL處理

ETL負責將分散的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後,進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘提供決策支持的數據。

3

快速瀏覽和動態渲染

基於分布式存儲模式,採用並行計算、內存計算等技術,解決了傳統GIS平臺採用切片方式進行數據快速瀏覽時存在的耗時、耗力、耗存儲以及無法動態渲染等問題,實現了WEB端無需緩存切片即可進行地圖無極縮放瀏覽和快速動態渲染等功能。

4

高性能分布式空間分析

從內核擴展了Spark空間數據模型,基於分布式計算技術重構和研發了大量空間分析算法,實現海量空間數據高性能的空間分析,支持空間查詢、空間統計、疊加分析、網絡分析、差值分析、水文分析、柵格分析、領域分析等空間分析功能,解決了空間大數據分析和應用的難題。

5

實時空間大數據分析

基於ES分布式存儲,採用並行處理、行列混合存儲、高效壓縮以及內存計算等技術,並支持多數據源協議,實現海量數據在伺服器主內存中秒級,甚至毫秒級處理,提供實時統計分析結果,能夠有效提高業務效率,具備實時決策能力。

6

空間大數據可視化表達

提供豐富的數據展示模板,針對不同的數據可套用不同的模板進行展示。主要包括條形圖、漏鬥圖、柱狀圖、儀錶盤、雷達圖、折線圖、餅狀圖、地圖等多種展示模板。同時,支持將統一數據按照不同維度、不同模板進行展現,提供數據多維度展示效果。利用API來搭建模型,選擇想要的表達方式,就可以搭建大數據挖掘的可視化系統,可以有各種模板效果。

7

數據挖掘個性化推薦

為用戶提供個性化推薦服務,通過對用戶線上線下數據的聚類、關聯和協同過濾,建立了不同使用場景的推薦機制,實現推薦引擎從傳統的大眾化推薦向差異化推薦轉變,實現智能數據服務推薦,提升了用戶購買過程的體驗。

8

自動化運維管理機制

由於分布式體系架構的節點分布較廣,運維管理相對複雜,因此時空信息雲平臺運維體系,參照ITIL的管理規範進行運維管理機制建設,通過覆蓋整個體系的雲運維管理系統,對平臺的硬體、網絡、數據、應用及服務的運行狀況進行實時、綜合監控,及時發現和預見問題,並按照相應的流程及時處置,保證平臺持久的穩定運行。

往期精彩回顧

實現可視化定製,蒼穹服務地理信息平臺更快速

聚焦 | 蒼穹數碼研究院正式成立

拒絕低效率! 蒼穹桌面GIS平臺給你「加速度」

相關焦點

  • 雲GIS以及主流的雲GIS平臺
    此外,虛擬化技術還能夠有效簡化GIS平臺的研發,只需要重視業務邏輯的開發,不用花費太多精力與時間在計算資源的分配與調度上。基礎設施虛擬化技術2.空間數據云儲存技術雲GIS平臺需要進行大數據的處理,如何在龐大的信息數據中快速尋找到所需的資源,是雲儲存技術需要有效解決的重要問題。
  • 36氪首發|打造基於雲的音視頻生產協作平臺,「新閱」獲得近千萬元...
    目前,公司的產品集中在拍攝數據自動上雲、項目版本管理與協同審閱兩大板塊。「新閱」的Nboxiot智能傳輸設備連接相機後,能將拍攝數據實時、自動傳輸到雲端,用戶通過新閱雲協同平臺來遠程監看、預覽視頻數據。在項目管理與協同上,「新閱」提供了版本管理,智能審評、快速分享、團隊權限等多項協作功能,並打通了多款專業音視頻製作工具。目前新閱雲協同平臺的用戶量已達25萬人。
  • 動畫「蒼穹的法芙娜 EXODUS」官網開通 製作陣容公開
    動畫「蒼穹的法芙娜 EXODUS」官網開通 製作陣容公開 2013-01-09 09
  • 金蝶榮獲「2020年度中國地產數字力TOP20科技領軍企業」
    房企數位化已從嶄露頭角發展成為全行業共識,且數位化投入規模快速增長,由以往以在線化為主,實現了數位化、智能化並舉的交叉式發展。在地產行業對數字力渴求的行業背景下,中國房地產大數據權威機構克而瑞主辦的第三屆CIOC地產智能科技峰會於12月9日在上海靜安寶華萬豪酒店舉行,金蝶應邀參會,解析地產數位化產業互聯共生之道,並榮獲「2020年度中國地產數字力TOP20科技領軍企業」獎項。
  • 奇蹟MU「裝備技巧」全是乾貨!數據分析弓箭手各階數裝備屬性
    奇蹟MU「裝備技巧」全是乾貨!數據分析弓箭手各階數裝備屬性 【裝備技巧】全是乾貨!
  • 雲從科技發布國家人工智慧基礎資源公共服務平臺
    大會上午,重慶市副市長李殿勳、國務院發展研究中心原副主任侯雲春、中國科學院控股總經理索繼栓、中科院重慶院黨委書記韋方強、雲從科技創始人周曦、中國信息通信研究院副總工程師史德年、浪潮集團副總裁張暉、金山雲 CEO 王育林、中國聯通大數據有限公司副總經理曹建民、中國金融電子化公司領導共同啟幕了「國家人工智慧基礎資源公共服務平臺」。
  • 大數據賦能精準教學 「極課雲」SaaS系統打造K12生態平臺
    成立於2016年5月的「極課雲」,是一家以大數據精準教學SaaS系統賦能K12教育的在線教育企業。「極課雲」基於大數據、雲計算和人工智慧重新規劃傳統教學管理,系統通過自主研發的「雲網閱+智能手閱」的標準化學業、試卷採集模塊,使教師在使用紙筆之外還可以選擇批量網閱完成批改,同時實現有痕批註,並且收錄學生日常學業水平情況。
  • 坑作「蒼穹的法芙娜EXODUS」TV動畫化確定 放送日不明
    坑作「蒼穹的法芙娜EXODUS」TV動畫化確定 放送日不明 2012-12-28 15
  • 行動支付賦能升級,騰訊雲「米大師」全面開放
    騰訊雲「米大師」依託於十餘年支撐騰訊業務支付計費及交易結算的經驗,近日正式對外開放,深度賦能各行業,提供專業的一站式支付計費解決方案,打造支付計費生態服務圈。騰訊雲「米大師」提供聚合支付、帳戶託管、安全風控、對帳結算、營銷活動、數據分析、立體監控等多維度服務,支持多級商戶管理與分潤,全面支持各行業交易場景。
  • 乾貨| 史上最全!物聯網PaaS平臺大盤點
    本文按照4大領域的玩家的分類方法逐一介紹PaaS物聯網平臺,其中包含通信領域、網際網路領域、軟體系統服務領域、垂直領域。 憑藉百度在人工智慧、大數據、雲計算、移動服務、安全等領域的優勢,百度天工物聯網雲平臺建立起了四大優勢:一是基於百度雲提供從網絡到中間件,從計算到存儲,從大數據到人工智慧的全棧服務;二是遍布國內的自研數據中心,豐富的資源(節點/IDC),T級帶寬接入,提供高擴展性,支撐海量設備快速接入;三是支持Modbus、BACnet等各種協議解析與轉換;四是基於國內最大的伺服器集群提供最具優勢的大數據分析能力
  • 「蒼穹的法芙娜 EXODUS」聲優追加潘惠美、森田成一
    「蒼穹的法芙娜 EXODUS」聲優追加潘惠美、森田成一 動漫 178動漫頻道 ▪
  • 史上最全的大數據分析和新媒體製作工具
    這篇文章整理了部分當代職場人必備的新媒體工具和大數據分析與製作工具,這些「必備神器」,其中很多工具是親測過,非常強大,希望大家能從中找到對自己有幫助的工具。//www.dodoca.com/秀米秀製作:http://xiumi.us/易傳單:http://echuandan.com/Epub360易派:http://www.epub360.com/LiveApp場景應用:http://www.liveapp.cn/Vxplo :http://www.vxplo.cn/最酷網
  • 創投日報 |「博雲BoCloud」完成D輪融資;「潤德教育」完成1億元A輪...
    創投日報收錄了今天「36氪創投頻道」報導的融資新聞,以及我們正在關注的各個領域早期創業項目,enjoy! 科技 融資披露 36氪首發 | 發力雲計算PaaS及多雲管理,「博雲BoCloud」完成D輪融資 36氪獲悉,雲計算PaaS及多雲管理廠商「博雲bocloud」宣布完成D輪融資,本輪融資由國鑫創投、信峘投資、金浦文創、碧鴻投資、交銀國際共同戰略投資,原股東東方富海跟投。
  • 「To B 周周侃」:釘釘放大招,字節跳動推企業雲服務平臺
    據華為雲方面介紹,華為雲 Stack 是位於政企客戶本地數據中心的雲基礎設施,能為政企客戶提供在雲上和本地部署體驗一致的雲服務。隨著政企智能升級進入深水區,華為雲稱將戰略投入政企市場。「雲聯萬維」獲得5000萬元A輪融資融合雲服務商 OneCloud 雲聯萬維獲得5000萬元A輪融資,本輪融資由貴陽創投領投,北京冰青/翊翎資本、真格基金等老股東跟投。
  • 動畫「蒼穹的法芙娜 EXODUS」公開CM 大戰即將開始
    動畫「蒼穹的法芙娜 EXODUS」公開CM 大戰即將開始 2014-12-02 10
  • 來年1月新番「蒼穹的法芙娜 EXODUS」公開新角色聲優
    來年1月新番「蒼穹的法芙娜 EXODUS」公開新角色聲優 動漫 178動漫頻道 ▪
  • 海納百川 風雲際會——氣象大數據云平臺「天擎」
    它,就是正在建設中的氣象大數據云平臺「天擎」。今年年初,中國氣象局一號文件印發,聚焦推進氣象業務技術體制重點改革,明確要求構建以氣象大數據云平臺為「雲」、氣象業務系統為「端」的「雲+端」氣象業務技術體制。
  • TV動畫「蒼穹的法芙娜 EXODUS」確定為26話 製作進行中
    TV動畫「蒼穹的法芙娜 EXODUS」確定為26話 製作進行中 動漫 178動漫頻道 ▪
  • 雲從科技蟬聯機器之心「全球三十大最佳 AI 創業公司」
    雲從科技蟬聯機器之心「全球三十大最佳 AI 創業公司」 1月8日,第二屆機器之心年度獎項「Synced Machine Intelligence Awards」發布,雲從科技作為人工智慧領域代表企業蟬聯
  • 在別人的雲上建設自己的「雲服務」,老牌企業服務軟體的新徵程
    雖然常被人忽視,但企業軟體服務一直是發達國家裡悶聲發大財的行業。《財經》雜誌的數據顯示,美國超百億美元市值的服務企業有 100 多家。視線轉回國內的企業服務軟體,釘釘、企業微信這類辦公協作軟體或許會首先進入你的腦海。但事實上,上世紀就誕生的「用友」、「金蝶」這些企業服務軟體公司才是真正的本土老大。