【能源人都在看,點擊右上角加'關注'】
每天除過巡檢伺服器、接待來訪客戶等工作外,中國煤炭地質總局煤航大數據中心工程師陳衛斌還有一項重要工作:在「大數據中心資源使用統計表」上作登記,調配計算資源,滿足各項目的數據計算需求。「目前已經排到2020年12月底。」陳衛斌邊登記邊說,需要使用大數據中心計算的項目逐漸增多。
數據計算是煤航大數據中心針對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密計算而提供的一項服務功能。批處理、速度快、算力大幅提升,為數據處理如同裝上「超級大腦」,運行近五個月,經不斷測試,煤航大數據中心計算功能完全滿足超密數據計算需求,「分配的計算資源讓數據計算效率至少提高3倍」,優勢明顯且具有行業較高水平。該大數據中心超算功能將為企業產品和服務模式的轉型升級奠定基礎,助力總局「數字地球」建設,促進地理信息行業進步。
(實現計算資源集成,超密數據計算是煤航大數據中心功能之一)
破行業瓶頸促轉型升級
響應國家戰略需要。黨的十八大以來,習近平總書記作出建設網絡強國、數字中國的戰略部署,地理空間數據猶如「地基」發揮著重要作用。同時,伴隨雲計算、5G、人工智慧等信息技術不斷發展,我國「數位化」「智慧化」進程加快,其對地理信息行業的生產效率及其產品豐富性的要求越來越高。而數據計算作為數據處理重要環節,提高地理空間數據的計算效率尤為迫切。
解決行業痛點。作為總局從事地理信息技術研發與應用的高科技企業,煤航不斷生產遙感、測繪等地理空間數據,並且每年以100TB速度增長。與大多數國有企業類似,煤航曾存在「數據孤島」現象,大部分數據分散在基層企業,數據處理由下屬企業自行完成。煤航航測工程分公司作為測繪數據主要生產單位,近年來承接的實景三維模型項目不斷增多,涉及到大量的傾斜航攝像片數據處理,對計算資源要求更高,「以前都是在公司作業室完成,一臺主機分發給多個分機。」航測工程分公司三維中心主任趙帥說,有時項目時間要求緊,這種計算方式存在設備配置低、穩定性不好、分機佔用速度慢等不足和問題,嚴重影響生產效率。
煤航積極響應國家「數位化」「新基建」「智慧社會」等戰略,結合信息技術,建成地理空間大數據中心。「建立伺服器集群和『數據湖』,實現資源統一調配和管理,打造敏捷高效的數據接收、存儲、處理和分析平臺,以實現設施資源最大化集成利用。」煤航集團黨委書記、董事長賴百鍊介紹,最大限度地整合計算資源、存儲資源和網絡資源,提升算力,是煤航大數據中心功能之一。
(航測工程分公司作業員通過一臺計算機向大數據中心分配的計算資源發布指令)
速度快效率高賦能大數據
大數據中心建成後隨即投入測試。測試結果顯示,一個房地一體化項目的4萬多張無人機傾斜影像,如果按照以往計算模式,大概需要12天才能完成,而使用大數據中心分配的計算資源,大概需要4天時間。數據處理環節效率至少提升了3倍。架構穩定、容錯能力強、效率高,能夠滿足現行三維實景生產的需求,運行效率能夠達到業內較高水平。目前,該公司承接的項目中涉及到高密數據計算均由大數據中心完成。
(遙感信息公司工作人員對藏東南地區地災隱患點調研)
大數據中心的超算功能對地質災害項目中的光學遙感、雷達遙感數據處理也發揮重要作用。煤航遙感信息公司承擔的「藏東南地區地質災害隱患綜合遙感識別與調查」項目涉及16萬平方公裡地質災害早期識別,大約2000景SAR數據。「該項目涉及到數據量大,時間任務緊,高性能數據計算成為重中之重。」該公司水工遙感所所長羅東海介紹,公司常規的計算機難以承擔如此大面積的數據計算,「以前都是先將數據裁剪成多個子區塊進行處理,然後對處理後的值區塊進行拼接,需要180天才能完成,而藉助大數據中心分配的計算資源,批處理這些數據,同等條件下僅需60天就可以完成,數據處理效率提高3倍,且幾何精度優於傳統方法。」通過項目驗證,羅東海給出結論:批處理、運行速度快,多線程處理之間相互不影響。煤航大數據中心能夠為我國地質災害監測項目順利實施提供保障。
截至目前,煤航大數據中心已為航測、遙感、地信、智慧鐵路、工程監理等企業的數據處理提供了計算服務,對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密數據具備高效處理能力,且具有較高水平。「目前主要是分配計算資源,一旦遇上重大緊急項目,大數據中心可以集中軟硬體資源,集中力量辦大事,處理速度將比現在更快,效率也將更高。」陳衛斌對大數據中心超算優勢充滿信心。
作為創新驅動發展的新動能新引擎,煤航大數據中心將圍繞總局「透明地球」「數字地球」「美麗地球」建設要求,藉助大數據、5G、人工智慧等信息技術,形成地理空間大數據新產品和服務新模式,促進煤航轉型升級發展,助力總局健康、可持續、高質量發展。
免責聲明:以上內容轉載自中國煤炭地質總局,所發內容不代表本平臺立場。全國能源信息平臺聯繫電話:010-65367702,郵箱:hz@people-energy.com.cn,地址:北京市朝陽區金臺西路2號人民日報社