總局煤航大數據中心:處理數據的「超級大腦」

2020-12-06 全國能源信息平臺

【能源人都在看,點擊右上角加'關注'】

每天除過巡檢伺服器、接待來訪客戶等工作外,中國煤炭地質總局煤航大數據中心工程師陳衛斌還有一項重要工作:在「大數據中心資源使用統計表」上作登記,調配計算資源,滿足各項目的數據計算需求。「目前已經排到2020年12月底。」陳衛斌邊登記邊說,需要使用大數據中心計算的項目逐漸增多。

數據計算是煤航大數據中心針對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密計算而提供的一項服務功能。批處理、速度快、算力大幅提升,為數據處理如同裝上「超級大腦」,運行近五個月,經不斷測試,煤航大數據中心計算功能完全滿足超密數據計算需求,「分配的計算資源讓數據計算效率至少提高3倍」,優勢明顯且具有行業較高水平。該大數據中心超算功能將為企業產品和服務模式的轉型升級奠定基礎,助力總局「數字地球」建設,促進地理信息行業進步。

(實現計算資源集成,超密數據計算是煤航大數據中心功能之一)

破行業瓶頸促轉型升級

響應國家戰略需要。黨的十八大以來,習近平總書記作出建設網絡強國、數字中國的戰略部署,地理空間數據猶如「地基」發揮著重要作用。同時,伴隨雲計算、5G、人工智慧等信息技術不斷發展,我國「數位化」「智慧化」進程加快,其對地理信息行業的生產效率及其產品豐富性的要求越來越高。而數據計算作為數據處理重要環節,提高地理空間數據的計算效率尤為迫切。

解決行業痛點。作為總局從事地理信息技術研發與應用的高科技企業,煤航不斷生產遙感、測繪等地理空間數據,並且每年以100TB速度增長。與大多數國有企業類似,煤航曾存在「數據孤島」現象,大部分數據分散在基層企業,數據處理由下屬企業自行完成。煤航航測工程分公司作為測繪數據主要生產單位,近年來承接的實景三維模型項目不斷增多,涉及到大量的傾斜航攝像片數據處理,對計算資源要求更高,「以前都是在公司作業室完成,一臺主機分發給多個分機。」航測工程分公司三維中心主任趙帥說,有時項目時間要求緊,這種計算方式存在設備配置低、穩定性不好、分機佔用速度慢等不足和問題,嚴重影響生產效率。

煤航積極響應國家「數位化」「新基建」「智慧社會」等戰略,結合信息技術,建成地理空間大數據中心。「建立伺服器集群和『數據湖』,實現資源統一調配和管理,打造敏捷高效的數據接收、存儲、處理和分析平臺,以實現設施資源最大化集成利用。」煤航集團黨委書記、董事長賴百鍊介紹,最大限度地整合計算資源、存儲資源和網絡資源,提升算力,是煤航大數據中心功能之一。

(航測工程分公司作業員通過一臺計算機向大數據中心分配的計算資源發布指令)

速度快效率高賦能大數據

大數據中心建成後隨即投入測試。測試結果顯示,一個房地一體化項目的4萬多張無人機傾斜影像,如果按照以往計算模式,大概需要12天才能完成,而使用大數據中心分配的計算資源,大概需要4天時間。數據處理環節效率至少提升了3倍。架構穩定、容錯能力強、效率高,能夠滿足現行三維實景生產的需求,運行效率能夠達到業內較高水平。目前,該公司承接的項目中涉及到高密數據計算均由大數據中心完成。

(遙感信息公司工作人員對藏東南地區地災隱患點調研)

大數據中心的超算功能對地質災害項目中的光學遙感、雷達遙感數據處理也發揮重要作用。煤航遙感信息公司承擔的「藏東南地區地質災害隱患綜合遙感識別與調查」項目涉及16萬平方公裡地質災害早期識別,大約2000景SAR數據。「該項目涉及到數據量大,時間任務緊,高性能數據計算成為重中之重。」該公司水工遙感所所長羅東海介紹,公司常規的計算機難以承擔如此大面積的數據計算,「以前都是先將數據裁剪成多個子區塊進行處理,然後對處理後的值區塊進行拼接,需要180天才能完成,而藉助大數據中心分配的計算資源,批處理這些數據,同等條件下僅需60天就可以完成,數據處理效率提高3倍,且幾何精度優於傳統方法。」通過項目驗證,羅東海給出結論:批處理、運行速度快,多線程處理之間相互不影響。煤航大數據中心能夠為我國地質災害監測項目順利實施提供保障。

截至目前,煤航大數據中心已為航測、遙感、地信、智慧鐵路、工程監理等企業的數據處理提供了計算服務,對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密數據具備高效處理能力,且具有較高水平。「目前主要是分配計算資源,一旦遇上重大緊急項目,大數據中心可以集中軟硬體資源,集中力量辦大事,處理速度將比現在更快,效率也將更高。」陳衛斌對大數據中心超算優勢充滿信心。

作為創新驅動發展的新動能新引擎,煤航大數據中心將圍繞總局「透明地球」「數字地球」「美麗地球」建設要求,藉助大數據、5G、人工智慧等信息技術,形成地理空間大數據新產品和服務新模式,促進煤航轉型升級發展,助力總局健康、可持續、高質量發展。

免責聲明:以上內容轉載自中國煤炭地質總局,所發內容不代表本平臺立場。全國能源信息平臺聯繫電話:010-65367702,郵箱:hz@people-energy.com.cn,地址:北京市朝陽區金臺西路2號人民日報社

相關焦點

  • 乘風破浪 一路同行 點讚2020年度總局重大新聞
    7月15日,我國行業領域規模最大、處理能力最強的大數據中心之一煤航大數據中心在西安建成。該中心可最大限度地整合計算機設施的計算資源、存儲資源和網絡資源,極大提升計算機設施的算力,三維模型構建和地質災害自動識別等項目的生產效率提高了數十倍。未來,大數據中心將充分挖掘數據潛能,發揮數據作用,盤活數據資產,實現數據增值,為國防、農業、煤炭、鐵路、林業、電力等千行百業提供服務。9月,被評為「2020數字西安建設優秀成果」暨入選「西安市大數據企業名錄」榜單。
  • 披荊斬棘鑄輝煌 開拓創新譜新篇——中國煤炭地質總局航測遙感局...
    它創造輝煌:它開創了我國大比例尺航測成圖的時代,它代表我國測繪技術率先走向國際市場,它是我國應用遙感技術的引領者,它結束了我國不能承印大型高檔圖集的歷史……55年來一代代煤航人發揚「開拓、拼搏、爭第一」和「追求卓越、開拓創新」的煤航精神,用青春和汗水譜寫了一曲曲煤航發展史上的奮進之歌。
  • SGI全面支持至強E5 助力大數據處理能力
    「SGI藉助Intel(英特爾)全新至強處理器的優勢,從HPC到商業智能,乃至數據倉庫領域,推出了包括大數據,仿真模擬和數據分析等應用方面的高分化型產品,這些產品無論在速度還是規模上都是史無前例的。」  世界上最大最快的大型計算機-超級大腦系統  SGI新一代高速計算密集型連貫共享內存平臺——SGI UV將基於英特爾®至強® E5-4600 處理器系列。
  • 大數據協同安全技術國家工程實驗室打造「超級智囊團」
    在此背景下,2016年國家明確了組建13個大數據領域國家級工程實驗室的專項目標,其中在大數據安全方向組建一個,目標是解決大數據環境下數據安全保障、大數據安全分析與監測等關鍵問題。360公司作為國內網絡安全領域的龍頭企業,積累了雄厚的大數據處理能力,擁有世界領先的大數據安全分析技術與安全大數據資源。
  • 智能計算中心:新型「超級大腦」
    如今,不少地方政府和企業正在布局人工智慧計算,通過新型人工智慧晶片和新型計算方法強化計算中心這一「超級大腦」,使其算力更強、速度更快,賦予人工智慧更強勁的「爬坡之力」。隨著數據總量的增長和智能化社會構建需求的擴大,人工智慧產業對算力的要求越來越高。中國工程院院士、浪潮集團首席科學家王恩東認為,在新基建各大領域之中,相比雲計算和大數據,人工智慧對算力的需求幾乎是「無止境」的。根據人工智慧研究組織Open AI統計,從2012年至2019年,隨著人工智慧深度學習「大深多」模型的演進,模型計算所需計算量已增長30萬倍。
  • 防汛工作有了「大腦」:大數據讓應急管理更智慧
    幾乎所有人的目光焦點,都匯聚在指揮部的大屏幕上。作為本次防汛工作的指揮中樞,「金華防汛大腦」正在運籌帷幄,一邊在大屏幕上實時顯示各類汛情信息和數據,一邊結合多方信息進行大數據推演,對未來可能發生的災情進行提前預警,並迅速提供相應的指揮調度方案。
  • 數據中心完成武漢市CORS系統穩定性監測數據處理工作
    近日,自然資源部大地測量數據處理中心完成了《2020年度WHCORS系統穩定性監測》GNSS數據處理工作。 WHCORS系統是由連續運行GNSS基準站、計算機網絡、通信網絡等組成,用於提供不同精度、多種方式定位服務的信息系統。
  • 大腦智庫皮紋大數據報告之揭秘手腦關係
    ---------用數據看清男人女人日前,國內皮紋檢測領軍企業大腦智庫發布了《皮紋大數據揭秘手腦關係與性別差異化(2016年第1期)》(以下簡稱「智庫報告」),報告通過統計學來印證人的十指與大腦之間的關係
  • 國際科學數據中心概述
    (六)美國聖地牙哥超級計算機中心(SDSC)    聖地牙哥超級計算機中心由美國國家自然科學基金於1985 年投資1.75億美元建立,既擁有高性能計算資源,也擁有海量的科學數據資源並提供數據服務。    ● 數據資源涵蓋海洋、地理、生物、物理、化學等多個學科領域。
  • 貴陽市聯合阿里雲啟動塊數據中心雲平臺建設(圖)
    (原標題:貴陽市聯合阿里雲啟動塊數據中心雲平臺建設)接到報警後,指令直接發送到距離最近民警的手持終端上,重點區域1分鐘響應,其他城區5分鐘內接處警……貴陽市公安局塊數據指揮中心利用「塊數據+網格接處警」正在破解社會治安難題。
  • 我國將構建全國一體化大數據中心協同創新體系
    本報訊 (記者 羅曉燕)近日,國家發改委、中央網信辦、工業和信息化部、國家能源局聯合印發的《關於加快構建全國一體化大數據中心協同創新體系的指導意見》提出,到2025年,全國範圍內數據中心形成布局合理、綠色集約的基礎設施一體化格局。
  • 全球海拔最高的國際級數據中心竣工,西藏有了大數據存儲中心
    全球海拔最高的國際級數據中心、西藏首個大數據存儲中心,寧算科技集團拉薩一體化項目數據中心(一期)工程12月18日通過竣工驗收。項目位於海拔3670米的拉薩市國家級高新區信息產業園內,總建築面積為2.72萬平方米,可容納3000多組機櫃。
  • 在一臺電腦上複製出一個人類大腦?大數據研究會統治神經科學嗎?
    定量的大數據分析真的能完全模擬神經元活動,並且主宰我們的神經元科學,帶我們進入神經科學的大數據新紀元嗎?日前,曾在美國德克薩斯大學奧斯汀分校擔任研究科學家,致力於研究機器學習和自然語言處理的美國作家(?)Erik Larson在國際期刊Inference上發布題為「Big Neuroscience」(大神經科學)的文章,深度刨析大數據研究對於神經科學的影響與未來。
  • 讓大數據真正發揮「大價值」
    讓大數據真正發揮「大價值」  數字經濟時代,大數據帶來的諸多便利得益於被譽為「萬能糧倉」的數據中心。數據中心算力越強,大數據價值越能得到發揮。國家發改委等4部門近日發布的《關於加快構建全國一體化大數據中心協同創新體系的指導意見》(下稱《意見》)提出,加強全國一體化大數據中心頂層設計。
  • ——記第20屆全國青年崗位能手中煤地質總局張弓
    面前忙碌著的是第20屆「全國青年崗位能手」、中國煤炭地質總局航測遙感局地下空間科技發展有限公司副總經理張弓。「跑項目,最近出差也多」,他邊回消息邊說,「沒有出差的這幾天,基本上就是上午拜訪周邊的客戶,下午回公司處理日常事務。」
  • 降維算法讓腦神經大數據處理變簡單
    對神經元活動的簡單記錄不會自動產生明確的表達,讓科學家理解大腦是怎樣工作的。據物理學家組織網8月25日(北京時間)報導,美國卡內基·梅隆大學(CMU)和哥倫比亞大學(CU)的兩位科學家在最近一期的《自然—神經科學》雜誌上聯合發表了一篇評論文章,談到為何要研究大量神經元的共同活動,並提出一種名為降維算法的機器學習算法,可以有效處理大量記錄數據,幫助解釋大量神經元的活動。
  • 【焦點】探秘「內蒙古雲計算大數據創客中心」
    隨著內蒙古雲計算大數據創客中心的開園,對於很多行業而言,機遇與挑戰並存,如何利用這些大規模數據,大數據的價值體現在哪些方面,小編帶您了解……內蒙古首個雲計算大數據創客中心開園 8月18日,內蒙古首個以雲計算為基礎的創客中心在和林縣開園。
  • 國家食藥監總局:馬兜鈴酸致肝癌,尚無直接有力的數據支撐
    10月30日,國家食品藥品監督管理總局就含馬兜鈴酸藥品的安全性問題作出回應,承認馬兜鈴酸具有明顯腎毒性,但它是否與肝癌有直接關係,尚無直接有力的數據支撐。馬兜鈴酸具有明顯腎毒性,已採取風險控制措施國家食品藥品監督管理總局明確表示,馬兜鈴酸具有明顯腎毒性,可造成腎小管功能受損,甚至存在引發腎癌的風險。
  • 稅收優惠助力大數據中心建設按下「快進鍵」
    艾特網能建造的虎門二橋高速管理中心數據中心。(央廣網發 通訊員供圖)在新基建七大領域中,大數據中心成為海量資訊時代的諾亞方舟。今年以來,大數據技術的應用對疫情發展的實時跟蹤、重點篩查以及有效預測等發揮了重要作用,在線辦公、雲視頻、雲會議、雲教學等也都依託於有效的大數據支撐。與此同時,5G、雲計算、產業網際網路、人工智慧等新興領域一日千裡,共同推高了對數據中心的需求。數據中心的新建和擴容步伐在加快,相關設備及服務的需求也在快速增加。
  • 大數據架構與系統(上午):高效處理高並發及大數據的經典分享
    【CSDN現場報導】中國最具影響、規模最大的大數據領域盛會—— 2013中國大數據技術大會(Big Data Technology Conference,BDTC)於2013年12月5-6日在北京舉行。